[Feature request] 能否加入keras train_on_batch的api，大的数据集内存无法完整加载

[miaohancheng]

https://keras-cn.readthedocs.io/en/latest/models/model/
在model下只找到了fit 和 fit_without_generator,没有看到fit_generator 或者 train_on_batch，我又仔细的看了下，fit的实现是用了fit_generator，但是fit的入口怎么分块传入数据

[BrikerMan]

这一块之前版本没有考虑，正在构思如何实现。
因为实际上我需要调用两次这个 Generator
第一次遍历构建词表和 Label 表，第二次遍历进行训练。虽然训练是用 fit_generator，但是构建词表目前还不是，导致必须全部加载。

有什么好的办法建议欢迎提出来~

[miaohancheng]

之前的文本语义类模型，过大的文件我们用的是spark mllib来做的word2vec，但这个场景肯定是没法用了；
我的思路是用先用keras fit_generator API 生成word2vec，然后再调用fit_generator去训练；
训练的步骤中间可以多一个word2vec的model产出，查问题的时候也更加友好一些；
参考https://github.com/bojone/tf_word2vec/blob/master/word2vec_keras.py 这个项目。
以上是我的想法，不知道有没有问题，供你参考

[BrikerMan]

在 kashgari2 分支提交了基于 TF2.0 实现，目前只实现了一个分类模型和 W2V embedding，可以测试看看。

[stale]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

[luozhouyang]

推荐使用tf.data API构建数据输入管道，强大且方便。