Skip to content

基于BERT模型的深度学习中文文本分类实现,包含大约20000条新闻的训练和测试集,包装有简单HTTP接口可供调用。

Notifications You must be signed in to change notification settings

Deali-Axy/bert-chinese-classifier

Repository files navigation

bert-chinese-classifier

本项目包含大约20000条新闻的训练和测试集。

训练生成fine-tuning模型后即可运行test.py进行单句分类测试,也可以运行server.py启动flask服务器测试。

预训练模型:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

JupyterNotebook使用

找到前面的全部一梭子运行这一个cell,运行前面的全部cell。

然后下面的cell依次运行即可。

开始训练

python train.py

测试

python test.py

测试服务器

python server.py

请求方式为:http://127.0.0.1:8000?text=现在值得购买的中端手机,都有着出色的配置,性能强劲

config文件配置

  • model_name:模型名称
  • epochs:迭代epoch的数量
  • checkpoint_every:间隔多少步保存一次模型
  • eval_every:间隔多少步验证一次模型
  • learning_rate:学习速率,推荐2e-5, 5e-5, 1e-4
  • sequence_length:序列长度,单GPU时不要超过128
  • batch_size:单GPU时不要超过32
  • num_classes:文本分类的类别数量,若是二分类设置为1
  • warmup_rate:训练时的预热比例,建议0.05, 0.1
  • output_path:输出文件夹,用来存储label_to_index等文件
  • bert_model_path:预训练模型文件夹路径
  • train_data:训练数据路径
  • eval_data:验证数据路径
  • ckpt_model_path:checkpoint模型文件保存路径

About

基于BERT模型的深度学习中文文本分类实现,包含大约20000条新闻的训练和测试集,包装有简单HTTP接口可供调用。

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published