reformer-chinese-pytorch

reformer-pytorch中文版本，简单高效的生成模型。类似GPT2的效果。
之前做过一个类似项目，这次重新写了，各方面都做了很多的优化，训练也更加便捷了。
reformer最大的优点就是节省资源，而且对于长文本更加有效。
之后有时间会做一个基于Performer的版本，应该会比reformer效果好。

数据

需要训练的数据文件放置在 data/data.txt
纯文本文件，一条一行即可

预处理数据

python bulidData.py

训练

Dump default configuration to have as reference

导出配置文件

python trainer.py –print_config > config/default_config.yaml

Modify the config to your liking - you can remove all default arguments

nano config.yaml

Fit your model using the configuration

运行训练

python trainer.py –config config/default_config.yaml

训练过程可以使用wandb（https://wandb.ai/ ）做监控。
只需要在开始时候填入自己的key即可。

新地址
https://github.com/napoler/reformer-chinese-pytorch

其他

查看cuda占用

watch -n 1 nvidia-smi