深度学习 · 9月 25, 2021 0

reformer-pytorch中文版本 高效的生成模型 类似GPT2的效果

内容纲要

reformer-chinese-pytorch

reformer-pytorch中文版本,简单高效的生成模型。类似GPT2的效果。
之前做过一个类似项目,这次重新写了,各方面都做了很多的优化,训练也更加便捷了。
reformer最大的优点就是节省资源,而且对于长文本更加有效。
之后有时间会做一个基于Performer的版本,应该会比reformer效果好。

数据

需要训练的数据文件放置在 data/data.txt
纯文本文件,一条一行即可

预处理数据

python bulidData.py

训练

Dump default configuration to have as reference

导出配置文件

python trainer.py –print_config > config/default_config.yaml

Modify the config to your liking – you can remove all default arguments

nano config.yaml

Fit your model using the configuration

运行训练

python trainer.py –config config/default_config.yaml

训练过程可以使用wandb(https://wandb.ai/ )做监控。
只需要在开始时候填入自己的key即可。

新地址
https://github.com/napoler/reformer-chinese-pytorch

其他

查看cuda占用

watch -n 1 nvidia-smi

%d 博主赞过: