2021-06-15 记事docker边测试边开发

Published on Aug. 22, 2023, 12:07 p.m.

2021-06-15 记事

docker测试效果

docker run --rm -it --entrypoint bash <image-name-or-id>
<h1>示例</h1>
docker run --rm  -p 8097:80 -it benchmark  bash

<code>docker exec -it <container-name-or-id> bash</code>
<h2>微调 #Bart 做 #知识提取</h2>
学习率貌似真的不能够很大，不然很容易走向不归路。
<img alt=”” src=”img/W&B%20Chart%202021_6_15%20下午9_39_32%201.svg” />
自动寻找学习率靠谱吗？
话说每次出来的 #学习率差距都很大怎么选？
9e-6是不是太小了，不过好像表现最好。
腾讯 #uer 家的 #预训练还是不错的。
<a href=”https://huggingface.co/uer">https://huggingface.co/uer</a>
<h1>huggingface bart 训练参考</h1>
<a href=”https://huggingface.co/transformers/model_doc/bart.html”>https://huggingface.co/transformers/model_doc/bart.html</a>
训练cnn_dailymail示例；
<a href="https://github.com/huggingface/transformers/tree/master/examples/pytorch/summarization">https://github.com/huggingface/transformers/tree/master/examples/pytorch/summarization</a>
<a href=”https://github.com/ohmeow/ohmeow_website/blob/master/_notebooks/2020-05-23-text-generation-with-blurr.ipynb”>https://github.com/ohmeow/ohmeow_website/blob/master/_notebooks/2020-05-23-text-generation-with-blurr.ipynb</a>
代码
<a href=”https://github.com/huggingface/transformers/blob/master/examples/pytorch/summarization/run_summarization.py”>https://github.com/huggingface/transformers/blob/master/examples/pytorch/summarization/run_summarization.py</a>

<h1>这里需要关注</h1>
from transformers import (</p>

AutoConfig,

AutoModelForSeq2SeqLM,

AutoTokenizer,

DataCollatorForSeq2Seq,

HfArgumentParser,

Seq2SeqTrainer,

Seq2SeqTrainingArguments,

set\_seed,

)

还是使用 #pytorch-lightning 重写下比较好，条理会更加清晰。