Default / 默认 · 8月 31, 2021

Compacter更高效的训练方案

内容纲要

通过仅训练 0.047% 的预训练模型参数,Compacter 在 GLUE 上的性能与标准微调相当,并且在低资源设置中优于微调。我们的代码在此 https URL 中公开可用

不得不说这个太厉害了。

https://arxiv.org/abs/2106.04647

%d 博主赞过: