Compacter更高效的训练方案

Published on Aug. 22, 2023, 12:08 p.m.

通过仅训练 0.047% 的预训练模型参数,Compacter 在 GLUE 上的性能与标准微调相当,并且在低资源设置中优于微调。我们的代码在此 https URL 中公开可用

不得不说这个太厉害了。

https://arxiv.org/abs/2106.04647

Tags: