Bert的MLM的神奇应用

2021-06-10 记事

Bert的MLM的神奇应用

MLM做阅读理解

所谓“简介”，真的很简，因为基于 MLM 来做阅读理解确实非常简单。

模型图示

首先定一个最大长度 ，然后将问题和篇章拼接起来，再在里边拼接  个 [MASK] 标记，输入到 Bert 中，最后让 [MASK] 对应的部分来预测答案即可（不管是训练还是预测阶段都如此），如下图示：
————————————————
版权声明：本文为CSDN博主「PaperWeekly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/103884387