Uncategorized · 9月 29, 2021 0

SentencePiece一个google开源的自然语言处理工具包

内容纲要

SentencePiece是一个google开源的自然语言处理工具包。数据驱动、跨语言、高性能、轻量级——面向神经网络文本生成系统的无监督文本词条化工具
SentencePiece的用途不限于自然语言处理,,蛋白质的一级结构是氨基酸序列,需要研究氨基酸序列片断,片断的长度又是不固定的,就可以用SentencePiece进行切分。

官方网站
https://github.com/google/sentencepiece

%d 博主赞过: