作者:20届 ERIC 写在前面:本人刚刚入门NLP,希望通过记录博客来巩固自己的知识,增进对知识的理解。 ...
tokenizer基本含义 tokenizer就是分词器; 只不过在bert里和我们理解的中文分词不太一样,主要不是分词方法的问题,bert里基本都是最大匹配方法。 最大的不同在于“词”的理解和定义。 ...
  新智元报道     来源:Google   编辑:雅新     谷歌研究人员提出了一种 LaBSE 的多语言 BERT 嵌入模型。 ...

关注我们的公众号

微信公众号