标签： tokenizer

tokenizer基本含义 tokenizer就是分词器； 只不过在bert里和我们理解的中文分词不太一样，主要不是分词方法的问题，bert里基本都是最大匹配方法。 最大的不同在于“词”的理解和定义。 … Continue reading bert之tokenizer 详解