Tokenization

分词 · 从“模型看到的不是文字而是词元”出发，讲字符、词与子词，BPE、WordPiece 与 Unigram，词表大小的权衡，字节级分词，分词带来的计数与算术怪现象，多语言的词元不公平，以及不分词的字节级模型。