极速的现代分词器实现。
分词
访问项目 ↗GitHub ↗
Google 的端到端机器学习平台，生态完整。
数万预训练模型的统一接口，覆盖文本、图像、音频与多模态。
动态计算图的深度学习框架，研究与工业界的主流选择。
Python 经典机器学习库，简单高效。
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。
Tokenizers Tokenizers 
