课程目录136 节查看完整学习地图

自然语言到词元:Tokenizer

一句话,怎样变成模型接收的一串编号。

  • 看清文本怎样切分并编号
  • 区分学习规则与编码新文本
  • 运行编码、解码和词元计数

预计学习:20–30 分钟

完整讲解与实验需要课程权益,Q&A 免费阅读。

进入完整课程

前往中国大陆版?

你的网络位于中国大陆。前往大陆版,可使用微信登录。

前往大陆版