Token Demo

什么是 Token

Token 是模型真正处理的文本单位。它不是简单按“一个字”或“一个单词”来算，而是按模型词表把输入切成更适合计算的片段。

Token Demo

返回原理演示

查看产品

Tokenization Flow

请总结本周销售情况，并标出增长最快的区域marketanalysis

模型会先切分，再编码，再进入后续注意力与生成过程。

动画演示

点击播放后，文本会被逐步切成 token。你看到的这些小块，才是模型做计数和处理时真正参考的单位。

原始输入

切分结果

当前 Token 数: 0

请总结本周销售情况，并标出增长最快的区域marketanalysis

推荐下一步

继续沿着相关主题看下去，会更容易把概念和工程实现串起来。

System + History + User + Output <= Context Window

通过滑动窗口展示模型一次真正能“看到”的 token 范围，以及为什么旧内容会被截断。

System + Few-shot + User -> Final Prompt

展示 system、user、assistant 示例如何被拼成最终输入，理解“提示词”不是单独一句话。

Tokenize -> Embed -> Attend -> Decode -> Answer

把提问、编码、推理、解码和输出的链路拆成可观察节点。