Transformer

Transformer 原理演示

Transformer 的关键不是“顺序读过去”，而是每个 token 都会看向其它 token，按相关性加权后形成新的上下文表示。

返回原理演示查看产品

Transformer

返回原理演示

查看产品

Page Overview

Transformer

Global-ready

Transformer

Transformer 原理演示

Transformer 的关键不是“顺序读过去”，而是每个 token 都会看向其它 token，按相关性加权后形成新的上下文表示。

Primary CTA

返回原理演示

Transformer 的关键不是“顺序读过去”，而是每个 token 都会看向其它 token，按相关性加权后形成新的上下文表示。

Secondary Path

查看产品

Transformer 的关键不是“顺序读过去”，而是每个 token 都会看向其它 token，按相关性加权后形成新的上下文表示。

输入文本

Token 序列

当前查询 token: 请

注意力权重

请38.9%

总14.7%

结12.3%

本10%

周7.6%

销5.2%

售2.8%

情2.8%

况2.8%

并2.8%

上下文汇聚

关注分布

请总结本周销售情况并

新的表示

把请与请、总、结汇聚成更完整的上下文表示

推荐下一步

继续沿着相关主题看下去，会更容易把概念和工程实现串起来。

Tokenize -> Embed -> Attend -> Decode -> Answer

入门

LLM 问答过程动画 🔥

把提问、编码、推理、解码和输出的链路拆成可观察节点。

适合产品、销售、客户教育

打开演示

Input -> Tokenize -> Count -> Process

入门

什么是 Token 🔥

用动画把一句话拆成模型真正处理的 token，理解 token 不是“一个字=一个 token”。

适合产品、销售、客户沟通

打开演示

System + History + User + Output <= Context Window

入门

LLM 上下文长度

通过滑动窗口展示模型一次真正能“看到”的 token 范围，以及为什么旧内容会被截断。

适合产品、实施、解决方案

打开演示