大模型 Token 能力图鉴
收录目前全球最领先的生成式 AI 模型，对比其上下文长度、词元化效率及适用场景。
GPT-4o
全能旗舰模型，专为多模态和实时交互优化。采用 o200k 分词器，大幅提升非英语文本的处理效率。
上下文窗口
128,000 Tokens
分词效率
高 (o200k_base)
主要特性
原生多模态 / 低延迟
Claude 3.5 Sonnet
业界公认的推理能力标杆，特别在编程和文字创作领域展现出极高的 Token 生成质量。
上下文窗口
200,000 Tokens
分词特性
长文本精准检索
主要特性
卓越推理 / Artifacts
Gemini 1.5 Pro
拥有目前主流模型中最长的上下文窗口，能够轻松处理数小时视频或大规模代码库。
上下文窗口
2,000,000 Tokens
分词特性
原生视频 Token 化
主要特性
超长文本 / 多模态推理
Llama 3.1 (405B)
开源社区的巅峰之作，其分词器在保持高性能的同时，优化了多语言语料的压缩比。
上下文窗口
128,000 Tokens
分词器
128k Vocab Size
主要特性
最强开源 / 社区生态
DeepSeek-V4
采用 MLA 架构极致优化推理成本，在同等 Token 消耗下提供超越同量级的逻辑能力。
上下文窗口
128,000 Tokens
Token 效率
MLA 架构极致优化
主要特性
逻辑专家 / 极致性价比
Qwen 2.5
通义千问最新版本，在编程和数学领域的 Token 处理准确率居于行业领先地位。
上下文窗口
128,000 Tokens
词表大小
151,936 (大词表)
主要特性
编程增强 / 数学推理
Mistral Large 2
欧洲顶尖大模型，专为多语言理解和复杂推理设计，Token 生成效率极高。
上下文窗口
128,000 Tokens
优化目标
推理密度优化
主要特性
多语言 / 逻辑严密
Kimi v1.5
国产长文本领域的开拓者，通过优化的分词算法实现数百万字级别的无损阅读。
上下文窗口
2,000,000+ Tokens
核心能力
无损长文本解析
主要特性
超长周转 / 深度调研