首页 / 入门与术语
看懂大模型，先弄明白这些词
不要求你会推导公式，但下面这些概念会在任何一篇模型介绍里反复出现。读完这一页，再去看厂商页面会顺畅得多。
一、大模型到底在做什么
最朴素的定义：给定前面的文字，预测下一个词的概率分布。把这件事做到极致，就出现了「涌现」——模型开始会翻译、会写代码、会推理。所有花哨的产品能力，都建立在这个简单目标之上。
训练通常分三步走：
- 预训练（Pre-training）：读海量文本，学习语言与世界知识。这一步最贵，动辄数万张显卡跑几个月。
- 监督微调（SFT）：用人工标注的高质量问答，教会模型「怎么回答」而不是「接着写」。
- 强化学习（RLHF / RLVR 等）：给模型的回答打分，让它往人更喜欢、或答案更正确的方向优化。今天的推理模型，主要靠这一步变强。
二、必懂术语速查
| 术语 | 一句话解释 | 为什么你要关心 |
|---|---|---|
| 参数量 | 模型里可学习的数值总量，一般说「7B」就是 70 亿 | 参数量决定显存需求与本地部署门槛，但不等同于能力 |
| MoE（混合专家） | 把模型拆成很多「专家」，每个 token 只走其中几个 | 总参数可以很大，但实际计算量（激活参数）很小，是低成本大模型的主流架构 |
| 激活参数 | MoE 每次推理真正参与计算的参数 | 决定你的推理成本和速度，比总参数更重要 |
| 注意力机制 | 让模型决定「当前这个词该参考前文的哪些词」 | 长上下文的主要瓶颈就在这里，各家改造方案（MLA、线性注意力、稀疏注意力、KDA）都是为了降低这部分开销 |
| MLA / KDA / 线性注意力 | 几种「更省内存或算力」的注意力变体 | 直接决定 1M 上下文是否真的用得起 |
| 上下文窗口 | 模型一次能「看到」的 token 上限 | 1M 是当前旗舰标配，但能装下 ≠ 记得住，长文任务必须实测 |
| KV 缓存 | 推理时缓存历史计算结果，避免重复算 | 它是显存杀手，也是很多优化（含缓存计费）的来源 |
| Token | 模型处理文本的最小单位，中文常见 1 字≈1～2 个 token | API 按 token 计费，你的账单由它决定 |
| 思维链 / 思考模式 | 先写出推理过程再给答案（thinking 模式） | 显著提升复杂任务正确率，代价是更贵更慢 |
| 蒸馏 | 用大模型的输出训练小模型 | 让 7B 的小模型也有一点「大模型的推理味道」，是端侧能力的来源之一 |
| 量化 | 用更低精度（如 4bit）存储权重 | 把模型塞进手机和消费级显卡的关键手段，通常会有少量能力损失 |
| 投机解码 | 用小模型先猜、大模型再验，加速生成 | 不改效果就能提速 1.5～3 倍，常用于高并发服务 |
| Agent（智能体） | 让模型自己调用工具、多轮试错、完成长任务 | 2026 年的主战场：模型不只是回答，而是「干活」 |
| Harness | 包裹模型的运行框架（终端、编辑器、浏览器环境） | 同一个模型换个 harness，实测表现可能差很多 |
| Benchmark | 标准化评测集，比如数学的 AIME、终端任务的 Terminal Bench | 可用于横向参考，但榜单高分不等于你的业务效果好 |
| 多模态 | 能处理文本以外的图像、音频、视频 | 现实业务几乎都是多模态的，纯文本模型往往不够用 |
| 扩散模型 | 从噪声逐步去噪生成内容（图像/视频常用） | 生成图像视频的主流路线；近年也有人在语言模型上尝试 |
三、五个常见误解
- 「参数越大越聪明」——在 MoE 时代这句话基本失效。一个 2.4 万亿参数的模型每次只激活几十亿参数，拿总参数比大小没有意义，要问的是「激活多少、效果如何、成本多少」。
- 「上下文 1M 就能处理 100 万字文档」——能装进去不代表能准确检索。长文档场景要专门测「大海捞针」：把关键信息放在 1M 里的不同位置，看召回率如何衰减。
- 「开源就是免费随便用」——部分开源模型附带了使用限制（比如要求标注来源、限制某些用途）。商用前一定看模型卡里的许可证。
- 「榜单第一就是最好」——评测集会被针对性训练，而且和你的业务分布不同。最可靠的办法永远是用自己的数据做 A/B。
- 「大模型不会犯错，可以自动决策」——幻觉是当前技术路线的固有风险。涉及资金、医疗、法律的场景必须有人工复核与外部校验。
四、一条给新手的路径
- 先用现成的对话产品（豆包、通义、Kimi、元宝等）建立直觉，知道模型能做什么、不能做什么。
- 阅读 模型总览，搞清楚厂商与技术路线的大致分布。
- 申请一两个平台的 API，跑通「调用 → 提示词 → 结构化输出」的最小闭环。
- 用一个真实的小需求做落地：文档摘要、客服问答、代码助手，任选其一。
- 遇到成本或效果瓶颈时，再回头研究 MoE、缓存、量化、微调这些进阶话题。
本页是概念科普，不涉及具体厂商版本。相关厂商与模型现状请见 模型总览（整理于 2026-09）。