Meta新研究：字节模型蒸馏后，天花板破了

• 2026-09-15

henry 发自 凹非寺 量子位 | 公众号 QbitAI Token词元替代了Byte字节，但不意味着大模型都得是Token。 字节模型，特别是蒸馏后，有点儿新说法。 最近，来自Meta FAIR和华盛顿大学的论文《突破Token天花板：蒸馏出更小、更强的字节模型》，提出了一个很有趣的想法—— 蒸馏的时候，能不能把学习单位从词元（Token）换成字节，让学生模型直接从 字节（byte）级别的概率分布 学起？ 结果还真可以～ 团队给每个Token加上结束标记，把教师的Token概率分布完整转换到字节级别。在以Llama 3-8B为教师的蒸馏实验中，团队根据缩放定律预测： 随着训练计算量增加，字节级蒸馏将反超Token级蒸馏，下游平均准确率上限高出 4个百分点 传统蒸馏让学生学习教师在庞大Token词表上的概率分布。相比之下，字节只有256种基础取值，单个位置的预测空间更小，基础取值也不随分词器改变。 换句话说， 学习的基本单位反而更小了，模型最终能学到的能力上限却更高了。 这是怎么做到的？ 字节级蒸馏 其实到今天，蒸馏已经不是什么陌生技术了。我们都知道，大的模型能力更强，但把它部署到实际应用中，显存、计算和响应速度都是成本。 于是，一个常见做法，就是让大模型当老师，把能力蒸馏给更小的学生模型。 和普通监督训练只告诉模型“下一个正确Token是什么”不同，蒸馏还会让学生学习教师对 各个候选Token的概率判断 但问题也出在这里。Token的候选空间实在太大。以Llama 3-8B为例，它的词表包含 128256个Token ，这意味着每一个预测位置，都对应十几万个候选概率。 如果做离线蒸馏，把完整概率分布全部保存下来，存储成本会非常高。因此实际操作中，通常只能保留概率最高的一部分，也就是 top-k截断 而字节模型，刚好把这个候选空间一下压小了。 一个字节由8个比特组成，共有256种可能的取值 。即使加上少量特殊符号，每个位置需要保存的概率也不过两百多个，完整分布自然更容易保留下来。 不过，教师预测的是整个Token，学生预测的是单个字节。要让两者对上，不能只把文本拆开，还得把教师的概率分布一起转换过去。 这正是论文首先解决的问题。 具体的，团队提出了两种方案，分别叫作 Marginalize-It End-Of-Token 两者的基本思路基本相同： 把教师对不同Token的概率，逐步分解到对应的字节位置上。 以论文里的Tiramisu为例，它可能被tokenizer切成 T、iram、isu几个Token。 假设教师在预测下一个 Token 时，候选里同时有 isu、isk 和 is。 这三个候选都以字节 i 开头，那么预测第一个字节时，就可以把所有以 i 开头候选的概率加起来。 等真实前缀变成 i，再只保留前缀匹配的候选，继续计算下一个字节的概率。 沿着真实字节序列不断重复，就能把原本的 Token 分布，一步步拆成逐字节的训练目标。 第一种方法Marginalize-It，直接聚合并重新分配概率。 不过，麻烦出现在不同Token长度不一样的时候。 比如已经走到前缀 is，isu 和 isk 后面都还有字节，但 is 这个Token已经结束了。 这时，如果还想知道 is 之后接什么，就需要继续查询教师在这个Token结束后的预测；而不同候选路径，又可能对应不同的后续分布，计算量会迅速增加。 Marginalize-It的处理很直接： 已经结束的候选就不再往后追，把剩余候选的概率重新归一化。 这样只需要一次教师前向计算，效率很高，但代价是会丢掉一部分已经结束 Token的概率信息，因此本质上是一种近似。 第二种方法End-Of-Token，则给「Token结束」留了一个位置。 End-Of-Token则换了一个思路：既然Token会结束，那就干脆给“结束”本身一个明确的预测位置。 具体来说，团队在每个Token末尾加入一个特殊符号。于是原来的三个候选就变成：isu、isk和is。 这样，当已经走到前缀is时，学生接下来既可以预测u，也可以预测k，还可以预测，表示当前Token到这里结束。 原本因为长度不同而“悬空”的那部分概率，就有了明确去处。 因此，End-Of-Token可以在保留Token边界的同时，更完整地把教师分布映射到字节空间。 而且，两种方法都只需要教师做一次前向计算，就能完成从Token分布到字节分布的转换，不必为了不同分词路径反复调用教师模型。 到这里，教师模型的知识，总算可以真正交到字节学生手里了。 接下来要看的，就是它到底能学到多少。 实验验证 团队分别测试了Token、普通字节和带的字节三种表示，每种再分为监督训练与蒸馏训练，一共六组。 这样既能比较蒸馏有没有帮助，也能观察改变学习单位后，模型的训练表现