大模型是怎么“练“出来的:预训练与后训练

2026-11-21 0 4

封面你从网上下载了一个 70 亿参数的大模型文件,双击打开,它什么都不会这不是比喻此刻躺在硬盘里的,是一堆随机初始化的浮点数——几亿个、几十亿个数字,每个数字都在某个很小的区间里随机取值它不会写代码,不会读图,不会跟你聊天,甚至不知道”的”字后面通常跟什么。

它唯一确定的事,是自己有 70 亿个可以调整的旋钮几周之后,同一个文件却能读懂一份合同、能解释一段报错、能陪你把一个模糊的想法聊清楚中间发生了什么?这个问题看似简单,其实是理解今天所有大模型的第一道门而推开这道门你会发现:。

大模型不是”训练”出来的,是被分三段加工出来的更关键的是,这三段加工里藏着两种完全不同的学习方式——一种叫预训练,一种叫后训练它们的分工可以用一句话概括:预训练决定模型的”能力上限”,后训练决定这个上限”能不能被用出来”。

过去十年,行业拼的是前者;接下来几年,拼的是后者但有一件事必须提前说清——后训练再强,也无法凭空创造预训练里根本没有的能力这句话是可以被反对的有人认为后训练才是智能的真正来源,也有人认为预训练仍是唯一护城河。

这篇文章不打算站队,而是把两边的证据都摆出来,让你自己看清那条分界线画在哪里零、大模型不是”训练”出来的,是”分三段加工”出来的大模型不是”训练一次就成型”的产物,而是一条五步流水线的产物——预训练、SFT、强化学习、量化蒸馏、端侧部署;前三个步骤塑造”心智”,后两个步骤改造”肉体”。

大模型是怎么“练“出来的:预训练与后训练

大模型五步加工流水线先把最容易被误解的一点说清楚:今天主流的大模型,架构上几乎没有差别Llama 也好,千问也好,DeepSeek 也好,Kimi 也好,无论开源闭源,底层都是 Transformer既然架构趋同,那模型之间的差异从哪来?答案是。

参数的数量和质量所谓训练,本质上是一场规模空前的”填数字游戏”——你拿到一堆随机数字,用数据把它们一个个算成合适的值;填得恰到好处,模型就好用;填得不好,模型就不行至于这些数字给不给你看:不给你看、只让你用,叫闭源;给你看、可以下载,叫开源。

那么这场”填数字”是怎么进行的?完整的生命周期有五个步骤第一步,预训练 模型做的是”文字接龙”:输入 n 个 token,输出对下一个 token 的预测,一个接一个往下滚这一步不需要人工标注——你只要把互联网上的文本喂进去,让它不断预测下一个词、错了就调整,它就会慢慢学会语言的规律。

但这里有一个必须记住的限制:训练时目标是什么,用的时候它就只能干什么,不会多干,也不会少干你让它接龙,它就只会接龙你输入”床前明月光,疑是地上”,它能准确接出”霜”,说明它对这首诗有理解;但它不会回答你的问题,因为它从没被训练过”回答问题”这件事。

第二步,SFT(监督微调) 把”接龙”改造成”一问一答的规范手册”用高质量的人工示范数据——一个问题配一个标准答案——继续训练这一步的数据量不用很大,几千条就够,但质量必须高训练时有个细节:只对答案部分计算损失,问题部分作为上下文提供信息,不参与打分。

做完这一步,模型终于会”对话”了第三步,强化学习 有些问题没有标准答案比如”孩子沉迷手机怎么办”,你希望它给出制定时间表、增加户外活动的建议,而不是”直接没收手机,打几次就老实了”这两者谈不上谁”对”,只有谁更符合人的偏好。

于是引入人类偏好标注:同一个问题生成两个答案,让人选出更好的那个,用这些比较数据训练一个”打分模型”(奖励模型),再用它反过来指导大模型——答案由模型自己生成,人只负责判断好坏,所以这一步叫”自己训练自己”。

第四步,量化与蒸馏 到这里模型已经”聪明”了,但太胖——参数太多、每个参数占的空间太大,跑不动于是有两种瘦身法:蒸馏是减少参数的数量(用大模型教小模型),量化是压缩每个参数占的空间(把 16 位浮点压成 8 位、4 位整数)。

两者原理不同但可以组合第五步,端侧部署 瘦身之后,模型才能塞进你的手机、你的显卡、你的边缘设备里,真正被用起来这条五步流水线,可以折成两半来看:前三个步骤是”心智的塑造”——让它变得可用、聪明、懂规矩;。

后两个步骤是”肉体的改造”——说白了就是减肥,让它跑得动、装得下而如果你站在今天业界的视角看,这条流水线通常被归为两段:预训练,和后训练(也叫微调)最典型的后训练配方,就是 SFT 加上基于人类反馈的强化学习。

但真正值得注意的伏笔在这里:”心智塑造”那一段里,其实混着两种完全不同的学习方式预训练是”读遍世界”——没人告诉它该学什么,它自己从海量文本里找规律;后训练是”被人纠正”——每一步都有人类的示范、比较和判断在引导。

一个是自学,一个是拜师这就是预训练与后训练的分野接下来的问题不是”它们叫什么”,而是”它们到底差在哪”一、预训练是”把世界压进参数”,后训练是”把参数调成助手”预训练和后训练不是同一件事的前后两段,而是两种学习方式——一个学”世界长什么样”,一个学”该怎么回应人”。

两种学习方式的分工要理解这个差别,得先看预训练到底在学什么预训练阶段,模型通常同时做三个自监督任务第一个是预测下一个词:给它五个词,让它猜第六个,猜完和真实答案比对,据此调整权重第二个是掩码填空:随机遮住句子里 15% 的词,让它猜被遮住的是什么。

这个任务比第一个更厉害,因为它是双向的——不只看前文,也看后文第三个是下一句预测:给它两句相邻的话(比如”西奥多·苏斯·盖泽尔是一位美国儿童文学作家和漫画家”接”他以笔名苏斯博士创作并绘制了 60 多本书而闻名”),再给它两句毫不相干的话,让它判断哪两句该前后相随。

这三个任务看起来都很”低级”,但它们教给模型的东西一点都不低级掩码填空教它两件事:哪些词能搭配(slice 和 piece 都能配 pie),哪些词是近义(slice 和 piece 出现在相似语境里)。

下一句预测教的是”行文流”:怎么提出一个话题、怎么延续、怎么深化,以及哪些词能把故事往下带换句话说,预训练做的事情是:把人类写在互联网上的整个世界,压缩进几十亿个参数里但压缩完的模型,还不是助手它有一个非常典型的失效模式:你问它一个问题,它不回答,反而抛回给你十个类似的问题。

原因很简单——在它的训练数据里,”一串问题”后面跟着的往往是”答案”,所以它学会了模仿这个模式,而不是回答你这就是后训练存在的理由后训练的第一步是 SFT它把预训练学到的”接龙能力”重新定向:不再是随便往下接,而是”看到问题,就给出答案”。

数据是人工写的示范,训练时只对答案算损失做完这一步,模型学会了”回答问题”这个动作本身但 SFT 有个天花板:它只会照本宣科你教它”糖尿病患者不能吃糖”,它就记住这个结论;可如果患者问”我能不能偷偷吃一块巧克力”,它可能还是照搬”可以少量摄入”,因为它不知道这句话背后的风险。

SFT 能解决”对不对”,但解决不了”好不好、安不安全”于是有了 RLHF它把评判标准从”对错”换成”喜欢/不喜欢”:同一个问题生成两个回答,让人选出更好的,用这些比较数据训练一个奖励模型——这个奖励模型就是”人类喜恶的代理人”。

然后让大模型朝着”拿高分”的方向调整它学会的不只是答对,还包括拒绝、承认不确定、避开有害建议到这里,两种学习方式的差别已经很清楚了:预训练是把世界压进参数,后训练是把参数调成助手前者关心”这个世界长什么样”,后者关心”该怎么对人说话”。

这个分工在官方文档里也有明确表述Meta 在 Llama 3 的技术报告里给了一个非常干脆的定义:后训练指的是”预训练之外发生的一切训练”这句话看似是同义反复,其实划出了一条硬边界——凡是发生在预训练之后的、为了让模型”能用”而做的训练,都归后训练。

而预训练的产物,官方原话是”懂语言但不会当助手”既然两种学习方式差这么远,那它们的账单差多少?二、两阶段的代价差着两三个数量级:预训练烧规模,后训练烧判断力预训练和后训练的成本结构完全不同——前者是”用算力换规模”的重资产,后者是”用人力换判断”的轻资产,两者相差两三个数量级。

预训练与后训练的成本账先看最硬的一组数字DeepSeek 在 V3 的技术报告里,罕见地把算力拆到了 GPU 小时:预训练用了 2664K GPU 小时,上下文扩展 119K,而后训练只用了 5K GPU 小时。

后训练占整个训练算力的比例,算下来约 0.18%全流程合计 2.788M GPU 小时、557.6 万美元(不含研发与消融实验)按这组官方数字推算,后训练的算力大约只有从头预训练的 1/557数据量的差距更夸张,差着七到九个数量级。

预训练动辄十几万亿到几十万亿 token——DeepSeek-V3 是 14.8T,Qwen3 到了 36T;而后训练阶段真正用于强化学习的题目,可能只有 13 万道可验证题(小米 MiMo 的口径),或者 3995 个”问题—验证器”对(Qwen3 的口径)。

为什么预训练这么贵?因为它面对的是一个”大漏斗”预训练数据集的规模以万亿 token 计:研究者的小模型可能是 5 到 10 万亿,Qwen 有文档记录做到约 50 万亿,传闻闭源实验室能到 100 万亿。

但这些只是”候选数据”,真正喂进模型的只是其中很小一部分中间要做大量筛选:训练分类器判断质量、做数据配比实验(从 GitHub、Stack Exchange、Reddit、Wikipedia 各采样一小份,训练小模型测性能,再用回归找最优配比)、去重、去污染。

而且评测标准一变,数据集就要大改——Llama 3 为了在数学和代码上更强,专门引入了新的数据源但这里有一个正在发生的反转,必须说清楚后训练的投入,正在逼近预训练 过去行业里”大部分钱花在预训练上”是常识——数百万、数千万甚至数亿美元投在前者。

但根据近期公开信息,Kimi 甚至在 Grok 4 的相关披露中,后训练的投入已经”几乎和预训练一样多”这不是个别现象,而是后训练阶段正在大规模扩张的信号还有第三个成本维度容易被忽略:训练是一次性投入,推理是天天烧钱

模型训完就完了,但用户每问一句,都在消耗算力所以真正决定商业成本的,往往不是训练花了多少,而是推理省了多少——这也是为什么”够用就用小版本、精简提示词、做结果缓存、批量推理”这些工程手段,价值不比算法创新低。

那么问题来了:后训练多花的这些钱,到底换回了多少能力?三、后训练能提升多少,取决于你用哪种武器后训练不是一个动作,而是三种武器——SFT 改格式、RLHF 改边界、DPO 改性价比;用错武器,钱花了能力也上不去。

后训练的三种武器先看一个完整的真实项目,因为它把”提升多少”这件事量化得最清楚某三甲医院要做一个 AI 问诊系统,要求准确率大于 95%、有害建议率接近零、还要能每周更新最新医学指南底座是 GPT-3 6B,硬件 128 块 A100。

第一步 SFT:只用 3 小时训练,测试集准确率就到了 82%,常规问答基本能应付但医生团队盲审时发现了一个致命问题——有 5% 的回答含有害建议,比如直接复制文献剂量导致超量用药;更严重的是,模型从来不会说”我不确定”或”请遵医嘱”,因为训练数据里根本没有这类样本。

SFT 验证了”正确性”的上限,也暴露了”对安全零感知”的缺陷第二步 RLHF:收集 500 组医生标注的偏好数据,训练奖励模型,再用 PPO 优化结果准确率从 82% 提到 94%,有害建议率从 5% 压到 。

0.3%——这是质的飞跃代价是:标注加算力总成本 12 万元、消耗 128 GPU 小时、训练周期 5 天,还需要精细调参超过 10 项第三步 DPO:只用 200 组精标偏好数据,准确率做到 96%(比 RLHF 还略高),有害率同样是 0.3%,但成本降到

3 万元(降 70%),更新一次从数天缩短到 30 分钟这个案例说明的不是”DPO 比 RLHF 好”,而是三种武器各有适用战场:SFT 最稳最省心,适合快速验证;RLHF 安全上限最高,适合高风险场景;DPO 在效果、成本、速度之间找到了平衡点,适合持续迭代。

三种武器本身也在演进,演进的方向是”越来越省”最早的三步 RLHF 里,PPO 需要同时训练两个模型——一个策略模型(最终要用的),一个价值模型(充当”评论家”,估计每个状态有多好),外加冻结的奖励模型和参考模型,系统复杂度很高。

GRPO 想了个巧办法:用组采样(论文里采样池约 16 个)来估计平均奖励,直接省掉了价值模型DPO 更彻底:它证明奖励模型可以被数学上重新参数化,于是连奖励模型都不用训了,直接用偏好数据做分类式的优化。

再往深一层,还有一类后训练特别值得说:可验证奖励(RLVR)有些任务的答案可以自动判对错——数学题有标准答案,代码能跑通、能过测试用例这类任务”问题很难、过程很复杂,但答案极好验证”,于是可以写一条规则语句代替奖励模型,直接判断对错。

这成了近两年提升模型”智商”、特别是推理能力最常用的玩法,也是各家刷榜的标配那么后训练到底能撬动多大的幅度?三条硬数据:InstructGPT:1.3B 参数的模型,人类偏好胜过 175B 的 GPT-3——

参数少 100 倍,人类更喜欢它DeepSeek-R1-Zero:在 AIME 2024 上,pass@1 从 15.6% 跃升到 77.9%(自一致性解码下为 86.7%)Qwen3:Reasoning RL 使 AIME’24 从 。

70.1 提升到 85.1(训练 170 步)但这里必须做一个口径澄清,否则很容易被误读:预训练的”提升”不是 benchmark 点数,而是交叉熵损失的幂律下降Scaling Laws 证明的是,损失随参数量、数据量、算力呈幂律下降,跨了 7 个数量级以上。

所以”预训练让准确率提升 X%”这种说法是不成立的——预训练提升的是”压缩世界的能力”,这个能力最终会转化成什么分数,取决于你后面怎么用它把两个阶段用同一把尺子量,是最常见的科普错误最后,后训练也不是万能药。

它有四个绕不开的局限:贵(收集人类反馈形成可扩展性瓶颈)、主观(人类评分者之间常常意见不一,不存在”人类标准答案”)、可被对抗(恶意输入可以污染反馈过程)、易过拟合与偏见(如果反馈来自单一群体,模型对其他群体可能表现更差)。

既然后训练有这么多讲究,那厂商是怎么把这些不同阶段的产品卖给我们的?答案,其实就写在型号里四、模型编号不是训练代次,是”家族+档位+参数量+日期”的混合编码型号里的数字几乎从不代表”第几次训练”,而是家族代际、能力档位、参数规模与发布日期的混合编码;唯一能锁定某次训练产物的是日期快照。

型号里的数字在说什么这是全文最实用的一节,因为它能帮你避免一类非常常见的误判:把”版本号变大”当成”重新训练了一次”先看 OpenAI GPT-4o 里的 “o” 是 omni(全能),指的是原生支持文本、音频、图像多模态,不是”第 4 代之后第 15 个版本”。

o1 更是个典型误会——很多人以为 o1 是 GPT-5 的简称,其实它代表的是”把计数器重置为 1″,是一条新的产品线(推理模型)而 GPT-5 本身也不是一个单一模型,它是一个统一系统:由 gpt-5-main、gpt-5-thinking 等组件加一个路由器组成,系统会根据问题难度自动分派。

所以”GPT-5 是哪个模型”这个问题,本身就问错了再看 Anthropic Claude 的命名是”档位 + 主版本.次版本”:Opus(最强)、Sonnet(均衡)、Haiku(最快)三个能力档位,后面跟版本号,完整 ID 形如 。

claude-sonnet-4-5-20250929注意最后那串日期——这才是唯一能锁定某次训练产物的标识而且这套命名与参数量完全无关,厂商从不公布 Claude 的具体参数规模然后看阿里 Qwen3-235B-A22B 这个型号信息量很大:。

235B 是总参数,A22B 是每 token 激活参数这是混合专家(MoE)架构的标注惯例——模型总共有 2350 亿参数,但每次推理只激活其中 220 亿官方 Model Card 的原话是 “235B in total and 22B activated”。

看懂这个标注,你就知道它为什么能”参数很大但跑得不算慢”最后看 DeepSeek,这是最能讲清两阶段分工的案例 V3 是预训练基座,R1 是在 V3-Base 之上做强化学习得到的推理模型同一个基座,通过不同的后训练,分出了两条产品线:一条走通用能力,一条走推理能力。

所以 V3 和 R1 不是”新旧两代”,而是”同一个底子、两种后训练配方”厂商自己的命名有时会直接暴露训练阶段比如小米 MiMo 系列一口气放出四个版本:base(纯预训练)、SFT(监督微调后)、RL

(强化学习后)、RL-zero(直接基于 base 做 RL,跳过 SFT)这四个名字,本身就是一张训练流水线的说明书还有一个社区里很聪明的做法值得一提:既然厂商不公开训练细节,那就用知识截止时间反推预训练时间线。

通过系统性地测试各代模型”知道到哪一年的事”,可以大致推断出它们的预训练数据截止在什么时候,进而判断哪些模型是同一基座的变体、哪些是真正的新基座所以,下次看到一个陌生型号,别急着看数字大小,先问三个问题:这是新基座还是同一基座的后训练变体?数字指的是总参数还是激活参数?有没有带日期的快照 ID?。

既然编号暴露的是训练阶段,那接下来的问题自然就是:什么情况下值得从头训练,什么情况下只需后训练?五、使用场景的分界线不是”大厂 vs 小厂”,而是”你要不要新能力”决定要不要从头预训练的,不是公司大小和预算,而是你是否需要现有模型不具备的能力边界——新语言、新架构、新模态。

要不要从头预训练先给一条实用判断规则:只有当你需要”现有模型根本没有的能力”时,才考虑从头预训练具体包括三种情况:需要新的能力边界、需要覆盖新的语言(Qwen3 从 29 种语言扩到 119 种,这必须靠预训练)、需要新的架构或模态。

除此之外,绝大多数需求都能靠后训练解决一个很直白的说法是:对 99% 的应用来说,从基础模型出发做微调就够了这就像你想开一辆符合自己需求的车,绝大多数时候是”改装成品车”,而不是”从零造一辆车”预训练昂贵且复杂,最好留给大科技公司和研究实验室。

Google 对 Gemini 2.5 的官方表述,恰好印证了这种”分工相乘”的关系:它是”增强的基础模型”与”改进的后训练”两者相乘的结果——不是单靠某一端那么,这条分界线在未来会怎么移动?有四条趋势值得关注。

趋势一:出现了”中间训练”这一层 业界开始把训练切成三段:预训练、中间训练(mid-training)、后训练中间训练用的算法和预训练一样,但更专门化——比如专门练长上下文,因为纯预训练阶段没有那么多长文档。

有个很坦率的解释是:叫”中间训练”是因为”有预训练、有后训练,中间却什么都没有,这挺别扭”但要注意:mid-training 目前没有厂商的官方定义文档,只能表述为”业界渐成惯例的说法”,不能当成标准术语。

趋势二:可验证奖励让后训练变得可规模化 RLVR 这个概念出自 AI2 的 Tulu 3,它把后训练从”靠人打分”变成”靠可验证环境判断”,从而摆脱了人类反馈这个瓶颈这是后训练能大规模扩张的技术前提趋势三:两阶段正在融合。

预训练本身变得动态——从低质量的大路货数据起步,逐步转向高质量数据、代码、数学、聊天数据;甚至已经有人开始在预训练阶段就引入强化学习边界正在变得模糊趋势四:后训练本身成了公众关注对象 小米 MiMo 把后训练过程做成实时看板公开,在 Hacker News 上拿到 563 分、155 条评论——这说明”后训练在干什么”已经不只是工程师关心的事。

但也要保持冷静有两个判断需要打折扣:第一,RL 严格说不是在”教知识”,而是在”解锁知识”——它更像技能学习,用预训练获得的知识去解决问题;真正”用 RL 做预训练”目前还停留在玩具级实验,生产环境没人这么干。

第二,”未来三年 80% 的场景会用 SFT+DPO 组合”这类说法,是从业者的预判,不是已经验证的结论如果这套分工只属于大模型,那它不过是工程细节但它其实是一套可移植的方法论——而这,才是它真正有意思的地方。

六、这两套范式从来不是大模型的专利预训练与后训练不是两个模型阶段的名字,而是两种可移植的工程范式——凡是”数据多但标注贵”的领域都在用预训练,凡是”目标难写清但能判断好坏”的领域都在用后训练两套范式的跨领域迁移。

(一)预训练范式的迁移:把”标注贵”换成”数据多”计算机视觉是最早完成这次迁移的领域ViT(Vision Transformer)证明了:把图像切成小块当成”词”来处理,在大规模数据上预训练后迁移到中小型图像识别基准,效果更好,而且训练所需算力大幅降低。

CLIP 更进一步,用 4 亿图文对做对比预训练,零样本就能在 ImageNet 上达到原版 ResNet-50 的精度——而它完全没用过 ImageNet 的那 128 万张训练图SAM 用 1100 万张图、11 亿个掩码。

训练出分割基础模型,支持提示式零样本;它的医学版本 MedSAM 只用 157 万组图像-掩码对,就完成了领域适配MAE 则用 75% 掩码做自监督,迁移性能甚至优于有监督预训练语音领域的数字最有说服力。

wav2vec 2.0 用 5.3 万小时无标注音频做预训练,然后只用 10 分钟标注数据微调,词错率就降到了 4.8/8.2Whisper 走另一条路:用 68 万小时弱监督音频训练,做到零样本、无需任何微调。

就能跨任务识别这两个案例把”预训练能把标注成本打到多低”讲得再清楚不过推荐系统的迁移方式是”统一语言”P5 把推荐任务统一成”文本到文本”,靠零样本/少样本加个性化提示来适配;UniSRec 用跨域对比预训练,做到参数高效地迁移到新平台。

生命科学里,”语言”换成了氨基酸序列和基因表达ESM-2 用 150 亿参数、在超过 6.17 亿条宏基因组序列上训练,把蛋白质序列当成一门语言来学;scGPT 在超过 3300 万个细胞上做生成式预训练,再迁移到下游任务。

这里必须插一个重要的边界说明:AlphaFold 2 虽然常被当作”生物大模型”的代表,但它走的是端到端监督训练,不是自监督预训练范式把它和 ViT、CLIP、ESM-2 混为一谈,是这类文章最常见的错误。

它恰恰说明:预训练范式是一条强趋势,但不是万能定律时间序列与工业:PatchTST 用掩码自监督预训练做跨数据集迁移;TimeGPT 是首个时间序列基础模型,支持零样本推理不过要如实说明——工业设备故障诊断方向,目前只检索到综述级佐证,没有企业级的完整落地报告,不宜夸大。

气象与遥感:GraphCast 在论文自述的 1380 个验证目标中,90% 优于业务化预报系统,能做到 10 天预报、0.25° 分辨率、1 分钟内出结果;Pangu-Weather 用 43 年 ERA5 逐小时数据

、约 2.56 亿参数;Prithvi 用超过 1TB 的卫星影像做自监督预训练,再用少量标注微调,削减标注量而精度不降(二)后训练范式的迁移:把”写不清的目标”换成”能判断好坏的信号”机器人领域有个容易被混淆的点。

RT-2 的做法是把机器人动作写成文本 token,和视觉问答任务共同微调——这对应的是 SFT 式的示范学习,不能称作”用 RLHF 训练机器人”Open X-Embodiment 则把规模化推到极致:汇集 。

22 种机器人、21 家机构、527 项技能、160,266 个任务而 RLHF 的真正前身,是 2017 年用成对轨迹偏好训练奖励模型的工作——人类反馈量不到 1%、大约 1 小时人力,就教会了机器人复杂动作。

推荐领域用上了 DPO快手的 OneRec 采用迭代偏好对齐加 DPO,因为推荐场景”每次请求只有一次展示机会”,专门设计了奖励模型来模拟用户偏好厂商自述线上观看时长提升 1.6%——注意这是自述口径代码

是 RLVR 的天然主场CodeRL 明确批评 SFT”忽略了单元测试这一重要信号”,改用 actor-critic 以功能正确性为奖励,这是 RLVR 的早期形态;AceCoder 则自动合成测试用例,。

80 步 RL 就让 HumanEval-plus 提升了 25%游戏与决策提供了最纯粹的同构原型AlphaZero 只给规则、从随机走子起步,靠胜负信号击败世界冠军程序把这件事和代码、数学放在一起看,你会发现它们的本质完全一样:。

胜负、单元测试通过率、数学答案对错、任务是否完成——都是可自动判定的 0/1 信号企业垂直落地的案例更贴近日常Lawyer LLaMA 证明了一个反直觉的结论:数百条专家数据,胜过数万条从 ChatGPT 蒸馏来的数据。

Med-PaLM 2 在 MedQA 上达到 86.5%,且医生在 9 个临床维度中有 8 个更偏好它的回答(p<0.001,属第三方性质评测)HuatuoGPT-II 则干脆把预训练与 SFT 的数据格式统一成单阶段——边界是可以被工程设计的。

(三)五条跨领域共性把这些案例放在一起,能提炼出五条判断:第一,”数据多但标注贵”的领域,必走预训练 wav2vec 2.0(10 分钟标注)、Whisper(68 万小时弱监督)、Prithvi(超 1TB 影像、削减标注不降精度)都是这个逻辑。

但 AlphaFold 2 走端到端监督,说明这是强趋势而非定律第二,”目标难写清但能判断好坏”的领域,必走后训练 从 2017 年的偏好比较到 OneRec 的 DPO,逻辑一致这条与第一条是互补关系,不是替代关系。

第三,”奖励可自动、客观、零成本判定”时,RLVR 取代人工偏好 AlphaZero 的胜负、CodeRL 的单元测试、R1 的答案对错、HER 的任务完成——四者同构第四,预训练与后训练的边界是可工程设计的,不是教条。

HuatuoGPT-II 合并两阶段、RT-2 交织两阶段、Whisper 干脆取消微调第五,也是最重要的一条:迁移的不是模型,而是”数据与奖励的构造方式” MAE 重建像素、ESM-2 预测下一个氨基酸、PatchTST 重建 patch——自监督任务的构造逻辑同构;CodeRL 的测试通过率、Christiano 的偏好对、OneRec 的用户偏好——奖励构造逻辑同构。

你真正能搬走的,是这两套”怎么造数据、怎么造奖励”的手艺所以,当我说”后训练决定上限能否被用出来”时,说的不只是大模型,而是所有”能判断好坏”的场景结尾:一把可以带走的尺子回到开头那个场景:一个 70 亿参数的模型文件,从一堆随机数字,变成能读懂合同、能解释报错的助手。

现在我们知道中间发生了什么:预训练让它知道世界长什么样,后训练让它知道该怎么对你说话前者给上限,后者给可用性而这两件事,在视觉、语音、生物、气象、机器人里同样成立——只是”世界”换成了图像、音频、氨基酸序列和大气状态,”对人说话”换成了”对任务交付”。

如果这篇文章只能留给你一样东西,我希望是一把尺子看到一个新模型,先问两个问题:它是同一基座的后训练变体,还是新的预训练基座? 看到一个 AI 项目,也先问两个问题:这个领域是”标注贵”还是”判断难”? 答案会直接告诉你,该把资源投在预训练还是后训练上。

最后留一个反常识的推演如果未来后训练的投入真的超过预训练,那决定模型差异的就不再是”谁读过更多书”,而是”谁拥有更多可验证的环境”竞争会从数据规模,转向场景密度而按这个逻辑,那些天生自带验证器的行业——代码、数学、游戏、工业质检——会最先跑出来。

因为它们不需要等人来打分,环境自己就会给出答案

声明: 本文部分内容及图片来源于网络,由本站编辑整理,仅用于学习交流,版权归原作者所有。如有侵权,请联系我们删除。联系邮箱:3454251265@qq.com

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

「米云软件」 AIGC 大模型是怎么“练“出来的:预训练与后训练 https://www.miyunrj.com/aigc/1224.html

常见问题

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务