大模型路径是： 预训练→后训练→微调。 预训练门槛高，基本上只有巨头玩得起。 海量数据，太多，算力怼到底，大力出奇迹，Transformer出来，成了。 跑分大多数像考试，那就用考试的视角来看。 预训练，把所有这门学科的所有教科书、教辅资料、试卷、习题涉及到的知识都过了一遍，直接属于大脑开发了30%的强度，谓之「烧脑」 后训练，做对加分做错扣分，导致越做越多。 微调，考前做点模拟卷，习惯试卷结构，解题思路。 从「考试」的视角来看，好像从一个苦苦刷题、认真整理错题并改错记下来、考前认真梳理（再象征性地押几道） 各位，请问你们在学生时代，针对「中考」、「高考」，是这样学习的吗？ 倘若你去调研一下顶级学霸，就会发现，他们刷的题没有那么多，只是掌握了一小部分基础知识，就优化了自己的「推理框架」 这个涉及到一个关键性问题，在跑分这等任务中，单说分数跑的高，就得沿用学霸的思路。 1️⃣先学习一些不那么重要、并不能直接靠小量数据，单凭几个公式几个定理就能解电磁场的复杂大题（我想各位也深有体会） 2️⃣把大模型的训练反过来： 自生一套「天赋」，谓之训练框架。 然后，先通过领域知识微调，譬如，学霸对跨领域的知识学习方法是通用的，对于生物、化学、物理，可以大多数定理不那么通用（当然确实有相关性） 学霸知道，这类题的解法是什么，再补充一套自进化的学习思维。 3️⃣接着，再学霸给再多的数据集（习题），都是强化。以至于到后面，最多给新题型，丰富一下，以防会考到，如果频率没那么高，实际上也影响不了他们的解题能力。 4️⃣这样，学霸对知识的理解，就变成了一个，本来不是天生学了那么多，而是有一种「天赋」，一种nb的学习思维。 当然，我不是鼓吹应试教育的「学霸」，而是从这个视角来回看大模型这种偏向于知识驱动的信息产物。 我们总是期望，一个被OpenAI、DeepMind、Anthropic搞出来的一个最牛的通用基座模型，就被叫做AGI了。 实际上，不如通过医学实验探索自己让人类大脑开发到50%。 训练大模型的过程，怎么感觉像训练一个猴子，让它变得跟人一样聪明呢？ 有点意思的是，很多学霸，可能肢体能力没有特别好，换句话说，他在进厂拧螺丝、职业体育训练等一些领域，确实不如一些工厂的员工，运动员强。 所以顶级模型搭配顶级硬件外设，去干一些不那么困难的工作，岂不是浪费？就是因为控制不灵活。 头部机器人，内部用到好的大模型，去用好的硬件，设计最好的机械结构，无非是给一个肌肉男「阿诺」配上了「爱因斯坦」一般的大脑，最后的任务是拧螺丝？ 我怎么感觉「阿诺」练成了？ 我怎么感觉，大模型的训练，怎么还不如应试教育呢？ 能否反过来看待，聪明人，和聪明模型的差距呢？ 我觉得应试教育很无敌的机制在于，他并不是按照所有人都必须变成全领域都懂的精英。而是：通过几门考试的限制，约束训练框架，再把领域的特长分发给每个人，自己去选择上限。 其实我们每个人并不是限定了具体适合干哪个行业，注定成为哪个行业的精英。而是一种对自己又掌握了一项技能，学习了一个知识的惊喜与崇敬。 并不是一个数学好的人适合做分析，而是一个有分析「天赋」的人适合做分析。 挖掘自己的天赋，并点满技能点。 我觉得，这是造物主赋予人类智能的独有魅力。 AGI，你觉得该怎么实现？ 欢迎头部AI公司的科学家和我辩论这个议题，也欢迎哲学家、人类认知与社会行为学领域的专家与我交流。