财联社2月24日讯（编辑 黄君芝）上周末，社交媒体X上有一条关于“未来AI竞争趋势”的推文引起了马斯克的兴趣，并获得了其“手动点赞”。而且，马斯克旗下的xAI也刚好在上周正式发布了Grok 3大模型。
这篇推文是由美国著名TMT（科技、媒体和通信）投资人Gavin Baker发布，马斯克对此评论道：“分析得很好”。那么，下面就让我们来看下Gavin Baker究竟表达了什么内容。
先说结论：Baker认为，AI产业格局的变革正在加速，OpenAI在未来的领先优势将会缩小。未来，数据将成为竞争核心，无法获得独特、有价值数据的前沿模型是历史上贬值最快的资产。就这一点来看，谷歌、Meta等巨头可以通过垄断数据构建“护城河”。
具体而言，Baker指出，从2022年夏季到2024年春季，OpenAI一直处于领先地位，但后来谷歌和Anthropic赶上了GPT-4。由于其先发优势，以及积极押注传统的预训练“缩放定律”（Scaling Law），OpenAI公司占据了逾7个季度的主导地位。
Scaling Law也称尺度定律，被业界认为是大模型预训练第一性原理。在机器学习领域，特别是对于大型语言模型而言，模型性能与其规模（如参数数量）、训练数据集大小以及用于训练的计算资源之间存在的一种可预测的关系。
Baker指出，“Scaling Law”的优势窗口正在关闭。
他写道：“Google的Gemini、xAI的Grok-3，以及Deepseek的最新模型，均已达到与GPT-4相近的技术水平。就连OpenAI创始人奥尔特曼也指出，OpenAI未来的领先优势将更加狭窄。微软CEO纳德拉表示，OpenAI在模型能力方面领先的独特时期即将结束。”
“在我看来，这就是为什么纳德拉选择不为OpenAI提供1600亿美元的预训练资金。”Baker补充道。
据媒体此前报道，微软内部备忘录显示，由于预训练边际效益递减，原计划投入160亿美元升级预训练基础设施的方案已被叫停，微软转而专注于为OpenAI提供推理算力以获取收益。
纳德拉此前也曾表示，数据中心可能建设过剩，租赁优于自建，微软甚至可能会使用开源模型来支持CoPilot。Baker认为，这预示着单纯依靠规模扩张建立壁垒的“预训练时代”已走向终结。
数据“独一无二”
在如此的背景下，大模型层出不穷、而模型架构又大差不差，Baker认为，“独一无二”的数据资源才是决胜的关键。他进一步指出，谷歌和Xai都拥有独特的、有价值的数据来源，这将使它们与Deepseek、OpenAI和Anthropic越来越不同。
“我多次转述EricVishria的话，无法获得独特、有价值数据的前沿模型是史上贬值最快的资产，而蒸馏只会放大这一点。”他写道。
大模型蒸馏（Large Model Distillation），简单来说，就是将一个复杂的大模型（教师模型）的知识迁移到一个较小的模型（学生模型）中。就像老师把自己渊博的知识传授给学生，让学生能够在资源有限的情况下，尽可能地表现出和老师相似的能力。
Baker还指出，如果未来前沿模型无法访问YouTube、X、TeslaVision、Instagram和Facebook 等独特而有价值的数据，则可能没有任何投资回报率。独特的数据可能最终成为预训练数万亿或千万亿参数模型的差异化和ROI（投资回报率）的唯一基础。
格局变化
Baker总结称，如果这是正确的，那么巨型数据中心只需要2-3个，推理所需算力占95%。AI计算的其余部分将是较小的数据中心，这些数据中心在地理空间上进行了优化，以实现低延迟和/或成本效益推理。
他解释称，成本效益推理=更便宜的电力（核能的溢价更低），基于量化压缩技术（如Deepseek R1的1-bit LLM）支撑低成本推理。
Baker总结称，与之前那种预训练和推理阶段计算资源分配大致各占一半的情况不同，现在会变成预训练占 5%，推理阶段占95%。卓越的基础设施将至关重要。
最后，他还提到，如果OpenAI在5年后仍然是该领域的领导者，那可能是因为先发优势和规模优势，以及产品影响力。
“时间会证明一切。”他写道。
发表评论