E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

Hello 大家好 ， 欢迎回到 《 硅谷 101》， 我是易雯 。 很多投资人呢在和我们聊天的时候啊 ， 都提到了他们最近很关注的一个赛道 ， 那就是 " 数据 "。

随着模型能力的不断提升 ， 模型公司对训练数据的需求也变得越来越复杂 、 越来越具体 。 硅谷因此出现了一批增长很快的 " 数据公司 "， 专门为这些模型公司提供服务 。

比如由 3 名 20 多岁的年轻人创办的 AfterQuery， 今年 4 月宣布 A 轮融资的时候 ， 估值还是 3 亿美元 ； 到了 9 月呢 ， 新一轮融资就已经把它的估值推到了 32 亿美元 。

不到半年啊 ， 涨到了 10 倍之多 ， 创下了 YC 旗下公司从启动到成为独角兽的最快纪录 。 那我们更熟悉的几家大型数据公司呢 ， 估值也已经达到了百亿美元的级别 。

去年 Meta 入股 Scale AI 的时候 ， 给出的估值超过 290 亿美元 ；Mercor 去年 10 月这轮融资的估值啊 ，也达到了 100 亿美元 。

但这些高估值背后的数据生意 ， 到底是怎么做的 ， 外界其实很难看清 。 所以啊 ， 我也很好奇 ， 这些公司究竟在卖什么 ？

模型公司又为什么愿意给那么多钱呢 ？ 过去提到数据标注 ， 大家很容易想到给图片打标签 、 给模型的回答打分这些人工标注 。

现在啊 ， 数据公司还需要请来各类行业专家 ， 把他们的知识和工作经验转化成 AI 可以学习的任务 。其中一类重要的数据 ，是请专家写清楚 ： 一个回答 、 一份工作成果 ， 到底满足哪些条件才算好 ？

这套评分标准 ，也就是我们经常听到的 Rubric。 再往前一步啊 ， 数据公司还要搭出让 AI 实际动手的环境 ， 配上任务 、 工具和反馈机制 ， 让它在里面操作软件 、 反复尝试 ，并且根据结果学习 。

这就是强化学习环境 ，也就是我们经常听到的 RL Environment。 与此同时呢 ， 新的 AI 评测也层出不穷 。 从金融 、 法律等等垂直领域 ， 到让 Agent 完成一整套工作流程 ， 模型要参加的 " 考试 " 是越来越多了 。

但榜单上的分数提高了 ， 究竟代表哪些能力变强了呢 ？ 针对榜单做优化 ， 什么时候会让模型更好用 ， 什么时候又会变成单纯的刷分行为 ？

这期播客啊 ， 我们就想把这些问题聊清楚 。

今天聊大模型数据范式迁移 ： 人工标注转向可验证的 RL 环境 ，但也有观点 ： 对机器人来说 ， 最难构建可验证环境的场景 ， 未必在实验室 ， 反而在实际家庭里 。

沙盒里写代码 ， 跑一遍就知道对错 ； 但家务是动态环境 、 开放任务 ， 机器人不仅要完成动作 ， 还要稳定做好 ， 难度极高 。

家庭场景验证是行业的最硬命题 。 如何让家务不用人操心 ？ 科沃斯钻研了 28 年， 从扫地 、 擦窗到割草 、 泳池清洁 ，他们没急着把机器人做得 " 像人 "，而是不断打磨能帮人的机器人 ，在真实场景稳定解决问题 。

为此重设清洁决策 、 搭建验证体系 ， 很多功夫花在看不见的地方 。 家务难在哪 ， 科沃斯的能力就长在哪 。

本期节目由科沃斯赞助播出 ，" 像人 " 是很迷人的方向 ，但 " 帮人 " 才是科技最终的目的 。 接下来就请收听我们关于 AI 数据的正片 。

我请来了两位非常适合聊数据这个话题的嘉宾 ， 分别是在 Scale AI 负责后训练和评测研究的何允中， 以及加州大学伯克利分校的博士后 、Agents' Last Exam 项目的研究者孙一铀 。

以下就是我们的对话 。

Hello 允中 Hello 一铀 ， 欢迎来到 《 硅谷 101》。 大家介绍一下自己吧 。

OK， 我叫允中， 现在在 Scale 负责 Post-Training 和 Eval Research。 大部分人关注我们 ， 可能是看我们发布的这个 benchmark， 还有一些 RL data recipe 的文章 ，但是实际上我们其实也是给整个大模型行业提供数据 ， 还有一些方法论的支持吧 。

有一点像整个行业的一个外包数据 research 团队 。 观点都是个人观点 ，不代表 Scale AI，也跟客户没有关系 。

谢谢允中 。 我是一铀 ， 我现在在 UC Berkeley 读 Post-Doc， 现在关注的也是 Agent evaluation 这个方向 。 我们最近推出的工作就是一个 Agent's Last Exam， 目标是构建于迄今为止规模最大 、 覆盖面最广的智能体评测基准 ，是由 Berkeley RDI 和 300 多位行业专家共同领导和牵头的 ，是希望能够衡量智能体在有可验证结果的长期啊 、 具备经济价值任务中的一些表现 。

目前的话 ， 公开的任务大概有 150 多个 ， 覆盖了 50 多个细分的行业 。 然后我们目标在下一次发布中， 直接放出 1000 多个任务 ，在每个领域上做得更深一些 。

我们可能几个月内就会发布 v2 的版本 。

允中， 要不要跟我们讲一下现在市面上的 ，因为其实也有零零总总的数据公司嘛 ， 你觉得大致的一个分类是什么样的 ？

对 ， 这里面有几个大的玩家 ， 还有一些新秀 ，有一些几个人的 shop。在我看来最有意思的是 ， 大家基因可能不太一样 ， 比如说有做招聘出身的 ， 像是什么 Mercor、Handshake，Scale 是这种传统数商 ， 从众包网络出身的 。

然后也有一些新的是做合成的 ， 还有在最新的一些呢 ， 可能是某一些领域公司转行做数据了 。 这里面值得说一下的是这个巨升 ， 巨升现在的这个行业状况是 ，有很多做模型的公司暂时没赚到钱 ，但是它花了很大量的精力投资做素材 ， 然后就顺便做起了素材生意 。

很多各个行各业的人也发现了自己的数据的价值 ， 然后转行来做这么一个数据公司 。 我觉得大致有这么几个分类吧 ， 几个大的玩家 ， 比如说像是 Mercor、Surge、Scale， 基本上试图什么东西都能 cover。

除此之外 ，其实一些新秀玩家把一些领域做得比较好的 ， 像是什么 Bespoke 或者 Snorkel，他们可能是比较偏 research 跟 engineering 一点的 。

我猜测他们主要生产代码 ， 或者是脱扣这一类的环境 ， 就是抓住了今年的这么一个风口 。 另外我还看到一些小的公司 ，他们可能是解决了一些垂直领域的问题 ， 甚至他们可能不像我们是做标注数据的 ， 就是一些 broker， 比如说可能是好莱坞的一个人 ，他有特别多的版权数据 ，他知道怎么把这东西卖出去 ， 就是有零零总总的不同领域的东西 。

然后现在可能在最新兴起的 ， 就是做这些垂直领域 ， 把一个领域做得特别好 ， 可能是由一些领域的专家组成的 ， 大概是这么几个分类吧 。

我会觉得说机会还很多 ， 大的数商啊 ，有大的数商的优势 ， 就是想进入一个领域有比较多的资源 。

我觉得整个饼是越来越大的 。

你讲到说像 Mercor、Surge 这样的公司 ，是所谓的招聘公司 ， 这个能不能再给我们具体讲一下， 招聘是一个什么样的商业模式 ？

呃 ，Surge 应该不是 ，但是 Mercor 它是做招聘起家的 ， 它有自己的一个自动 AI 面试的这么一些产品吧 。 它可能自己主打的一个重点就是说 ， 我能够在比较短的时间内找到足够量的专家 ，有这么一个专家网络 。

然后 Surge 我觉得更多的是把这个东西 in-house， 这里反正有一些取舍吧 ， 基本上每个数商可能都需要面临这么一些取舍 ， 就是说如果我是自己完全全职培养的人， 那它肯定能力强一点 ，但是这个灵活度就不够 ， 产能可能会差一点 。

如果是更多的依靠众包的网络 ， 那么可能我的灵活性大一点 ，但是就是每个人的质量就比较难保障 。

然后这里面就涉及到一些质检的问题了 ， 比如说像 Scale 这些公司的一些优势 ， 就是说我们有一些质检的经验 ，不光是在数据上 ，也在人上 。

允中， 要不要讲一下你是什么时候加入 Scale 的 ？ 在当时到现在 ， 整个市场你觉得对于数据的需求有发生什么变化吗 ？

对 ， 故事还挺好玩的 。 当时我是在 Meta 入股之前签的 offer， 我一到 ， 人就走了 。 所以我经历了整个大模型行业开始 ，不管从人才的战争 ， 还有薪酬体系 ， 都开始 go crazy 的这么一个故事 。

当时我来之前 ， 我的老板刘斌跟我说 ，有这么一个技术 ， 各个家 Lab 都在做 ，但每个人都做得不太一样 ， 说你赶紧进来 ， 我就能跟你讲 ， 然后我们在这里好好做些研究 。

然后我来了 ， 那个时候是 Rubric data， 那个时候还比较新 ， 可能一年多之前吧 。 现在 Rubric 感觉已经过时了 ， 大家都在讲 RL Environment 各种各样的东西 ， 就是这一年确实经历了非常多的变化 。

其实我们关注这个话题 ，也是因为大概从 2024 年到现在 ， 感觉整个对于数据的一个需求发生了一个比较大的变化哈 。

因为 24 年之前我们在聊数据的时候 ， 大家想到的很多还是人工标注 ， 就是一些比较基础的数据吧 。

我们会需要非常多的数据来做 pre-train， 来训练模型 。 但是从 2024 年， 呃 ，其实 Mercor 之前有提到过 ，是因为 Deep Search 的兴起 ， 导致整个行业转移到了一个所谓的 Agentic data。

我们会需要像你刚刚说的 Rubric， 然后包括 RL 环境啊 ， 现在就是更多真实工作流数据 。 能不能帮我们先梳理一下这几个概念吧 ？

我们先讲一下这个行业从 Crowdsourcing data， 就是这些人工标注数据 ， 到 Agentic 数据 ， 这个中间是经历了一个什么样的变化 ？

啊 ， 对 ， 首先说明一下，pre-training 还是很重要的 ，不过就确实从我身边的人的兴趣来说 ， 大家经历了一个 shift， 大家觉得 pre-training 感觉有点无聊了 ， 就是在继续 Scale 调数据配比 。

那个时候是 O 系列模型出来了 ， 大家都在做 reasoning， 发现这个 RL 跑通了嘛 ， 一下子大家兴趣都在 RL 上 。

然后 RL 比较有意思的一个问题就是说 ， 我需要一个可验证的信号 ， 可验证的信号在代码或者数学 ， 尤其是最早的推理模型 ，是从数学上做出来 ， 就很简单 。

我这个选择题答错答对了就知道了 ， 或者就是一个数字算出来 。 但是之后大家就在想说 ， 那我数学可以做 RL 了 ， 我在其他领域呢 ？

比如说像是这些什么医疗 、 金融 ， 或者就是更基础的指令遵循 ， 这里我能不能做 RL？ 这里它存在的一个问题就是说 ， 它是有一些客观标打的 ，不像在之前的一个阶段 ， 大家做 RLHF， 就是 reward model， 可能没什么标打 ， 只是把大家的喜好学出来 。

然后这里面其实就有个标打 ， 只是它这个标打它比较不结构化 ， 就好像我去答这个历史考题 ， 历史考题是有标打的 ，但是呢 ， 每个人的写法可能都不太一样 。

就我很难做这个 pattern match， 就是说 ABCD 检查你有没有答对 。 这个时候就是一个 Rubric 方式 ， 相当于我让一个 TA 拿着教授写的打分规则来给你打分 。

然后因为这个打分规则是提前标好的 ，是教授写的 ， 所以这个 TA 也不需要特别聪明 。 这是整个大模型数据中的一个核心概念 ， 就是叫 weak to strong supervision， 就是我能不能用弱模型来监督强模型 。

那它这里成立的条件就是说 ， 我有个专家把他脑海里的知识给写下来了 ， 这样弱的模型拿着它改卷子就行了 。

这就是 Rubric data， 这个东西应该是火了很长一段时间 ，但是现在还很重要 。 但是这里面很快就把各个专家领域的 Rubric，而且比较容易获得的收集得比较干净了 。

看到比如说像 Mercor 或者 Surge 的崛起 ，其实跟这一块的专家 Rubric 有关系 。 但是再往前走呢 ， 就大家需要动手了 ， 比如说现在做这种代码模型 ， 或者像 Yiwen 他们做的 ALE， 虽然它不是做代码 ，但它需要动手 ， 要解各种各样的问题 。

这个时候呢 ， 它就不再是说我只是验证你一个聊天的输出了 ， 那我需要是在一个 Agent 的这个 setting 之下， 那我可能需要给它一些工具 ， 还有一些更复杂的验证方式 。

它还包含了 Rubric，但是可能我需要一些检查这个环境里面的变量是不是执行了 ， 这个数据库是不是写入了 ， 或者被删除了 。

甚至如果像是我生成一些文档 ， 里面可能有些图 ， 这个东西我还是需要 Rubric，但是我需要一个 Agent 来检查 ， 它就变得更加多样了 。

现在可能大家追求的比较大的一个方向就是环境 ， 它不光是我标注好的一些打分规则了 ，而是说我可能包含了一整套我要做什么 ，在什么样的环境里面做 ， 包括了它需要的一些工具 ， 需要执行的一些沙盒 ，以及还有一套跟 task 比较相关的验证方式 。

验证方式非常的多样 ， 比如说有这种 programmatic check，有这种 Rubric， 还有 preference， 我让人选我比较喜欢哪一种 。 这里面我暂时还没有形成特别大的共识 ， 我又看到有点像当年 Rubric 时代 ， 每一家要的东西都不一样 。

就比如说像什么 Terminal Bench，他们就不要 Rubric，他们就是纯 programmatic， 这里面又有不同的流派 ， 还挺有意思的 。

哎 ， 这个很有意思 。Yiwen， 你要不要从 ALE 的具体的例子来跟我们讲一下需要哪些要素 ？

其实我跟允中的看法其实有一点反过来了 ， 就是允中认为现在 Rubric 差不多已经做到头了 ，但我的看法是 ， 我觉得 Rubric 这一块 ， 意思专家那种主观的判断 ，其实还做得远远不够 。

我可以先从 ALE 的初衷讲一下，ALE 当时建立的初衷就是跟允中讲的一样 ， 就是我们怎么样把 vibe coding 迅速发展的这个趋势推广到 vibe everything。

当时 vibe coding 为什么发展那么快 ， 就是因为当时有非常非常多的 benchmark 都在 coding 这个领域 ，而且 coding 它比较容易 verify， 它是一个确定性的 Rubric， 大家为了刷这个搒 ， 所以在 coding 这上面呢 ， 发展非常迅猛 。

那么用同样的思路呢 ， 我们如果在其他的各个领域上， 尤其是工程 ， 能够客观打分的这些领域上， 能够建立各种各样的这样评测体系 ， 你去刷分 ，但你只要刷的是有意的分 ，是有意的题 ， 那它模型带来的提升 ， 对于人的日常工作来说 ， 就是实打实的提升 。

所以这就是我们当时想建立一个这样的初衷 。 当然世界上大家职业各式各样实在是太多了 ， 浩如烟海 ， 所以我们只是说在第一个版本里面 ， 给出了一个相对来说覆盖面比较广的初次的一个尝试 ， 然后我们还会继续努力 ， 希望把这个覆盖得更广一些 ， 到某一天希望它能成为真正的 last exam。

就当你解决这个 benchmark 的时候 ， 基本上就能解决人类社会在某些领域的真正的有意的问题 。

我同意 Yiwen 的观点 ， 各个领域的训练肯定是远远没有到头的 ， 然后很多东西都可能还没有被 Rubric 的方式表征出来 ， 所以这里面还有很大的空间 。

可能我刚刚说 Rubric 到头了 ， 更多的是个行业趋势吧 ， 就这种静态的单轮或者多轮聊天 ， 出一个文本 ， 然后用 Rubric 来检查它 ， 就是纯知识类的 ， 甚至也不是说到头了 ，因为毕竟还有不同的 Lab， 每家的水平都不一样 。

只是说今年的一个大趋势是在做这个 coding， 然后 coding 逐渐转向了 analogy work， 大家要动手了 。 这个时候呢 ， 就是纯这种文本的 Rubric， 我看到需求当然小了一点 ，但还是很大 ， 还是有很多东西没解决 。

就允中刚才提到了 ， 对于很多这种文本上的输出 ， 比如说他这个文章写得好不好 ， 你可能有些这样打分的点 。

但是事实上， 对于工程领域的一些产出 ，其实有很多的评测我们确实发现了 ， 除非你把输入固定得特别死 ，不然它的输出其实有非常非常多的可能性 。

我举个例子 ， 你让它生成一个游戏 ， 甚至有些数学解法它都不是唯一的 。 那这种情况下， 如果你给一个确定性的评判 ， 就是你一定要跟你这个 ground truth 来对比 ， 那很多时候就会造成不一致的这个问题 。

所以说很多时候说 ， 我们怎么样定义这个 Rubric， 让它能够兼容这种多十多万的输出 ，其实这也是我们在构建 benchmark 中遇到的问题 ，也是未来想要去思考解决的一个方向 。

稍微抛砖引玉一下， 我的一个想法就是未来的这个发展趋势可能会 ， 比如说人类它对于一些好玩好看 ， 它没有办法把它固化下来 ， 成为一个可以被量化的一个指标 ， 比如游戏好不好玩 。

但实际上有些游戏的入门教科书里 ，其实是有各种各样的评判的方式 ， 比如说它那个奖励曲线是不是平滑 ， 符合大脑的那个多巴胺的 ， 它意思是有些有科学的指标 ， 可以去量化这个好玩和好看这个东西 。

但我目前在现在的这 benchmark 上， 我还没有看到一个做得特别完整的公开出来的评测体系 ，因为这个东西难度也确实非常高 ，因为需要专家更加更加深度的参与 。

所以这一点我也想看看允中那边关于在数据公司里有没有看到这一个趋势 ， 或者怎么去解决这一类的问题 。

哦 ， 对 ， 这个问题特别好 ， 这也是每天我们在绞尽脑汁的问题 。其实整个 Rubric 或者整个大模型的验证体系 ， 我觉得它整体上是有这么一个思路 ， 大家希望左脚踩右脚 ， 就是当我的模型变强了 ， 我这个验证器也变强了 。

验证器变强了之后呢 ， 我就可以允许一些更复杂的 Rubric， 就比如说如果我是一个很弱的验证器 ， 那么我就只能写一些就是一个傻子都能看出来 ， 就知道是对还是错的这个 Rubric。

但是呢 ， 随着这个模型能力的提升 ， 那我的 Rubric 就可以写得越来越模糊 ， 可以把更多的知识交给验证器来解决 。

但是我觉得这里总体的一个思路还是说 ， 这个 Rubric 加上验证 ， 这两块加起来的这个知识和能力 ， 应该比我要训练的模型要多 ，不然就达不到训练模型的目的了嘛 。

那么就回到比如说像是这种做 video game 这种特别特别主观的东西 ， 对吧 ？ 我觉得未来可能是这样的 ， 你可能很难把它以很显式的条件一条一条写下来 ， 一个好的游戏是怎么样的 ， 那它可能有多种各样的可能 。

所以这个时候我的 Rubric 就会被迫写得更加模糊 。 这个东西就 by the way，其实不是我们想要的 ， 就通常来说我们会建议这个 Rubric 写得越严谨越好 ，但是在某一些领域 ， 你可能就必须要写得很模糊 。

这个时候需要验证的模型来自己做一些主观的判断 。 那这个验证的模型 ， 我觉得甚至有可能是我要训练一个这个 reward model。

我知道比如说在不少 Lab 里面 ， 这当然这不是客户透露给我们的东西 ，是我自己的一些经验 ， 比如说生图 ， 生图它有两个部分 ， 一个是 instruction following，有没有遵循我的这个要求 ， 比如说我图里面有猫有狗 ，有一个背景板写了哪几个字 ， 这个时候呢 ， 我是会有 Rubric， 我就写这里要有一只猫 ， 那里有一只狗 ， 甚至我跑一下 OCR， 把那个字提出来 ， 然后看看是不是我

想要的那几个字 。 就这一块是属于 Rubric，但是还有一块呢 ， 就是说这个字要写得好 ， 这个猫要是一只可爱的猫 ， 这种东西呢 ， 就是我可以写成 Rubric，但它非常主观 ， 那我可能甚至专门训练一个模型 ， 就这个模型它可能掌握了一些人类的主观体验 ， 这些东西可能跟 Rubric 结合在一起 。

大概率这个问题如果要解决的话 ， 可能是这么一个混合的方向 。

因为我们刚好把 Rubric 和环境这两个事情好像是放在对立面来说的 ，但是听起来一 ，他们是可以结合在一起使用的 ； 二 ，有没有一些任务是用 Rubric 来做会比较好的 ， 或者用环境来做比较好的 ？

我觉得这个肯定是不能拆开来讲的 ， 环境或者说任务数据它只是一个执行的基准 ，但是 Rubric 是最终用来打分 ， 用来奖励模型做得好还是不好 ， 所以它肯定是相辅相成 ， 要必须结合在一起来看的 。

我个人更希望去从一个任务分类的一个角度去看 ，而且人和 Agent 这两个角色如何去合作 ， 它分别担任一个什么角色 ， 这也很重要 。

我们从历史上来看 ， 就是从最早是 vibe coding 刚出来的时候 ， 就大家用 Cursor，其实就是一个 hue， 人类也是参与在执行这个代码当中的 ，Agent 它只负责执行很小的一个模块的一些写代码 ，但后来随着 Agent 能力越来越强 ，Agent 就你给它一个非常模糊的指令 ， 它能够完成一个非常大的一个 project 的时候 ， 那这个时候人和 Agent 的角色又产生了一些变化 。

那现在可以大致分成这两类 ， 就是人负责决策 ，Agent 负责执行 ， 人把你决策的东西说得越清楚 ，Agent 就能做得更好 。

基于这两个分类 ， 我们来看 Rubric 该如何去设置 。 如果我们需要 Agent 参与的角色 ， 它只是执行 ， 就你如果把一个任务说得很清楚 ， 它的输出基本上是固定的唯一性的 ， 那这个东西 Rubric 它就是一个确定性的 Rubric， 它打分的话 ， 就是完全可以基于一个你自己做出来的一个成品来进行打分 ，因为一般会有 ground truth 基准数 。

如果我们咱们讨论未来数据需要的形象值 ， 就是当人的这个决策的这部分 ， 会不会也被 Agent 所慢慢去取代 ， 那这一部分就是我觉得会回到之前允中说的 ， 大家现在反而没太重视这些 Rubric，因为决策很多是非常模糊 ， 很难去量化 ，而且允中说你对于一个具体的 domain， 猫可不可爱 ， 你可以 train 一个这样的 verifier，但是对于一个 ， 尤其是一个上市公司 ， 一个领导层的一个决策 ， 你

该如何去 train 一个 reward， 它每天的那个任务都在变 ， 你很难去收集到足够的数据 ， 让你来训练出这样一个 reward model 来替你做这样的决策 。

所以我个人认为在这一块的模型的发展 ， 还有很长的路需要去走 ，而且这可能是会成为一个未来发展趋势 。

这里我特别同意 ， 就比如这个 ALE 的这个方案 ， 我觉得就是面向未来 ， 比如说像这个猫可不可爱 ， 比如说我要是在这个 Meta， 我有一些用户行为的反馈 ， 我可以训练这个模型 ，但是公司的决策我就很难收到这些数据了 ， 比如说像 ALE 这种 ， 就让大家把以往做过的东西 ， 还有决策交起来 ，其实是一个方案 。

我会觉得以后收数据可能是大家怎么样找到好的激励方式 ， 让大家把一些重要的东西交出来 ， 尽量的能够回溯当时这些重要的决策 。

非常有意思 ， 我想再追溯一下评测的近几年的整个一个发展 ， 然后以及它和卖数据之间的关系 ，因为其实我和两位私下都聊过 ， 就是卖 benchmark 和卖数据这两件事情 ， 大家都觉得不能混为一谈嘛 。Scale 之前推出了 Humanity's Last Exam， 就 HLE 这个评测 ， 能不能给我们讲一下这个评测 ， 然后以及你觉得它和数据之间是怎么样联系起来的 ？

这是个好问题 ， 我觉得从原理上来说 ， 评测它体现的是模型距离我们想要的理想状态中间的这个 gap， 就是它更多的是一个科学研究这么一个基准 ， 就是我想要模型在哪 ， 它现在没到哪 。

但是这个事情跟卖数据联系起来呢 ，也比较有意思 ，因为很多时候它提升这个模型能力的数据和它搒单的评测方式是息息相关的 ， 这里面可能比较难的是找到一个平衡 。

如果我就生产大量的跟这个搒单差不多的数据 ， 那么它可能就在 benchmarking。 但是呢 ， 就是这个大模型训练还是有各种各样的维度 ， 确实如果我想要提升某一个能力 ， 我需要抓住某一个维度 ， 那么就是说它跟 benchmark 肯定是有一定的相关性 ， 这个是大家需要找到的一个平衡 ，因为大家对 AGI 的期待太高了 ， 觉得人能做到的事情它都能做到 ， 那么就是说我在

各种各样的领域都可以想到一些方式构造一个 benchmark， 然后发现它这个模型距离理想想象当中还有一些差距 。

通常构造这个 benchmark 的人呢 ， 对于这一块的领域可能认识比较深 ， 那么就自然会给它一定卖数据的权威性 ， 大家会比较相信你手上卖的数据 ， 这个生意就这么产生了 。

我相信 Yiwen 应该也 ， 就 ALE 现在做得火的 benchmark 应该也有不少人想问你卖不卖数据啊 ， 或者是有可能 VC 想找你投资 ， 结果逐渐逐渐的就成了一个生意 。

我觉得就是也有好有坏吧 ， 就是说这个生态其实也还比较野蛮发展 ，有多少是在做科学 ， 多少在做 benchmarking， 我觉得确实需要仔细权衡一下 ，但是这确实有很多的这个利益驱动 ， 所以现在是个挺繁荣的市场 。

对 ， 这里的话我也是要给大家敲个警钟 ，因为允中提到了现在做 benchmark 的人会收到各种各样的诱惑 ， 就是要去把 benchmark 数据去卖了 。

我甚至我私下听到是有一些数据公司它踩了这个红线 ， 就是它把自己在做评测的数据去卖 ， 当然这个是大家千万不能碰的一条线 ，不能让你做的生意然后污染你这个 benchmark 的权威性 ，不然的话你不仅毁了你的 benchmark，也毁了其他人的模型 。

我个人认为 benchmark 和卖数据这两个东西角色是不一样的 ，在这个生态系统的地位是不一样的 。 就我认为 benchmark 面向的是未来 ， 做数据面向的是现在 ，benchmark 是面向于未来大家还希望这个模型公司去解决什么目前还没有解决的什么问题 。

就是 ALE 其实我们在今年 1 月份 2 月份做的时候 ， 我们特别害怕 benchmark 做得太难 ， 导致这个 benchmark 失去意义 ，因为当时的模型很多基本上平均分只有 10% 到 20%， 很大部分题目它都只有拿到 0 分 ， 我们很担心这样的评测它会失去意义 ，但事实上没有必要担心这个事情 ，因为 benchmark 本身就是要面向于未来的模型去做的 。

数据的话更多是去解决这个 benchmark 所产生的一些需求 ， 所以说更说是现在大家在刷这个搒单 ， 然后怎么样去把这东西做好 。

我认为 benchmarking 它有好有坏 ， 你只要面向了它这个数据 ， 它不是直接污染你这个 benchmark， 然后你这个 benchmark 刷的又是有意义的一个搒单 ， 只要这个 benchmark 和人的真实用户的体验非常接近 ， 我觉得这个 benchmarking 它不一定是一个贬义词 。

对 ，benchmarking 这件事其实特别有意思哈 ，因为一方面我们确实需要一个评测的基准 ， 然后另一方面你又不希望模型公司为了刷评测而去刷评测 。

我觉得这里很自然就产生一个问题 ， 就是什么样的评测才是有意义的评测呢 ？ 因为我们现在一周就感觉可以看到很多新的 benchmark， 比如说从模型公司的角度来说 ，他们应该怎么样去选 ， 去刷哪些评测 ， 或者把哪些评测作为他们下一步提升模型能力的目标 ， 然后从你们供应商还有 researcher 的角度来看 ， 你是怎么样去看待这件事情的 ？

我觉得做模型能力提升 ， 最大的 ROI 还是我要放在能力上， 这些能力提升了 ， 它应该是汇集各个 benchmark， 当然就可能有些人有不同观点 ，因为就对于一些模型厂商来说 ， 应用也非常重要 。

就比如说如果我的这个 benchmark 是比较贴近一个应用场景 ，他们其实有动机 ， 就把这个场景做好对他们也是有益的 。

最有意义的事情是大家至少口头上还是奔着 AGI 去的嘛 ， 那我应该考虑哪一些核心的这个认知能力是我需要提高的 。

那么它体现在 benchmark 上就是说我可以看到一些泛化性 ， 如果我做了一个提高 ， 它只涨这个 ， 别的都不涨 ， 那么可能有一些不好 。

所以就回到一开始的问题 ， 未必是说怎样的一个 benchmark 是最好的 ， 还是说不同的 benchmark 它测试了不同的东西 ， 我可能要关注的是哪一些这共同的能力能够让它们一起提升 ，而不是说我只专注于优化同一个 benchmark。

另外再回到 benchmark 本身的问题 ， 我倒是觉得除此之外， 大家确实会关心一些贴近场景的 benchmark， 如果这些场景是大家在意的 ， 它确实反映了这个用户体验 ， 这也是个好 benchmark， 它未必是那么 universal， 未必是那么大的朝着 AGI 去的 ，但是它就确实体现了大家的体验吧 。在这个角度上来说呢 ， 那 benchmark 肯定是有千奇百怪 ， 就你总会找到一个场景 。

我觉得可能是两个要素 ， 就是说这个场景的这个 gap， 它是不是体现了一个非常具体的能力的缺陷 。

如果只是因为这一个场景一些场景知识不太懂 ， 同时这个场景又不太重要 ， 就是我在一个犄角旮旯里面 ， 我解了一个什么很奇怪的智力题 ， 出了一个 benchmark， 这个能力提升了 ， 未必代表着这个模型本身的认知能力提升了 ， 那么可能就不是一个好的 benchmark。

另一方面就是说 ， 就算不反映核心的能力 ， 它至少反映一个大家在意的场景 ， 比如说现在特别火的是 Personal Assistant， 就是今年这个 Muse， 这是一个很具体的场景 ， 大家都希望有这么一个东西 ， 那么这个 benchmark 它甚至未必测的是模型本身 ， 它可能还测了你的 harness。

最后这个 benchmark 它甚至不是为了卖模型的训练数据 ，而是告诉你我的 harness 错在哪 ， 可能我可以做些工程优化 ， 就是贴近大家需求场景的 benchmark 也是好的 benchmark。

所以在我看来 ， 一个是反映了核心的认知能力 ， 一种是贴合场景 ， 当然两个都有的话是最好的 。

我觉得最重要 ， 现在大模型公司很看重的一个就是 benchmark 的分布 ， 大家应该可能都听说过 Artificial Analysis 这个评测体系 ，他们其实做的事情很简单 ， 就是把各家 benchmark 给不同的权重 ， 然后把它综合到一起来 ， 得到一个分数 ，但这样它就存在一个问题 ， 它这个分布的这个权重是不是真的是大伙需要的这个权重 ， 然后权重以什么方式去进行迭代 ， 这个都是挺主观的一个事情 。

大家质疑的更多不是这个模型本身 ，而是质疑这个搒单本身 。 我现在倾向于认为大家可能 benchmark 还不够好 ， 做到大家心目中要的 distribution 那种级别 ， 很难达到一个 ground truth。

所以现在很厉害的模型厂商 ， 比如 Anthropic 或者 OpenAI，他们都会倾向于去自建一个评测体系 ， 来让它更接近他们心目中的分布 ， 只不过第三方的支撑可以让他们对外发布的时候更有说服力一些 。

当然比如说允中说的一个垂直领域的 ， 肯定是非常重要的 ，因为这个就是面向一类群体 ， 它这个分布就是那个群体需要每天在做的事情 。

如果它能把那个分数拉高 ， 比如金融啊法律啊 ，他们律师每天做的事情 ， 如果能把那个做扎实了 ， 那他们法律只需要看这一个 benchmark 就足够了 。

第二点就是允中提到了 ，有些 benchmark 它并不能代表真实人设 ， 比如说之前有一些 benchmark 它是测 Agent 智力的 ， 就是玩那种小游戏 ， 那种 Ark Challenge 那种游戏 。

对 ，Ark 2、Ark 3 这种 ， 对 ，是它这个 benchmark 的说中是说觉得能解这些游戏是人类的一个智力的体现 ，但是没想到 ， 哈哈 ， 就这个智力其实也是可以做得特别特化 ， 我一个小模型也能把它搞出来 ， 还挺有意思的 。

那有没有什么特别 niche 的 benchmark，但是可能大众不太了解 ，但其实是非常有用的测试这个模型能力的例子 ？

我可以举个我们的例子 ， 我们有一些 benchmark 可能不太经常出现在大家的搒单上， 比如说我们前一阵子做的 Drug Discovery， 还有一个跟 AI Tutor 相关的 ， 它可能关心的是一个比较小的垂直领域 ，但是跟我和 Google Labs 的交流 ， 负责相关领域的团队 ，他们通常就会有这么一个人 ，他们会看市面上跟他领域相关的评测 ，他都会把它收回来 。

然后另外一个就是说这个 benchmark 最后上不上搒单 ， 火不火 ，其实也有很多随机因素 ， 比如说 AI 就有一个很好玩的事 ，AI 用了我们做的一个搒单叫 SWE Atlas， 我们当时是做了几个不同风味的 SWE test，其中有 Q&A， 就是代码仓库问答 ， 还有代码重构 ， 还有写 test， 只不过我们是分三个阶段推出的 ， 所以 Q&A 先推出了 ， 推出之后呢 ， 我们还没来得及把另外两个推出 ， 把它

们合在一起 ， 然后 somehow 那个 Q&A 就先被 AA 捡去了 。Q&A 上了 AA 之后呢 ， 大家就开始 cite 这个东西 ， 突然间就这一块需求就变大了 ， 我们当时想得很不理解 ，Q&A 是最简单的一个场景 ， 就是我们花了那么多心血做了更复杂的 benchmark， 结果就是因为可能是时间关系 ， 还有的时候是某一个 lab 用了可能是碰巧它的分好 ， 这里面其实是有一些随机因素 ， 就是你在这个

搒单上， 就大家 take report 上看的东西呢 ，有一定随机性 ，AI 收这些搒单有一些随机性 ， 最后就是你没看到的东西 ，其实背后可能也有人在用 ， 就这个生态其实水还比较深 ， 还比较复杂一点 。

明白 ，Yiwen 其实我还想再问一下， 就你刚才提到的大家对于 Artificial Analysis 这样搒单的质疑 ， 然后你觉得说是不接近于大家理想中的分布 ， 这个分布现在有没有一个共识呢 ？

因为我理解每一个模型公司对于分布的需求其实也是不太一样的 ，是吧 ？ 如果是在这种情况下的话 ， 我们怎么样去理解这个理想状态下的分布 ， 它是应该比较接近真实世界的这样一些任务 ， 还是说是别的分布 ？

我觉得真实的分布其实本质上就是大家的用户体验 ， 就是世界上假设说存在这样一个 ground truth， 就真实的分布的真实的打分 ，其实有点类似于 LLM Arena 这种模式 ， 假设说你每天 prompt 这个 agent 的时候 ， 你能够有多条模型一直在执行 ， 然后给它们打分 ， 这是最真实的评价 。

但是这个现实生活中能够做到这样的搒单 ，有那么以下几种因素 ：LLM Arena 之前做好是因为之前的 QA 它这个很快 ， 它开销很低 ， 你给它一个问题 ， 它能够几秒钟之内给你个答案 ， 你很快就能进行打分 。

但现在在 Agent 的时代 ， 一个长程任务动辄几个小时， 一个用户也没有那么多的超能力 ， 每次执行一个任务都连着开几个 agent 一起去执行 ， 然后也没有个机制去反馈把它收集起来 ， 所以说大家的评价很多都是一个偏主观的 ， 它很难拿到这样一个真正的 ground truth。

但如果说有哪家公司或者有哪家有某种方式解决了这个问题 ， 那肯定很厉害 ，但我相信他们大模型公司内部肯定是有这样一个机制的 ， 就是让它有几个版本的模型 ， 然后有一些用户它是真实用了这个东西 ， 然后去测 。

我的意思是假设有这样一个 distribution， 然后你这个评测的分数的分布接近于这个东西 ， 那它就是一个很好的 benchmark。

对 ， 我听到一些比较有意思的 ， 很多评测 benchmark 跟我线上做 A/B test 测出来结果是不一样的 ， 就是用户的反馈跟评测其实有时候不太一样 ， 甚至很难说哪个好 ，因为用户有时候也比较主观嘛 ， 像这种聊天的对吧 ， 你可能给它特别多这种 factual 的东西 ，versus 给它很多这种 clickbait， 就说它爱听的话 ， 可能这个结果也不一样 ， 所以这块还是挺复杂的 。

对 ，是这样的 ， 就像 Claude Code 我觉得在 Arena 上分数一直遥遥领先 ， 就是因为我觉得 Claude Code 它有个特点 ， 就是尤其中文用户或者英文用户 ， 它给出来的这个 output format 更贴近于人们心目中想看到的 ， 就非常容易去理解 。

相反呢 ，Codex 它可能执行得更细致一些 ，但是输出的东西就没有那么人那么容易去 ， 相对没那么理解 ， 所以说稍微吃了点亏 。

但我个人体验用户下来 ，他们俩可能是不相上下， 甚至我个人还更偏好于 OpenAI 那边一点 ，因为它做得更细致 ， 犯的错误更少 ， 所以这个确实也是很主观的一个事情 ， 就怎么定义好这个 distribution。

所以在这种情况下， 模型公司还会把 benchmark 视为判断自己模型能力的一个标准吗 ？

他们肯定是也是在乎外部的评价 ， 不同模型公司 ， 我说先说美国那几家大的 ，他们肯定是倾向于自建为主 ， 就是自家的 evaluation 团队 ，因为他们有这个能力去建 。

但是对于一些比如说刚成立的 ， 或者相对没有那么有名气的一些 Frontier Labs， 或者它不是头部的 Frontier Labs，他们肯定是会非常依赖于外部的评测 ，因为它内部的评测团队可能没有那么有经验或者那么完善 ， 或者说他们的人力资源更希望投入到模型的训练和开发当中 ，而不是去直接利用 。

所以这个每个公司的策略都不太一样 。其实我的个人判断是说 ， 当一个产品逐渐成熟之后， 或者当你积累了一定体量的用户之后， 最后你其实关心的还是用户增长 。

比如说我之前其实做了很多年在 Meta 做搜索跟推荐 ， 逐渐的就变成了一个类似搜索推荐的问题 ， 就你看什么样的指标跟用户增长最相关 ， 最后就是朝着赚钱的方向走的 。

现在可能真正能够评测到这个能力的 lab 不太多 ， 需要一定的用户体量 ， 可能在这个聊天的场景就比较成熟了 ，但是呢在这些 agent 的场景上呢 ， 能做到这个程度就更复杂一点 。

大模型可能跟传统这个搜推不太一样的地方就在于说它的场景很复杂 ， 就算我能够在这个 chat 场景做好很好的这个 A/B test， 甚至训这个 reward model 来朝用户喜欢的方向发展 ， 我总会有新的东西出来 ，而且大家一直在看新的东西 ， 比如说现在大家都在卷这个科学发现 ， 科学发现我不可能有足够量的科学家给我显著的 A/B test 结果 ， 必须还是要依靠场景构

造 benchmark。 我会说因为大家对这里的这个应用场景的期待太高了 ， 场景增长的速度赶不上我在这个领域用户沉淀的速度 ， 还是有大量的需求要依靠这个 benchmark 来做评价标准 ，但我会觉得在某一些领域沉淀下来之后， 大家会有更多的线上评测体系 ， 然后可能会像这种传统的互联网增长 ， 看看哪些指标跟用户的 DAU 增长更相关 。

对 ， 能不能深入讲一下数据采购这件事情 ？ 我觉得就是有几个点非常有意思啊 。 第一 ， 你提到了刚才有很多小的公司 ，其实是现在一个创业机会嘛 ， 这也是为什么我们看到很多最近新起的一些四五个人， 甚至两三个人的这些数据创业公司拿到了非常高的估值 ， 这是不是就是因为他们的目标就是这些非常垂直的领域的数据 ？

对 ， 我觉得这里可能有几块问题 。 首先我觉得最近兴起的这些 RL Environment 公司呢 ，其实更多的是在做合成 ，因为整个数据行业已经从找人标注慢慢的过渡 ， 你要交付的是一整套环境 ， 然后这个环境可能需要大量的这些工程工作在里面 。

很多在这些合成的技术站上做得比较好的一个小团队呢 ，其实可以比较短的时间交付大量的合成环境 ， 这些未必是不好的 ， 就合成它有时候你也可以基于一些长的模型 ， 或者说基于一些半成品的这些 artifact，是可以做出一些好东西来的 。

现在这里是一块增长 ，但是再往下走呢 ， 这里面比较有意思的就是说 ， 这个东西之所以能成立 ，因为大家今年的主题是在卷代码 ， 软件行业是最奇怪的一个 ， 就它非常的 open，有大量的公开资料 ，而且就是我们生产数据的公司同时大家都懂代码 ， 所以就这个比较好解决 ， 让一些小的团队有很多机会可以自己造很多数据 。

但是我觉得再往后面走呢 ， 比如说这些其他领域的垂类就更复杂了 ， 这里面我会看到了有一些公司 ，他们可能解决两个不同的问题 ， 比如说像我们做后训练数据 ，其实在我看来是两个问题 ， 第一是采购 ，其实我要把原材料买回来 ， 就好像 ALE 让大家上传 ， 对吧 ， 这是一个比较新的经理机制 。

然后加工 ， 加工就是我们再把它标注 ， 或者是通过一些 agent 的 pipeline 把它做成适合大模型训练的环境 。在这个垂直领域问题上呢 ，其实采购变得越来越复杂 ， 就甚至代码领域 ，其实采购一些私域的这个代码仓库啊 ， 谁能把这个问题解决好 ，其实就是一个巨大的优势 。

那么在垂直行业 ， 比如说我如果是做芯片设计的 ， 我可能要把整个芯片设计的环境给造出来 ， 可能当中涉及到一些商业软件 ， 那我怎么样把这些商业软件的版权拿到 ， 把它包在这里面 ， 就是一个问题 。

还有一个就比如说做 DevOps， 我要是一个系统工程师 ， 我要操作什么 AWS 之类的 ， 然后我知道有个公司做了一整套 AWS 模拟器 ， 每一个垂类的这个环境都有一些很深的东西 ， 你可能要采购 ， 可能要定制软件 ， 大家抓住这两个垂类把这个东西做好 ，其实创造了很多新的机会 。

明白 ，因为刚才我们提到这些垂直场景 ， 比如说在 Drug Discovery 这些生物医药方面的 ， 还有一些具体行业的评测下面 ， 我们可能没有足够的场景 ， 或者没有足够的好的评测 ，在这种情况下我们有足够的好的数据吗 ？

这里其实有一个难点 ， 每个领域它都需要一些人把他的专业知识吐出来之外呢 ， 我还要需要这个领域的这个东西 ， 像药物发现啊 ， 我可能需要很多 ， 尤其是私有的数据库 ， 就这里面我觉得是目前这个行业一个大的卡点 ， 就是你先要能把这东西买到 ， 你知道大家手上有什么 ， 才能把它做成 benchmark。ALE 其实很大程度上是在解决这个问题 。

对 ，ALE 就是希望大家能够以众包的方式 ， 让专家把之前自己做过的 project 交上来 ， 当然这里面有一些不符合规范的我们都筛掉了 ，因为他们甚至把一些非常非常私的东西都交上来了 ， 比如说什么法院的一些证据什么的 ， 就是非常 ， 对 ， 然后我们尽量把这个都筛掉了 。

比如说我们现在在 V2 中我们也尝试去收一些数据 ， 比如说 Steam 上的一个游戏库 ， 就游戏开发的一项任务 ， 它一个那种名不经传的一个大概几千人体量的一个 mobile 的游戏 ， 它要价能要到两三百万人民币一条 ， 我觉得哪家数据公司或者 benchmark 都没有这个财力去做这个事情 。

就是这个游戏公司会要价要到两三百万一条 。

对对对 ， 要这个游戏的源码 ， 对 。

就比如说很多公司想要采一些游戏的视频 ， 然后做一些标注 ， 游戏视频可能是版权数据 ， 这里有一个巨大的采购问题 ， 我觉得这里是一个商业机会 。

我现在其实看到不少 startup 在解决这些问题 ， 就绝大多数商我们自己也在投入做一些采购方面的工作 ，但是总体上来说 ， 我觉得这里很有巨大的问题没有被解决 。

有哪些现在非常热门的垂类是数据非常少的 ？

我会说至少医疗算一个 ， 就是数据比较敏感 ， 就是谁能拿到大量的病例数据 ， 那就非常有优势 。

对 ，因为其实也有很多新闻讲到说 ， 可能在法律或者金融的这些领域 ， 会有一些之前离职的员工 ， 可能会去分享他们的工作流 ，不过可能工作流数据和像医疗数据里面这些病人的 data 还是不太一样的 。

是的 ， 各个领域 ， 我觉得甚至现在大家之所以都在说金融 、 医疗 ， 就是因为跟大家比较息息相关吧 ， 大家多少还懂一点 。其实这个世界上有很多我都不知道的行业 ， 就是你真的要跟他们聊才知道 ， 就比如说我才知道就做这个药物研发 ， 大家还会交易这些分子 ， 一个分子还能倒腾几套 ， 这里面还要做 DD， 所以可能没有做只是因为大家

不知道 。

对 ， 就是我们在做 ALE V2 想要把比如说一个领域做深的时候 ， 我们会尝试先捋一个领域 ， 它会有哪些工作流 ， 会有一个树状这样结构 ， 然后尤其在生物学这一方面 ， 然后我们基于 Nature 这个 publication， 它会有自然的分类 ， 它对子学科分类 ， 然后把这个树展开到第三级的时候 ， 大概有 3000 个节点 ， 然后我们也做一下工作 ， 就是把现在已有的市面上的 life 和 bio 的这

个 benchmark 已经覆盖了多少 ， 做了一个统计 ， 大概是可能 10%、5% 都不到 ， 甚至它连一个成型 ， 就是覆盖面完全的一个 benchmark 市面上都没有 ， 更别说是针对这个去做相应的数据 。

明白 ， 那像我们刚提到的这些做合成数据的小公司 ，他们能赚钱的周期有多长呢 ？ 因为听起来好像都是这几年新出现的这样一些公司 ， 这些数据它的生命周期有多长呢 ？

嗯 ， 这是个好问题 ， 至少现在需求还是挺大的 ， 然后未来可能说比如说这一波 coding 卷完了 ， 那么他们需要新的品类 ， 大家你能不能抓住下一个机会 ，而且下一个机会可能跟你现在的运行模式不太一样 ， 比如说我自己也会觉得采购会很重要 ， 那么采购能力比较差的可能就比较难 ， 或者就像 EU 他们 ， 你可能有些新的激励机制让大家把东西交进来 ，

对吧 ， 所以可能以前的一个激励机制是招聘平台 ， 或者就给你一个小时工 ，但是以后可能有新的激励机制 ， 就谁能把这些东西玩得转 ， 可能会继续有一些优势 。

这个地方我想问一问袁忠你的看法 ，因为我个人认为随着模型能力越来越强 ， 模型公司自己内部创造数据的能力也越来越强 ， 这一点你认为这个饼是越来越大的 ，但有没有可能会出现一个情况 ， 这个饼面向于非头部公司的这个机会反而是门槛是越来越高的 ， 入场券是越来越难拿的 。

比如说数学这块领域 ， 之前的话大家只是要去影印那些奥数课本 ， 就能够去批量造出大量的数据 ，但这些数据现在基本上是零价值 ， 所以你是怎么看待这个趋势 ， 就未来的数据公司的这个发展方向 ， 对 。

我会觉得从第一性原则上来说 ， 还有巨量的问题没有解决 ， 你要想这个世界上还有多少东西没被蒸馏干净 ，是巨大的机会 ，但是如果你就看现在大家是怎么运行的 ， 这个事情当然会越来越难 ，因为越来越多的这个玩家进来了 ， 我觉得大家如果只盯着我手上的工作 ， 这个一定是越来越难做的 ， 就算这个 labs 不自己做 ， 越来越多的竞争对手进来

， 你的 margin 也会越来越低 ， 所以在我看来一个好的数商其实最后解决的是个研发问题了 ， 就好像一个软件公司一样 ， 我要提前投入未来大家需要的东西 ， 赚到钱之后再投入下一个东西 。在 lab 本身呢 ， 我有个暴论 ， 可能 labs 未必有最好的基因来解决数据的问题 ， 这里面可能有几块 ， 比如说合成数据 ， 合成数据其实按理说很多就是这个 lab research 的本

职工作了 ， 尤其是搞后训练的 ， 大部分时间都在花在搞数据上了 ， 就是买数据 、 合数据 、 验证数据 、 洗数据 ，但是这个领域你会觉得为什么外面的人会有机会呢 ？somehow 今年的这一波增长都来自于一些懂行的人在外面把这个数据合了 ， 再卖回去 ， 所以这个事情是存在的 。

我觉得一方面是因为大模型公司现在有太多的钱了 ， 就是你自己造 ， 外面买其实也不矛盾 ，但是在更长远上来说呢 ，其实有很多问题可能模型公司没有太好的基因解决 ， 比如说如果我要采购 ， 我要把一些行业的东西先采购过来 ， 蒸馏出来 ， 这个时候我会觉得大的 lab 可能未必有那么大的优势 ， 它甚至可能会有一些 conflict of interest， 比如说一方面把你的这个 FDE 派到了

人家企业里面 ， 然后另一方面你有一拨人在搞这个企业数据 ， 那么我会觉得如果我是一个企业 ， 我是不太放心把我的数据交给你的 。

出于这些原因 ，有一些东西可能 lab 不太适合自己做 ， 它可能还是需要第三方的这个人帮它做一些采购 ， 或者深入到一些行业领域里面去 。

我会觉得一个数商真正要做的事情是研发 ， 看看未来还有哪些行业是重要的 ， 这些行业有哪些东西我要值得投入把东西买回来 ， 然后我自己先投入 R&D， 把这个行业的问题给研究清楚 ， 然后再把它做成 benchmark 或者数据 ， 甚至证明这个东西的有效性 ， 然后我再转手卖给 lab。

从 lab 来说呢 ， 就是大家的这个 deadline 都很死 ， 如果我是一个 lab 的 research， 如果你让我花半年的时间来解决一个行业 ， 可能有时候大家其实没有自由度 ， 就是这个时候你看到 ， 哎 ， 那边有一个数商说我把那个行业的东西搞清楚了 ， 你要不要 ， 大家通常都会看一眼 ， 所以我觉得其实长期来说拼的还是一个研发能力 。

你觉得这个趋势对于大模型公司来说会持续吗 ？ 因为现在模型公司里面也有自己的数据团队嘛 ，但是你觉得他们更愿意去从第三方那里收数据 ，而不是自己去造环境 、 造数据 。

这里我觉得可能不矛盾吧 ，因为最后模型公司最高的优先级还是把东西做好 ， 如果他们自己能生产好的数据的话 ，有可能会倾向于自己生产 ， 只是现在大方向上来看 ， 这个世界上还有太多的这个工作流没有被折腾清楚了 ， 那么对外部数商的依赖我觉得是长期存在的 ， 甚至就是一个大模型实验室自己可能未必想要投入那么多的资源 ， 做得这么重 ， 可能更 prefer

灵活一点 。 缺点就是说大家可能希望更多的东西是第一方的 ，不希望所有人都能从数商中获得这些能力 ， 所以就从这个角度来看 ， 会有一定的动机自己研发 。

然后就比如说现在可能很多 labs 它在做这个 expert matching， 就是说你把人派到我这里来 ， 就也有这么一些趋势 。

我自己也会觉得说现在有太多东西没有被解决了 ，不管是谁把这些问题解决了 ， 那它一定是有赚钱的机会 ， 这个东西可能跟在哪里发生不是很有所谓 ， 现在是机会多 ， 饼在于变大了这么一个阶段 。

哎 ，但这也是大家对于数据一直有的一个问题 ，也就是说如果一个第三方供应商把同样的数据卖给不同的模型公司 ， 那它中间怎么样去区分呢 ？

这里通常来说有个比较简单的解决方案 ， 就是说你可以花多点钱把这个数据买断 。

你觉得对于模型公司来说 ，在数据供应商收到那么多数据的情况下 ，他们怎么样去使用这些数据 ， 这个流程能不能给我们讲一下 ？

就这里面一般来说它是有一些比较固定的训练方式的 ， 我们把它叫 training recipe， 就比如说像是比较简单的这种数据 ， 我可能就是直接 SFT， 就是我把对的答案给它就行了 ， 然后像是 Rubric 这一种呢 ， 它可能就是在做强化学习 ，因为就是不停地有一个模型在给它打分嘛 。

比较有意思的是现在这些 RL 环境 ， 比如说最近大家在卷的一些特别长程的任务 ， 现在今年的一个主题是 RSI 嘛 ， 就是 recursive self-improvement， 它其实是个 buzzword， 就是说 AI 自己研发自己 ， 那大家最近就在看那些我跑一把 ， 可能要跑个几天 ， 一个星期 ，其中你可能要有个 GPU 真的在上面模型训模型的任务 ， 这里的训练方式其实就开始变得有一些模糊了 ， 我们也在一起研究这里面的训

练方式要怎么搞 ，但是我自己就觉得这里面其实还没有太多的共识 ， 所以还有很多有意思的空间 。 就对于数商来说 ，有时候也不完全是就造一个模拟的 task 这么简单 ， 你还要考虑到它模型公司拿去要怎么训 ， 然后针对它怎么训 ， 可能还要有一些定制 。

对 ， 这一块我也比较好奇 ， 如果说你就是为了 benchmarking， 就是你拿 ALE 的一些任务你直接去训练 ， 就类似做一批这样的数据 ， 那你怎么保证这个数据它训练出来 ， 它模型能力 、 泛化能力是能够提升 ， 能够被迁移到其他的任务上去 ， 然后这个东西有没有一些比较系统化的 、 科学化的方法来做这样的验证呢 ？

如何在不训一个模型基础上， 然后能够评判这个数据能给模型带来怎样的提升 ？

对 ， 我觉得这里其实有一些技术 ， 比如说现在如果我要造一个环境 ， 大家最怕的就是 reward hack， 就它有捷径 ， 如果明明我没有完成这个 task， 我可能是做死了一些手脚 ， 结果 somehow 我的这个分可以打得很高 ， 就是我训出来这个模型肯定会变成一个耍花头模型 ， 这种东西肯定是不希望发生的 。

那么通常来说我会有一些技术 ， 我可以用 agent 来做这个 red teaming， 就是我会让一些比较强的模型来试试看能不能在这个 task 里面找到捷径 。

另外就是 ， 就这里面很多是我自己的个人猜想 ， 就不代表 Scale AI 或者任何客户 ， 就是说在训练这些东西的时候呢 ， 很多 benchmark 我们可能只关心最后有没有完成这个任务 ， 就是我们验证器是围绕这些东西设计的 ，但是我怎么样完成它 ， 这些东西可能也会在模型训练里面有一些关键作用 。

一个比较 trivial 的例子就是说 budget， 就比如说我训模型的时候 ， 我会关心它是不是消耗了过多的 token 或者用了这些步数 ， 那么我们在训练它 ， 比如说在拿 ALE 的模型数据训练的时候呢 ， 肯定我最后 reward 会很复杂 ，不是说我把这东西解出来就行了 ， 我可能还关注它消耗了多少资源 ， 最后可能是在各种各样维度的检查 reward， 防止它作弊 ， 这些东西结合起

来才能完成一个训练的 recipe，其实就感觉也没那么简单 。 这些可能是训练数据更多要考虑的问题 ， 就是说我这些数据能不能导出一个比较好的训练方式 。

嗯 ， 能不能讲一下像 RSI 或者就因为刚才我们也提到很多 newlab 嘛 ， 像在这些情况下做这些训练需要的数据有什么不一样吗 ？

或者需要的定制有什么不一样吗 ？

通常来说最常见的定制其实是难度 ， 大家做 benchmark 的时候一般来说 ， 至少希望它不那么饱和 ， 那就意味着越难越好 ，但也不一定 ， 就像 EU 说的 ，也不要就完全解不出来 ， 就是 benchmark 的难度更多是一个客观的反映我这个行业难度的事情 ，但是在我训模型的时候需要做一个特化 ， 就是说这个难度对它的模型要是适中的 ， 我们有时候会做这个事情 ， 模型厂

商会把它甚至还没有发布的这个模型给我们 ， 然后我们帮它筛数据 ， 这个题目对它来说不能太难 ，也不能太简单 ，因为现在做这个强化学习是说让模型在上面自己试 ， 如果试对了的话 ， 它就能学到一些东西 ， 那我给它题太难了 ， 它啥也做不出来 ， 肯定就不行 ， 所以在这个难度上会做一些适配 ， 然后另外可能我们会做一些轨迹采集 ， 就比

如说如果你把你的模型的轨迹给我们 ， 我们可能把这些轨迹采集出来 ， 然后帮你做一些筛选 ， 甚至我们想办法用人给你搞一些可以解这些问题的轨迹 ， 这样你可以拿回去 ，不需要做强化学习 ， 你可以直接照着这个轨迹做 SFT， 针对它的这个训练需求其实也有一些特化的这种工作 。

OK， 接下来还想再聊一下数据污染的这个问题啊 ，因为今年 2 月的时候呢 ，OpenAI 就宣布停止报告它在 SWE-bench Verified 里面的分数 ， 这个其实也是一套评测啊 ， 那具体来说呢 ， 就是让 AI 修复真实开源软件里面的项目问题 ， 再通过这个测试来判断它有没有修好 。

当时呢 ，OpenAI 主要是指出了两类问题 ， 一类是它测试本身可能会有缺陷 ， 比如说有的功能上正确的解法也会被判错 ， 另一类呢就是数据污染 ， 这个我觉得很有意思啊 ，他们发现是在特定提示下面 ， 模型能够复现部分题目原本的人类修复代码 ，也就是说呢 ， 模型很可能在训练过程当中就已经接触过相关内容了 ， 所以这个分数就变得有点难解

释了 。 我想问一下两位是怎么理解数据污染这个问题的呢 ？

就 SWE-bench 这一类数据其实有一个问题 ， 它可能甚至还不是污染 ， 就是它 task 可能就做得不够好 ， 就比如说有时候有一些错误是假错误 ， 就比如说可能我的测试脚本要求得太多了 ， 或者是我的 task 没讲清楚 ，有这么一些类型的原因吧 。

另一个污染可能是说模型预训练的时候把这些东西都训练进去了 ， 这里面其实是有一些技术可以检测到这些东西 ， 我想 ALE 上面应该会有一些这种经验 。

有补充一下， 它说不采用 SWE-bench， 它是连 SWE-bench Verified 也不采用 ， 就是当一个 benchmark 它 ， 我印象中它是在过去的 6 个月内只从 74% 提升到了 80%， 然后剩下那些问题可能是脚本写得太 harsh 了 ， 然后或者它的题目本身就是不可解的 ， 或者是会有各种各样的问题 ， 然后它剩下的可能 20% 都是集中在这个问题上， 那这个 benchmark 本身可能就失去了它对比的意义 。ALE 也没有解决一个问题 ，

这个也想跟袁璐探讨一下， 就当一个专家他本身提交上来的材料本身是错的时候 ， 我该如何去预防这个问题 ， 这个是我们真实发生过的 ，因为我们专家这个五花八门嘛 ， 当然这个这样的人很少 ，他是为了提交这个任务 ， 然后为了拿到作者 ，因为我们的奖励机制就是你提交了这个东西 ， 然后我们接纳了你这个任务 ， 你就能被纳为作

者列表的一部分 ， 确实是有人为了提交而提交 ， 然后他甚至使了 agent 去合成一堆乱七八糟的数据 ， 甚至有些数据交上来我肉眼看出来它就是编的 ， 这个东西是确实对我们工作造成了很大的困扰 。

这是个特别大的问题 ，Scale 总是有人， 总是可以靠人解决的 。 这里有个特别有意思的问题 ， 比如说 EU 提到了我给它这个 authorship 是一种奖励机制 ， 那它会带来一定的问题 ， 比如说就 Scale 那更原始的 ， 比如说我就给你小时工 ， 那大家也有一些偷懒作弊的方案 ， 我会觉得这个奖励机制是个特别特别难的问题 。

长远来说 ， 比如说我的目标是把人类都蒸馏干净 ， 对吧 ， 怎么样设计一个好的奖励机制 ， 把大家的目标都 align， 我觉得这里其实有特别大的空间 ， 这里可能是个巨大的 research area， 我自己心中可能有一些方案 ，proof of work， 就比如说我要求你把做这个东西的一整段工作流程全部都录下来 ， 你必须要做到多少时长或者怎么样 ， 不同形式的问题它有不同形式的奖励

和验证机制 ， 这里面其实有很多玩法值得大家探索 。

这里面其实也涉及到一个更大的问题啊 ， 就是很多数据它本来也就是公开数据嘛 ， 就是网上的一些资料啊 ， 公开代码啊 ， 这些东西 ， 所以这些数据是不是本身就注定了会有污染 ， 一般是怎么样处理这些情况呢 ？

其实最简单的污染你直接其实问 agent 它都能找到 ， 公开数据其实还好检测 ， 我觉得最难的是编造数据 ， 比如说让你去做一个化学模拟 ， 就它根本就没有跑过这个任务 ， 它自己编了一套似是而非的东西 ， 你没有个几个月根本查不出来这个问题 ，因为它看上去很真 ， 什么时候能发现这个问题 ， 当所有的 agent 它的能力基本上远超这个问题本身

的时候 ， 它发现所有的答案它们都是做出来是一样的 ，但是跟这个真实答案是不一致的 ， 这个时候我们就会查出问题 ，但这个周期会非常长 ， 然后你让另外一个专家去验证这个问题 ， 它成本又非常非常高 ，因为它本身这个问题它都是要专家化一个多礼拜或者两个礼拜才能做出来 。

对 ， 然后那个验证的专家你要保证他 。

对 ， 验证的专家他本身也会为了一些东西偷奸耍滑 ， 说这个东西哎 ， 它就是对的 。

所以每个涉及到专家评测都会有这个问题吗 ？

对 ， 都会有 。 众包的 benchmark 为什么难做 ， 就是难做在这里 ， 人性是非常复杂的 。

是 ， 我觉得这里它可能甚至验证的时候也缓 ， 我自己觉得确实在奖励机制上， 比如说如果你就让它真的老老实实待着做 12 个小时， 对吧 ， 就你给我合起来假数据 ， 你也要把每一步都给我交出来 ， 要求你必须做这么多的动作 ， 那它可能就没有那么大的动机给你合假数据了 ， 这些是比较值得研究的方向 。

嗯 ， 很有意思 。其实我本来是想问一下真实工作流的数据 ，但是听下来大家现在还是在卷 coding 数据是吗 ？

就不是在做真的 workflow，因为我理解是比如说像 Mercur 这样的公司 ， 就是有在卖一些真的 workflow 的数据 ，但是听起来 coding 现在还是这个赛道最卷的 。

其实你怎么定义真实工作流的数据 ， 就真实工作流的数据本质上它都能够被划归到一个 coding 的问题 ， 就比如说对 3D 建模这个问题 ，其实有很多比如说 FreeCAD 什么 ， 它都是提供了现成的 API 让你去做这个事情的 ， 就是这不是传统意义上的 coding， 就是让你去写一段代码去解一个 leetcode 这种 coding 题 ， 它是用 coding 去解决真实 workflow， 所以说只要有足够的 MCP API 调用 ， 它其实

本质上 95% 以上的它任务都能够被划归到 coding 的问题上来 。

对 ， 就是可能有一些小的 ， 可以看它这个 task 本身是要的什么东西 ， 它涉及到的一些环节是什么 ， 能把它归结到不同领域的工作流上去 。

但是就我同 EU 说的 ， 现在因为你让 agent 来做事情 ， 代码就是它的手跟脚嘛 ， 所以它其实归根结底 coding 肯定是其中的一环 。

嗯 ， 明白 。 你们觉得在私有数据需求依然很大的情况下， 未来的数据公司会不会从卷采购本身变成卷并购 ， 就是去收购一些垂直领域的公司 ？

对 ，不评论 Scale AI。 我是听说有一块很大的 private equity business， 就是说以前大家是 flip 公司嘛 ， 现在 flip 公司的一个新的方式就是说我买了这个公司 ， 然后我用 AI 让它体校 ， 把一些人裁了 ， 之后呢把这个公司的价值做上去再把它卖了 ， 现在就多了一层 ， 就是除了我买这个公司可以帮它重组打包用 AI 体校之外呢 ， 我还能把它的数据发掘出来 ， 就它数据还能卖一些钱 ， 所

以就是让这些整个买公司的行业又多了一个玩法 ， 就很自然的大家就是树商或者就传统做 private equity 的公司也在看这个数据怎么能够卖钱 ， 然后就兴起了一整个领域 。

我甚至觉得说如果真的未来比如说 5 年、10 年还是这个速度发展 ， 大家还没有遇到瓶颈的话 ， 把各个行业的东西都给拿出来 ， 可能这个东西跟大模型本身就是世界上最大的两个行业 ， 当然这是比较极端的 ， 这个 AI doom is doom， 可能会导出这么一个世界 。

嗯 ，是的 。 但是听起来其实数据行业本身也是在变化得非常快 ，因为就像我们刚才提到从这个 Rubric data 到 RL 环境的这样一个变化 ， 所以有什么信号会让你觉得有某一个领域或者某一个赛道它可以持续的增长吗 ？

哦 ， 我会觉得就首先还有很多没有解决的问题 ， 机会还是很多的 。 另一方面有越来越多的玩家进来了 ， 比如说每年都有很多新的 new lab， 资本市场还是以这个方式运作的话 ， 就这个饼是越来越大的 。

但是这个数据变化很快 ，不太像是一个我可以躺在一个地方一直吃老本的生意 ， 树商要疯狂的迭代自己 ， 那么最后可能是拼大家的 R&D 的能力 ， 那或者说谁能把这个 R&D 的这个能力本身固化 ， 做成一个 flywheel， 我有一个流水线可以一直在发掘新的东西 ，也许这个是未来最大的优势 。

但是就这东西上来说 ， 我会觉得现在是百花齐放吧 ， 未来机会还很多 。

这我也是从一些地方听说 ， 就是树商呢它估值空间一般没有传统的这个公司来得大 ， 就是因为它很难把这个杠杆保持住 ， 然后让你以很轻松的方式在一个积累的用户量情况下就能躺在那里吃老本挣钱 ， 就像 Facebook 啊 ，Google 的一些生物一样 ， 它已经有积累大量用户 ， 它就能躺在这些 APP 上赚钱 ，但数据生意你领导者必须持续的去思考下一步在哪里 ， 持续

去迭代 ，因为模型迭代速度太恐怖了 。

嗯 ， 你觉得你们现在在做 ALE 2.0 的时候 ， 最难的是什么 ？

我觉得学术上相对容易一些的 ， 比他们 Scale 在做商业上 ，因为他们给我们的数据很多都是无偿的 ，但是我能够想象得出我如果是一家树商要去收这个数据 ， 它这些都是天文数字 ， 就那些收上来的原始项目和代码 ，而且很难找到一个很好的奖励机制 ， 让这些专家能够自愿的把这个交上来 。

我拿 Mercur 它们官网上的给专家的一个小时的那个价格来算 ， 比如说制造业的工程师大概是可能一两百刀一个小时， 这种价格就限定了它不可能招到特别特别高级的工程师 。

但是为什么学术界好做 ，因为我们能够自然而然吸引到一些这种级别的人来帮我们收集数据 ，因为他们不求钱 ，他们图的是大家一起把这个事情做好 ， 图的是个名 ， 所以说这个奖励机制不一样就导致你能吸引到的人不一样 ， 你的上游是不一样的 。

OK， 很有意思 。 好呀 ， 那我们就到这里结束吧 。 谢谢允中， 谢谢 EU 参加我们的节目 。

谢谢 Yiwen。

谢谢 ， 谢谢 。

好啦 ，以上就是我们这期播客的全部内容了 。 国内的听众可以通过小宇宙苹果播客 、 网易云音乐 、 喜马拉雅 QQ 音乐 、 蜻蜓 FM、 荔枝 FM 来关注我们 。

海外的听众可以通过苹果播客和 Spotify， 或者在 YouTube 上搜索硅谷 101 播客来关注我们 。 我们部分的文字稿还会收录在硅谷 101 的微信公众号上 。

谢谢大家 ， 我们下次再见啦

。