LLM Arena

E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

2026年9月28日 · 58:04

本期《硅谷101》请来Scale AI研究总监何允中与加州大学伯克利分校博士后、Agents' Last Exam研究者孙一铀，拆解一门透明度极低却估值飞涨的大模型数据生意：AfterQuery半年内估值从3亿美元涨至32亿美元，Meta入股Scale AI时估值超290亿美元，Mercor融资估值达100亿美元。何允中把数据公司分为招聘出身的Mercor、众包出身的Scale、做合成数据的玩家与垂直领域小团队，并解释数据需求如何从预训练的人工标注，转向专家写评分标准（Rubric）与包含任务、工具和验证机制的强化学习环境。孙一铀介绍Agents' Last Exam的初衷是把vibe coding的刷分逻辑推广到各行各业，主张Rubric中专家的主观判断远未被挖掘完，而公司决策类任务因数据难以收集，仍是reward model难以攻克的领域。两人区分卖benchmark与卖数据：做评测的人卖自家评测数据会污染榜单权威性，而只要贴近真实用户体验，刷分未必是贬义词。节目还聊到数据污染——OpenAI因测试缺陷与题目泄漏停报SWE-bench Verified分数——以及专家为拿署名提交编造数据的问题，嘉宾主张用完整工作流录制等proof of work机制设计更好的奖励。最后他们认为采购私域代码、医疗病例、游戏源码是巨大机会，数商长期拼的是研发与迭代能力，模型公司对外部数商的依赖将长期存在。