AI芯片

E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

2026年9月28日 · 58:04

本期《硅谷101》请来Scale AI研究总监何允中与加州大学伯克利分校博士后、Agents' Last Exam研究者孙一铀，拆解一门透明度极低却估值飞涨的大模型数据生意：AfterQuery半年内估值从3亿美元涨至32亿美元，Meta入股Scale AI时估值超290亿美元，Mercor融资估值达100亿美元。何允中把数据公司分为招聘出身的Mercor、众包出身的Scale、做合成数据的玩家与垂直领域小团队，并解释数据需求如何从预训练的人工标注，转向专家写评分标准（Rubric）与包含任务、工具和验证机制的强化学习环境。孙一铀介绍Agents' Last Exam的初衷是把vibe coding的刷分逻辑推广到各行各业，主张Rubric中专家的主观判断远未被挖掘完，而公司决策类任务因数据难以收集，仍是reward model难以攻克的领域。两人区分卖benchmark与卖数据：做评测的人卖自家评测数据会污染榜单权威性，而只要贴近真实用户体验，刷分未必是贬义词。节目还聊到数据污染——OpenAI因测试缺陷与题目泄漏停报SWE-bench Verified分数——以及专家为拿署名提交编造数据的问题，嘉宾主张用完整工作流录制等proof of work机制设计更好的奖励。最后他们认为采购私域代码、医疗病例、游戏源码是巨大机会，数商长期拼的是研发与迭代能力，模型公司对外部数商的依赖将长期存在。

E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

2026年9月16日 · 1:31:32

主播泓君与两位AI推理芯片创业者——英伟达首席科学家Bill Dally的学生Mark，以及曾在亚马逊Anthropic Labs做Trainium软件栈的徐子扬——拆解Groq、Cerebras与OpenAI三大推理芯片技术路径。两人论证训练时代拼算力、推理时代拼带宽：Decode阶段每产出一个Token都要把整个模型从存储读进计算单元，因此带宽性价比才是核心。Groq与Cerebras都押注SRAM换取两到三个数量级的带宽性价比，但Groq为静态编译调度牺牲了对MoE等运行时动态性的适配，Cerebras则被晶圆级良率和成本拖累，导致带宽收益大打折扣；这也解释了英伟达为何以约200亿美元acqui-hire Groq来补齐CUDA架构外的带宽能力，而两位嘉宾断言推理时代CUDA一定会被绕过。Mark还分享了自己团队的上千颗SRAM芯片组网方案，目标较GPU实现10倍性价比和一到两个数量级的单用户推理速度提升，并解释速度越快，模型能在同样的交互时间内思考更多Token、变得更聪明。节目借Mark的视角还原Bill Dally的设计哲学：计算机体系结构的一切围绕局部性展开，做数量级提升前必须想清楚牺牲什么。最后对比OpenAI与博通9个月流片的首款推理芯片：它选择HBM4而非SRAM，因为美国缺电不缺钱，其芯片内异构加暗硅的通用方案与Groq、Cerebras的系统级异构是不同约束下的不同收敛。