AI基础设施

E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

2026年9月28日 · 58:04

本期《硅谷101》请来Scale AI研究总监何允中与加州大学伯克利分校博士后、Agents' Last Exam研究者孙一铀，拆解一门透明度极低却估值飞涨的大模型数据生意：AfterQuery半年内估值从3亿美元涨至32亿美元，Meta入股Scale AI时估值超290亿美元，Mercor融资估值达100亿美元。何允中把数据公司分为招聘出身的Mercor、众包出身的Scale、做合成数据的玩家与垂直领域小团队，并解释数据需求如何从预训练的人工标注，转向专家写评分标准（Rubric）与包含任务、工具和验证机制的强化学习环境。孙一铀介绍Agents' Last Exam的初衷是把vibe coding的刷分逻辑推广到各行各业，主张Rubric中专家的主观判断远未被挖掘完，而公司决策类任务因数据难以收集，仍是reward model难以攻克的领域。两人区分卖benchmark与卖数据：做评测的人卖自家评测数据会污染榜单权威性，而只要贴近真实用户体验，刷分未必是贬义词。节目还聊到数据污染——OpenAI因测试缺陷与题目泄漏停报SWE-bench Verified分数——以及专家为拿署名提交编造数据的问题，嘉宾主张用完整工作流录制等proof of work机制设计更好的奖励。最后他们认为采购私域代码、医疗病例、游戏源码是巨大机会，数商长期拼的是研发与迭代能力，模型公司对外部数商的依赖将长期存在。

E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

2026年9月16日 · 1:31:32

主播泓君与两位AI推理芯片创业者——英伟达首席科学家Bill Dally的学生Mark，以及曾在亚马逊Anthropic Labs做Trainium软件栈的徐子扬——拆解Groq、Cerebras与OpenAI三大推理芯片技术路径。两人论证训练时代拼算力、推理时代拼带宽：Decode阶段每产出一个Token都要把整个模型从存储读进计算单元，因此带宽性价比才是核心。Groq与Cerebras都押注SRAM换取两到三个数量级的带宽性价比，但Groq为静态编译调度牺牲了对MoE等运行时动态性的适配，Cerebras则被晶圆级良率和成本拖累，导致带宽收益大打折扣；这也解释了英伟达为何以约200亿美元acqui-hire Groq来补齐CUDA架构外的带宽能力，而两位嘉宾断言推理时代CUDA一定会被绕过。Mark还分享了自己团队的上千颗SRAM芯片组网方案，目标较GPU实现10倍性价比和一到两个数量级的单用户推理速度提升，并解释速度越快，模型能在同样的交互时间内思考更多Token、变得更聪明。节目借Mark的视角还原Bill Dally的设计哲学：计算机体系结构的一切围绕局部性展开，做数量级提升前必须想清楚牺牲什么。最后对比OpenAI与博通9个月流片的首款推理芯片：它选择HBM4而非SRAM，因为美国缺电不缺钱，其芯片内异构加暗硅的通用方案与Groq、Cerebras的系统级异构是不同约束下的不同收敛。

E249｜Token经济转点：OpenClaw、Hermes到本地自研的Agent进化之路

2026年8月20日 · 1:27:02

PingCAP CTO黄东旭与Llama Ventures高级技术合伙人张宏江断言，AI行业正从Token Maxing转向Token Efficient，本地开源模型与前沿模型组队才划算。黄东旭曾日烧四五百美元调用最强模型（最多一天10亿token），三个月做出千万美元级数据库DB9；现在他在Mac Studio上本地运行DeepSeek V4 Flash，日耗电仅1美元，得以处理海量论文和代码审查。他梳理了Agent进化：OpenClaw由Peter单人vibe coding一周完成（他曾在30天烧掉130万美元API），标志研究转工程但代码欠打磨；Hermes靠沉淀skill自我改进；Slock（现Raft）以多Agent讨论激发‘涌现’，然而Fable 5凭智商碾压一次搞定，让繁琐讨论不再必要。张宏江称Token价格每年降10倍，Agent消耗量比聊天机器人时代涨超100倍，基建无泡沫也不过度，AGI奇点已到来——机器智能已超越人类学习能力，但未来Agent网络会消耗更多Token。两人看好Agent基础设施（内存、搜索、可观测性）与toB垂直数据，提醒创业者做Agent native应用，别做易被大模型碾压的产品。

E247｜对话盛颖：XAI，INFRA的浪漫，SGLANG，开源，平权与“甄嬛传”

2026年8月5日 · 1:46:26

本期对话盛颖，xAI前推理团队负责人、SGLang发起人及RadixArk联合创始人兼CEO。她讲述了自己从数学到形式化验证再到AI Infra的转型，强调只有真正感兴趣的问题才能驱动她进入心流状态。她将AI Infra描述为“浪漫的关系”，认为infra本身是产品而非支持角色。她分享了在xAI早期获得“support”和“freedom”的经历，以及因SGLang社区扩张而离开xAI创立RadixArk的决策。她还讨论了开源生态的平等理念、LMSYS的平权使命，以及她对AI未来与人类共存的愿景。