OpenAI

E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

2026年9月16日 · 1:31:32

主播泓君与两位AI推理芯片创业者——英伟达首席科学家Bill Dally的学生Mark，以及曾在亚马逊Anthropic Labs做Trainium软件栈的徐子扬——拆解Groq、Cerebras与OpenAI三大推理芯片技术路径。两人论证训练时代拼算力、推理时代拼带宽：Decode阶段每产出一个Token都要把整个模型从存储读进计算单元，因此带宽性价比才是核心。Groq与Cerebras都押注SRAM换取两到三个数量级的带宽性价比，但Groq为静态编译调度牺牲了对MoE等运行时动态性的适配，Cerebras则被晶圆级良率和成本拖累，导致带宽收益大打折扣；这也解释了英伟达为何以约200亿美元acqui-hire Groq来补齐CUDA架构外的带宽能力，而两位嘉宾断言推理时代CUDA一定会被绕过。Mark还分享了自己团队的上千颗SRAM芯片组网方案，目标较GPU实现10倍性价比和一到两个数量级的单用户推理速度提升，并解释速度越快，模型能在同样的交互时间内思考更多Token、变得更聪明。节目借Mark的视角还原Bill Dally的设计哲学：计算机体系结构的一切围绕局部性展开，做数量级提升前必须想清楚牺牲什么。最后对比OpenAI与博通9个月流片的首款推理芯片：它选择HBM4而非SRAM，因为美国缺电不缺钱，其芯片内异构加暗硅的通用方案与Groq、Cerebras的系统级异构是不同约束下的不同收敛。

E248｜一个“催发货”AI要跑通260步，和阿里瓴羊朋新宇聊聊中国式FDE

2026年8月11日 · 1:03:54

本期节目邀请阿里巴巴集团副总裁、瓴羊CEO朋新宇，探讨中国式FDE（前线部署工程师）的实践。朋新宇指出，与硅谷高薪派驻工程师不同，瓴羊的做法是提供标准化Agent，聚焦企业耗人、耗钱、耗时最多的环节，如客服、销售、营销。他举例说明，一个催发货流程需跑通260步，而AI通过向顶级投手学习，能在90天内完成上万次价格调整。他强调，企业部署Agent的关键在于以业务结果为导向、以企业数据为基座、以岗位标杆为预设，且自上而下的推动更易成功。朋新宇还分享了部署周期（1/3熟悉岗位、1/3建模、1/3调教AI）、FDE团队画像（BA、AI架构师、业务首席教练），以及中美FDE在信息化地基、付费习惯上的差异。他认为，企业算得过来账最重要，模型选择并非核心，人才需兼具AI锐度、业务深度与数据宽度。