泓君

E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

2026年9月16日 · 1:31:32

主播泓君与两位AI推理芯片创业者——英伟达首席科学家Bill Dally的学生Mark，以及曾在亚马逊Anthropic Labs做Trainium软件栈的徐子扬——拆解Groq、Cerebras与OpenAI三大推理芯片技术路径。两人论证训练时代拼算力、推理时代拼带宽：Decode阶段每产出一个Token都要把整个模型从存储读进计算单元，因此带宽性价比才是核心。Groq与Cerebras都押注SRAM换取两到三个数量级的带宽性价比，但Groq为静态编译调度牺牲了对MoE等运行时动态性的适配，Cerebras则被晶圆级良率和成本拖累，导致带宽收益大打折扣；这也解释了英伟达为何以约200亿美元acqui-hire Groq来补齐CUDA架构外的带宽能力，而两位嘉宾断言推理时代CUDA一定会被绕过。Mark还分享了自己团队的上千颗SRAM芯片组网方案，目标较GPU实现10倍性价比和一到两个数量级的单用户推理速度提升，并解释速度越快，模型能在同样的交互时间内思考更多Token、变得更聪明。节目借Mark的视角还原Bill Dally的设计哲学：计算机体系结构的一切围绕局部性展开，做数量级提升前必须想清楚牺牲什么。最后对比OpenAI与博通9个月流片的首款推理芯片：它选择HBM4而非SRAM，因为美国缺电不缺钱，其芯片内异构加暗硅的通用方案与Groq、Cerebras的系统级异构是不同约束下的不同收敛。

E249｜Token经济转点：OpenClaw、Hermes到本地自研的Agent进化之路

2026年8月20日 · 1:27:02

PingCAP CTO黄东旭与Llama Ventures高级技术合伙人张宏江断言，AI行业正从Token Maxing转向Token Efficient，本地开源模型与前沿模型组队才划算。黄东旭曾日烧四五百美元调用最强模型（最多一天10亿token），三个月做出千万美元级数据库DB9；现在他在Mac Studio上本地运行DeepSeek V4 Flash，日耗电仅1美元，得以处理海量论文和代码审查。他梳理了Agent进化：OpenClaw由Peter单人vibe coding一周完成（他曾在30天烧掉130万美元API），标志研究转工程但代码欠打磨；Hermes靠沉淀skill自我改进；Slock（现Raft）以多Agent讨论激发‘涌现’，然而Fable 5凭智商碾压一次搞定，让繁琐讨论不再必要。张宏江称Token价格每年降10倍，Agent消耗量比聊天机器人时代涨超100倍，基建无泡沫也不过度，AGI奇点已到来——机器智能已超越人类学习能力，但未来Agent网络会消耗更多Token。两人看好Agent基础设施（内存、搜索、可观测性）与toB垂直数据，提醒创业者做Agent native应用，别做易被大模型碾压的产品。

E248｜一个“催发货”AI要跑通260步，和阿里瓴羊朋新宇聊聊中国式FDE

2026年8月11日 · 1:03:54

本期节目邀请阿里巴巴集团副总裁、瓴羊CEO朋新宇，探讨中国式FDE（前线部署工程师）的实践。朋新宇指出，与硅谷高薪派驻工程师不同，瓴羊的做法是提供标准化Agent，聚焦企业耗人、耗钱、耗时最多的环节，如客服、销售、营销。他举例说明，一个催发货流程需跑通260步，而AI通过向顶级投手学习，能在90天内完成上万次价格调整。他强调，企业部署Agent的关键在于以业务结果为导向、以企业数据为基座、以岗位标杆为预设，且自上而下的推动更易成功。朋新宇还分享了部署周期（1/3熟悉岗位、1/3建模、1/3调教AI）、FDE团队画像（BA、AI架构师、业务首席教练），以及中美FDE在信息化地基、付费习惯上的差异。他认为，企业算得过来账最重要，模型选择并非核心，人才需兼具AI锐度、业务深度与数据宽度。

E247｜对话盛颖：XAI，INFRA的浪漫，SGLANG，开源，平权与“甄嬛传”

2026年8月5日 · 1:46:26

本期对话盛颖，xAI前推理团队负责人、SGLang发起人及RadixArk联合创始人兼CEO。她讲述了自己从数学到形式化验证再到AI Infra的转型，强调只有真正感兴趣的问题才能驱动她进入心流状态。她将AI Infra描述为“浪漫的关系”，认为infra本身是产品而非支持角色。她分享了在xAI早期获得“support”和“freedom”的经历，以及因SGLang社区扩张而离开xAI创立RadixArk的决策。她还讨论了开源生态的平等理念、LMSYS的平权使命，以及她对AI未来与人类共存的愿景。