# E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学 硅谷101|中国版 · 2026-09-16 主播泓君与两位AI推理芯片创业者——英伟达首席科学家Bill Dally的学生Mark，以及曾在亚马逊Anthropic Labs做Trainium软件栈的徐子扬——拆解Groq、Cerebras与OpenAI三大推理芯片技术路径。两人论证训练时代拼算力、推理时代拼带宽：Decode阶段每产出一个Token都要把整个模型从存储读进计算单元，因此带宽性价比才是核心。Groq与Cerebras都押注SRAM换取两到三个数量级的带宽性价比，但Groq为静态编译调度牺牲了对MoE等运行时动态性的适配，Cerebras则被晶圆级良率和成本拖累，导致带宽收益大打折扣；这也解释了英伟达为何以约200亿美元acqui-hire Groq来补齐CUDA架构外的带宽能力，而两位嘉宾断言推理时代CUDA一定会被绕过。Mark还分享了自己团队的上千颗SRAM芯片组网方案，目标较GPU实现10倍性价比和一到两个数量级的单用户推理速度提升，并解释速度越快，模型能在同样的交互时间内思考更多Token、变得更聪明。节目借Mark的视角还原Bill Dally的设计哲学：计算机体系结构的一切围绕局部性展开，做数量级提升前必须想清楚牺牲什么。最后对比OpenAI与博通9个月流片的首款推理芯片：它选择HBM4而非SRAM，因为美国缺电不缺钱，其芯片内异构加暗硅的通用方案与Groq、Cerebras的系统级异构是不同约束下的不同收敛。 ## Questions this episode answers ### 为什么训练芯片看算力，推理芯片看带宽？ Mark解释，训练没有直接商业回报，大家追求最强模型；推理则要算清每百万Token的成本账。训练和Prefill阶段有大量并行度，能充分利用算力；但Decode是严格自回归的，每生成一个Token都要把整个模型权重从存储介质读到计算单元，瓶颈本质变成了带宽。 [4:38](https://101.podhood.com/1022ed2b-3c87-40bb-862e-dce68d48246e?t=278000) ### 英伟达为什么要花约200亿美元acqui-hire Groq？ Mark认为原因很直接：推理带来了新的大带宽需求，而GPU架构难以很好解决。CUDA护城河对英伟达既是优势也是创新包袱，即使NV Research很早就有CGRA等架构创新，在成熟公司里把颠覆式research idea推给产品团队难度极大，所以Jensen选择收购一个与原团队无关的新技术团队来补齐带宽能力。 [32:32](https://101.podhood.com/1022ed2b-3c87-40bb-862e-dce68d48246e?t=1952000) ### Bill Dally的芯片设计哲学是什么？ Mark说Bill的核心思想是“一切围绕局部性展开”，原话是“Computer architecture is like real estate, it's all about location, location, location”。AI推理的Decode阶段抹平了时间和空间局部性，所以要用SRAM在硬件上提供最好的局部性。Bill还强调：做微小提升可以保全大局，但要做数量级的提升，必须想清楚牺牲什么，才能跳出local minimum。 [1:10:31](https://101.podhood.com/1022ed2b-3c87-40bb-862e-dce68d48246e?t=4231000) ### OpenAI自研推理芯片为什么选HBM4而不是SRAM？ 徐子扬分析，OpenAI最本质的限制是电而不是钱：美国数据中心缺的是电力供给，电费约占总成本的2/3，而中国只占约1/3。SRAM的优势是每块钱买到的带宽比HBM高几个数量级，属于成本性价比；但OpenAI更关心每瓦产出的Token数，其Jalapeño芯片把HBM4带宽堆到单封装每秒15.4TB，用更贵的芯片换取更高的电效率。 [1:20:32](https://101.podhood.com/1022ed2b-3c87-40bb-862e-dce68d48246e?t=4832000) ## Key moments - **[0:00] 开场** - **[4:17] 训练与推理** - [4:38] Mark拆解训练与推理的本质区别：训练看算力，推理Decode阶段看内存带宽 - [8:10] 为什么GPU推理一个Token要等9999个陌生用户：Batching批处理如何拖慢单用户体验 - [11:28] Mark：把存储直接放进计算芯片里，是解决带宽问题质的提升，SRAM只是最成熟的载体 - **[14:13] SRAM与HBM** - [14:13] 泓君科普SRAM、DRAM、HBM三大存储：DRAM便宜但慢，HBM快但贵且缺货，SRAM最快但装不下 - **[16:39] Groq与Cerebras** - [16:58] Groq与Cerebras同源分歧：一个靠编译器静态调度，一个把整个机柜塞进一片晶圆 - [19:56] 徐子扬：MoE的动态专家选择让Groq的静态编译调度失配，保守方案会让芯片空转 - [21:26] 英伟达为何花约200亿美元acqui-hire Groq：CUDA护城河同时也是创新的包袱 - [23:28] Jonathan Ross设计Groq的核心思想：围绕确定性编译器重新设计硬件，把抖动做到极致 - [25:35] Cerebras晶圆级芯片的软肋：接受30%坏点仍不够，整片晶圆良率不达标就全部作废 - [30:25] 徐子扬：为什么现在是做新芯片的好时代——AI单一应用摊薄研发成本，AI编程降低软件栈门槛 - **[32:32] 英伟达收购** - [34:11] 徐子扬断言：推理时代绕过CUDA是百分之百会发生的事，TPU和Trainium从不兼容CUDA - [36:23] Mark预测理想推理系统：单用户速度提升两到三个数量级，从几十Token每秒到上万，性价比提升10倍 - [37:04] 两位嘉宾的SRAM推理方案：上千颗芯片组成集群，模型权重穿过芯片网络，专注FFN异构分工 - **[39:19] 我们的方案** - [41:07] 评估推理芯片的三大指标：每Token成本、速度、耗电量，中美电费占比1/3对2/3截然不同 - **[44:25] 速度与智能** - [44:26] 推理越快AI越聪明：同样一分钟交互，快10倍的芯片让模型用10倍Token做内部思考 - **[49:04] 模型与利用率** - [49:29] 徐子扬：抓住模型迭代中的不变量——Attention仍在革新，MoE后的FFN已成收敛的相对不变量 - [52:02] 消失的算力去哪了：带宽瓶颈、互联卡顿与调度细碎化导致MFU跑不满，利用率要算力和带宽双满 - **[55:14] 芯片设计流程** - [55:23] Mark完整拆解芯片设计全流程：需求、架构、RTL、验证、后端、流片、封装测试到交付 - [1:00:21] Mark：国内芯片供小于求将持续两三年，成功关键在于能否造出足够多的芯片 - **[1:01:16] 国内优势** - [1:01:17] 为什么回国做推理芯片：供应链、基建能力加开源生态，DeepSeek等国内最强模型架构更开放 - **[1:05:17] Bill设计哲学** - [1:05:17] Bill Dally 2017年的超前判断：未来AI是强逻辑加强感知，他主导从零设计强逻辑AI加速芯片 - [1:07:11] Bill Dally名言："Computer architecture is like real estate, it's all about location" - [1:08:44] Mark谈Bill Dally的方法论：做数量级提升必须想清楚牺牲什么，才能跳出local minimum - [1:09:46] Bill Dally的创业忠告：一定不要用PhD写的代码，这是他上次创业的惨痛教训 - [1:11:02] Bill Dally的研究观：用最小代价获取最多知识，流片之前你已获得99%的知识 - [1:11:34] 徐子扬讲亚马逊工程哲学：customer obsession加以终为始，从用户软件栈反推芯片设计参数 - **[1:17:31] OpenAI芯片** - [1:20:55] SRAM优势窗口会关上吗：HBM走铜线密度有天然瓶颈，带宽绝对值和性价比仍难追SRAM - [1:22:19] SRAM最大缺点是容量性价比：6个晶体管存1比特，适合存固定权重，不适合持续增长的KV Cache - [1:23:43] OpenAI提出芯片内异构与暗硅方案：关掉部分单元换电效率，per dollar角度并不占优 - [1:28:10] 徐子扬谈推理芯片市场格局：不希望是英伟达的天下，否则所有探索型公司包括我们自己都无法存活 ## Speakers - **泓君** (host) - **Mark** (guest) - **徐子扬** (guest) ## Topics AI芯片 ## Mentioned Anthropic (company), Cerebras (company), DeepSeek (company), Groq (company), OpenAI (company), 博通 (company), 英伟达 (company), CUDA (product), TPU (product), Trainium (product) ## Transcript ### 开场 **泓君** [0:01] Hello 大家好 ， 欢迎来到 " 硅谷 101"， 我是泓君 。 过去几年， 我们通过播客与视频跟大家一起追踪了这轮 AI 浪潮中最值得关注的公司 、 技术 、 还有人。 那今年呢 ， 我们会继续把讨论带到线下 ，也把那些真正身处在变化中心的人带到大家的面前 。 今年 10 月 10 号到 11 号 ， 硅谷 101 会在硅谷的 Sunnyvale 举办我们第三届 Alignment 2026 年度大会 。 我们也会在现场聊一聊日常创作节目中的一些花絮 ， 期待与大家线下见 。 报名链接我已经放在 shownotes 中了 ， 感兴趣的听众欢迎通过 shownotes 报名。 那今天我们来聊一聊推理芯片 。 随着 Token 经济的发展 ， 推理消耗的 Token 在过去几年啊是涨了几个数量级 。 这一集呢 ， 我们就聊一聊推理芯片到底是什么 ，以及像 Groq 还有 Cerebras， 它们不同的技术路径和各自的优缺点是什么 。 我们的录制是在今年的 6 月 24 号 ， 巧的是在那天 ，OpenAI 发布了它们第一颗推理芯片 ，而它在存储上的选择啊和我们今天的两位嘉宾判断呢不太一样 。 这一点我们会在节目最后专门去拆解 。 那本期嘉宾呢 ， 自己也在做 AI 推理芯片的创业 ， 只是还在更早的阶段 ， 所以我们今天聊到的这些公司 ， 对他们来说既是研究对象 ，也是参照系 。其中 Mark 是英伟达首席科学家 Bill Dally 的学生 ， 那 Bill Dally 他是现代 GPU 并行架构最重要的奠基者之一 。 我们也会通过 Mark 的视角 ， 聊一聊这位 " 芯片大师 " 是怎么看问题 、 拆解问题的 。 下面就请收听我们今天的节目 。 今天跟我在一起的两位嘉宾啊 ， 一位是负责推理芯片的硬件还有系统架构的 Mark。Hello Mark 你好 。 **Mark** [1:54] Hello 大家好 。 **泓君** [1:55] 还有一位是子阳 ， 子阳是负责软件和编译器方向的 。 **徐子扬** [1:59] Hello 大家好 ， 我是子阳 。 **泓君** [2:01] 因为我们今天要讲推理芯片啊 ， 大家要不要先简单介绍一下自己的背景 ，以及自己跟芯片的关系是什么 。 **Mark** [2:07] OK， 我是 17 年的时候去 Stanford 读的 PhD， 然后方向也是 EE 的方向 。 导师是 Bill Dally，Bill 是在英伟达从早期的 GPU 显卡芯片转型到现在 AI 芯片这个过程中， 参与了非常非常多技术上面的方向和决策 。 所以本身我读 PhD 的时候就对 AI 计算 ， 尤其是 GPU 怎么做这方面有相当多的了解 。 但是其实我本身读 PhD 的时候 ， 更多的注重在可能面向一个大的 CPU 集群里面的一些内存语义的调度 、 控制 、 通信这方面的很多系统层次的架构的设计 。 我 PhD 毕业之后 ，在国内的芯片大厂做了三年左右的偏向通用 GPU 类芯片研发的工作 。 我可能做的硬件比较多 ，其实是因为我当时做的可能更多的是从芯片架构的设计 ， 一直到几百个芯片这种类似超级点的设计 。 **泓君** [2:55] 嗯嗯 ， 那也请子阳来介绍一下自己过往的工作经历 。 **徐子扬** [2:59] 我的上一段工作是在亚马逊的 Anthropic Labs 做 Trainium 芯片上的软件栈 ， 作为 scientist 的 role， 所以会看更前瞻一些的东西 。 我从最下面的这种算子的编译优化 ， 一直到上面的算法的模型切割 ， 怎么把这个模型确定地放在我们这种大集群上， 都做了很多工作 。 我在本科的时候 ， 当时还是上一波语音和图像识别的时候 ， 我就在做云端边的一些整合 。 我的本科毕业论文其实就在做的端侧和边侧的语音识别的加速工作 。其实我在本科在爱丁堡交换的时候 ， 还做了语言模型的一些前期工作 ，不过和现在大语言模型没什么关系 。 博士在普林斯顿读的时候 ， 我做的一段和 AI 相对没有什么关系的 ，在做多核上的并行计算 ，其实把单一线程的一个东西放在 500 多个 CPU 核上去做 ， 这个其实和现在的一些 AI 系统上要做的一些加速有一些关系 ，但是当时做的这个 workload 本身是传统的一些 CPU workload。 **泓君** [4:00] 嗯对 ， 所以我可以简单来说就是 ，Mark 你其实是一直在研究这个芯片 ， 它的硬件怎么搭 ， 包括跟它的内存 、 它的通信之间是有很多的关系的 。 子阳其实你在亚马逊的工作经历 ， 主要是从跟芯片结合的软件层来去做这一部分的工作的 。 ### 训练与推理 **徐子扬** [4:17] 没错 。 **泓君** [4:18] 大家要不要跟我们的听众简单地介绍一下 ？ 大家通常在说大模型需要 GPU，但是这个 GPU 它也是分类的 ， 比如说有一部分是训练芯片 ， 现在可能更多的是推理芯片 。 那么芯片训练跟推理对芯片的不同要求是什么 ？ 为什么它可能要的是两种不一样的芯片 ？ **Mark** [4:38] 这点我觉得有两个层面 ， 可能不光是技术科普的角度 ， 我觉得从商业模式上 ，其实大家需要这个系统来做什么样的事情 ， 本身也是有比较大的区别 。 一个是大家有多关心成本 ， 另外一个点是技术上大家多关心带宽 ，而不是多关心算力 。 成本的角度我觉得是商业模式决定的 。 就在训练的时代 ， 大家是没有办法依靠训练来获得任何商业上的回报的 。 就训练本身是一个没有直接回报的事情 ， 所以当大家开始计算训练的成本的时候 ， 这个东西是不可量化的 。 大家的期望都是我要堵一个最强大的训练的集群 ， 可以让我拥有最强大的模型 ，而这个最强大的模型未来可能会在推理的场景下帮助我把之前训练投入的成本都能够收回来 。 但是推理的时候 ， 从商业上的角度来讲 ， 这就是一个可以很容易很清楚算明白账的事情 。 用户愿意为比如每百万个 Token 付多少钱 ， 我推理的系统推理出这个百万个 Token， 我需要花多少成本 。 成本可能包括比如我要买 GPU 的成本 ， 包括我推理的时候要消耗电 。 所以推理这件事情从商业的角度来讲 ， 它是一个追求性价比 ，而不是追求极致的性能 。 它会更多地把成本考虑进来 。 比较有意思的一点就是计算密度 ， 它的英文是 Arithmetic Intensity， 就它也叫 AI。 然后哈哈哈 ， 对 ， 然后其实本质的点是训练的时候你是有海量的数据 ， 可以把你多的这部分算力都充分利用起来 ， 它有足够的并行度 。 但是推理的时候 ， 语言模型大家认为是一个强逻辑的事情 ， 这个逻辑是需要一定的顺序来完成的 。 举个例子 ， 就我说一句话 ， 我可能必须得第一点是什么 ， 第二点是什么 ， 我第二点可能要基于我第一点说的什么来顺序地去展开 。 所以说导致现在整个语言模型 Token 生产的这个过程 ，在推理的过程里面是严格意义上线性的 ， 或者说是严格意义上自回归的 。 就我必须知道了我当前的 Token 推出来的结果是什么 ， 我把这个结果作为输入喂给我的模型 ， 它才能告诉我下一个 Token 应该是什么 。 就这种就导致了它的计算的模式变成了像训练或者在一些比如 Prefill 阶段的特征是你有很多个 Token 可以并行地处理 ，但是在 Decode 真的产生 Token 的时候 ， 变成了我必须一个一个 Token 去产生 ，但是每次产生一个 Token 的代价 ，其实是把你所有这么大的一个模型 ，1.6T 的模型 ， 都从你的这个存储介质里面堵到计算单元里面 。 所以这个是本质地产生了推理 ， 尤其是 Decode 阶段对于算力和带宽的需求产生了本质的变化 。 **泓君** [7:05] 我可不可以理解成 GPU 在训练部分要核心解决的问题是算力 ， 然后在推理部分要核心解决的问题是内存带宽 ？ **徐子扬** [7:15] 应该是说在训练的时候 ， 或者在推理的分成两个阶段 Prefill 的这个阶段 ， 它有大量的并行度 ， 所有的 Token 都是已知的 。 我用大量的并行度可以在读取一次数据以后， 同时做非常多的计算 。GPU 这个本身的硬件需要你同时做非常多的运算 ， 才能把它的硬件资源给用满 。 它这个比例下的带宽其实是不足的 。 **泓君** [7:40] OK， 我们给用户一个更加形象化的解释吧 。 就比如说我给大模型问了一个问题 ， 哎 ， 你出一个今天我们的采访提纲 。 当用户把这样的一个提示词输给大模型 ， 然后它要开始去做推理 ， 它要开始去写这个提纲的时候 ， 它会用到多少的 GPU 或者是推理芯片 ？ 用 GPU 跟用专业的推理芯片 ， 它产生的结果从延迟性 、 从成本上会有什么样的不一样 ？ **Mark** [8:10] 对 ， 我觉得这是一个比较好的例子 。在 Prefill 阶段 ， 它是可以并行地处理我刚刚说的所有的单词的 。 就它可以把这一整句话同时喂给这个模型 ， 让它去推理出它要出的提纲的第一个词 ， 比如它的回答可能是 " 好的 "。 那这个 " 好的 " 是它在接收到的这句完整的信息之后吐出的第一个 Token。 刚刚说的 Prefill 这部分 ， 它是有充足的并行度的 ， 它只要把模型从 GPU 的 HBM 里面读到计算单元里面一次 ， 就可以把刚刚说的一句话里面比如 10 个 Token 同时处理完 。 当然你刚刚只是 10 个 Token 嘛 ， 很有可能是你先喂给它一些文章 ， 那这些东西其实可以带来足够多的并行度 ， 让 GPU 把它的算力都充分地利用起来 。 但是到了推理这块 ， 比如说它要说 " 好的 ， 下面是我为你准备的一份采访提纲 "， 比如说 ， 那这一句话里面的每一个 Token、 每一个词 ， 都意味着你需要把你的模型从存储介质里面读上来一遍 。 就这个是我觉得更形象地说了 ，在读取模型次数上面 ， 大家可以很清楚地感受到你是一句话读一次还是一个词读一次 ， 读的量都是整个模型的权重 。 实际过程中就是我们看到 ，因为 GPU 它其实不能接受你把模型从 HBM 读到计算单元里面 ， 就只真的处理一个用户的 Token， 所以它真正做的其实是它要做我们叫 Batching 或者批量化处理这样一个操作 。 就它要收集 1 万个用户的不同的推理的任务 ， 它虽然对于一个用户来说 ， 它必须要顺序地一个词跟着一个词来推理 ，但是它可以并行地把这 1 万个用户里面的所有的比如第一个词 、 第二个词 、 第三个词一起推理出来 。 所以这时候从用户的角度 ，他会感受到为什么我这推一个 Token 这么慢的点 ，其实核心在于如果用 GPU 来做这件事情的话 ， 你不光是在等 GPU 推理完你自己这一个 Token， 你还在等 GPU 算完和你同一批里面其他 9,999 个用户的这一个 Token。 因为 GPU 这种大的算力密度 ， 用 HBM 提供了非常昂贵的带宽 ， 导致其实用户体验下来 ， 现在不管是 Agent 场景还是 Reasoning 自己思考的场景 ， 大家对于推理的速度有比较强的限制 。 **泓君** [10:06] 嗯对 ， 那如果用推理芯片呢 ？ **Mark** [10:09] 我觉得就推理芯片其实是一个非常非常非常泛的词 。 **泓君** [10:13] 对 。 **Mark** [10:14] 因为本身推理也是一个足够复杂任务 ， 分这个 Prefill， 分这个 Decode，Decode 里面其实因为模型还分什么 Attention、FFN， 我们是觉得未来我们希望的推理系统 ， 就它里面可能包含了很多种不同的芯片 ， 能够做到把实际 Decode 的 Token 这个过程做得足够便宜 ，而且足够快 。 这可能是我们现在看到的一些需要打破 GPU 传统的这种架构 ， 做一些更针对性的新的架构 ，以及用一些有益于 HBM 的其他介质来做的意义所在 。 **泓君** [10:44] 嗯我知道你们也在做这个方向啊 ， 从现在市面上已经出来的说我要自己要做推理芯片的这些公司来说 ， 你觉得做最好的是哪家 ？ 比如说 Groq 怎么样 ？ **Mark** [10:56] 我觉得 Groq 和 Cerebras 都是在这个技术路线上， 我觉得大家是看到了正确的问题 。 我觉得他们确实在已经把东西做出来 ，而且像 Groq 现在和英伟达配合的关系 ， 确实是我们设想中比较理想的 ， 比如 GPU 处理哪一部分任务 ， 然后由 Groq 处理哪一部分任务 。 所以我觉得整体在这件事情大的方向上面 ， 尤其是在英伟达把 Groq acqui-hire 之后， 更好地做一个异构的推理系统的这个角度来讲 ，其实我现在是比较看好 Groq 的这个技术路线 。 **泓君** [11:25] 嗯嗯 ， 怎么说可以展开聊一下吗 ？ **Mark** [11:28] 我觉得最关键两个点吧 ， 一个是怎么提供刚刚说的高性价比的带宽 ， 包括我们最初想做我们现在的这个项目 ，其实也是因为看中了有远比 HBM 要好两三个数量级更好带宽性价比的介质 。 这种介质其实不在介质本身 ，而在于你要关注局部性的问题 ， 你要提供比起 HBM 更高一层的局部性 。 也就 HBM 其实是把存储和计算放到了一个封装里面 ， 这个其实是 HBM 它之所以带宽能做到很高 ，但其实我们是希望把这个高放到下一个层次 ， 就我们希望把存储直接放到计算的芯片里面 。 因为带宽其实核心就是你连线的密度以及频率嘛 ， 当你把这个线从封装的走线变成了计算芯片内部光刻的这个线 ， 这两种线的本质在线的密度 、 线的成本 ， 包括能耗上面都是有本质的差别的 。 如果有些介质让我能够把模型权重放到我的计算单元或者我的计算芯片上面 ， 那其实就是一个质的提升 ， 这个是解决最本质的带宽的问题的方法 。 而 SRAM 只是刚好一个在目前这个阶段最成熟的 、 最可靠的 ， 可以让你有机会把存储放到计算芯片里面的一个方式 。 **泓君** [12:40] 嗯现在 Groq 是这种方式吗 ？ 我知道你们要走这样的方向 ， 然后 Groq 也是这种方式 。 **Mark** [12:45] 对 ，Groq 是这种方式 ， 这是我刚刚说的一个点 。 然后另外一个点其实我是觉得是异构的这个点 ， 就我之所以觉得 Groq 比起 Cerebras 做得稍微好一点的点 ，其实就在于它和 GPU 可以更好地结合起来 。 因为我们刚刚聊到的推理的这些过程 ， 大家发现推理不是钢板一块 ， 它里面其实有这个算力密集的部分 。 就当你同时处理第一句的 Prompt 的部分的时候 ， 你是有机会做得很算力密集的 ， 那部分更多的 GPU 做得也很好 。 如果你未来的一个系统是一个更好的把异构这个点可以做得比较极致的话 ， 那其实在芯片以外的系统层次 ， 我觉得会有更大的一些优势 。 **徐子扬** [13:21] 我们其实刚刚的一段时间的讨论都是围绕着云端的推理芯片 。 推理芯片是一个很巨大的市场 ，其实还有端侧的推理芯片 、 云端的边侧的 ， 大家各有侧重 。 我们这里也会更深入地研究云端这个推理芯片它是什么样子的 。 大家都要去获得相对低廉的这个带宽 ，但比如说在端侧上它有其他的一些限制 ， 比如它物理上的 、 空间上的限制 。 **泓君** [13:45] 它就是一个小设备 ， 它没有办法把足够的这个内存的带宽放进去 。 **徐子扬** [13:50] 对 ， 然后还有些功耗上的限制 ， 这样就导致了在端侧上面我们可能会看到还有其他的一些思路 ， 比如说 3D、DRAM，其实有很多思路都在提供更高更便宜的带宽 ， 包括我们现在听到的所有 HB 开头的这个词 ，HBM、HBF， 它都是想要把原先的一个介质做到更高的带宽 。 当然在这个做的过程中也希望它能更便宜 。 **泓君** [14:13] 那我先花一点时间解释一下我们这一集要频繁提到的三个词 ：SRAM、DRAM， 还有 HBM。 最简单的理解方式呢 ， 就是它们都是存储数据的地方 ，但是区别就是说离干活的地方有多远 。DRAM 呢是你电脑里面的内存条 ， 它能装很多但是离得远 ， 来回取数据要花时间 。 ### SRAM与HBM **泓君** [14:34] 那 HBM 它是把 DRAM 搬到了计算芯片的旁边 ，而且还开了很多条的通道 ， 所以它的容量大速度也快 。 现在英伟达它的高端 GPU 啊 ， 用的就是它 。 那它的代价是什么呢 ？ 就是贵 ，而且全球的产能非常紧张 。SRAM 不一样 ， 它可以直接做在计算芯片里面 ， 所以呢它其实是最快的方案 ， 快很多 。 但是它有一个致命的缺点 ， 就是太占地方 。 存同样多的数据 ，SRAM 需要的芯片面积是 DRAM 的几十倍 、 上百倍 。 所以我们总结一下， 就是说 DRAM 它的方向是便宜但是慢 ，HBM 快但是贵而且抢不到货 ，SRAM 最快但是它装不下 。 那好 ， 子扬你继续 。 **徐子扬** [15:18] 对 ，但是我们刚刚讨论的在云端的这个场景 ， 我们可能对整个系统铺多大没有那么大的限制 ， 只要它能给我们提供足够多的吞吐 。 那我们会去很本质地考虑在这么一个限制条件下， 什么样的物理介质能为我们提供最密的连线和最高的带宽 。 所以我们是找到了 SRAM。 然后另外一个补充点就是 Groq 和 Cerebras 这两家公司 ， 本质上它的速度和它可能的性价比现在还没有 ，他们没有在着重说这一点 ，其实都是来自于 SRAM。 不仅仅是他们 ， 现在其他的一些美国的 AI 推理芯片的创业公司 ， 包括 Dmetrix、Metax，他们也是往着 SRAM 方向走的 ，并且大厂 TPU 啊 、Trainium， 如果我们去看现在所有发布的芯片 ， 每一代它的 SRAM 都是变得越来越大的 。 每一个具体的云端的推理的解决方案里 ， 大家用 SRAM 的方式是不同的 ， 比如说谷歌它可能会把 SRAM 用更多来存 KV Cache， 至少它的 blog 里是这么说的 。 其他的公司都有其他的设想 ，但本质上用好这个大带宽的介质来把整个系统的缓存更加速 、 更廉价 。 整个 SRAM 和现有的其他的提供存储的介质来比 ， 从带宽这个角度 ， 它无论是绝对的数量 ， 还是它每块钱能买到的 ， 它的性价比都是非常高的 。 所以其实我们能看到大家都在往这个方向去收敛 。 ### Groq与Cerebras **泓君** [16:40] 嗯嗯对 ，因为我们刚刚提到有 trade-off 嘛 ， 大家可不可以先跟大家一句话总结一下 Cerebras， 它相当于是在一个巨大的晶圆上做一整块的芯片设计 ， 它的优点是什么 ， 缺点是什么 ， 它跟 Groq 相比它的优劣是什么 ， 然后大家各自的 trade-off 是什么 。 **Mark** [16:58] 对 ， 我觉得可以以一个更统一的视角去看大家做的这些事情 。 比如以 Cerebras 和 Groq 为例 ， 我觉得大家是在 Transformer 还出来之前 ， 就看到了未来可能有一部分 AI 的系统是对于带宽有非常非常大的需求的 。 大家都经历了我们刚刚经历的这个思想过程 ， 怎么把带宽做得更便宜 、 做得更高 ， 最后都发现其实 SRAM 是一个比较好的介质 。 但是做这件事情是会有 trade-off， 就是你要跳出这个 local minimum， 你是要损失一点东西的 。SRAM 损失的东西其实就是单芯片的容量 ，DRAM 是一个晶体管和一个电容去做一个比特存储 ， 然后 SRAM 本质需要 6 个晶体管 。 就这是代表它面积 ， 就存储一个比特的代价会变高 ， 一个芯片上能做的容量会变得很低 ， 就可能比 HBM 要低两个数量级 。 大家都发现了这一点 ， 怎么把容量提升呢 ？ 就是最简单 、 最直接的 ， 就是你要把整个系统做得很大 ， 你要做几百个芯片 、 几千个芯片 ， 单纯就为了把你所有的模型权重都能放到 6 个晶体管的 SRAM 里面 。 大家就会发现放是都能放下去 ， 只要我系统做得够大就能放下 。 但这问题在于你光放下了 ， 它如果就在里面存着 ，其实不能产生 Token， 你得以你一种方式把它读出来 ，并且做有效的计算 。 这时候大家会发现 ， 当你系统做得足够大了之后， 很多计算或整个系统效率的瓶颈就卡在了怎么做通信这件事情上面 。 所以本身大家思想的思维实验其实都做到了这一步 。 这时候 Cerebras 和 Groq 开始产生分歧了 ， 大家用了两条不同技术路线来尝试解决大集群通信调度的问题 。Groq 的思路是因为是实际的调度啊 ， 它如果在运行时去做 ， 那开销往往会很大 ， 它希望把这个实际的调度放在运行之前 ，也就是在编译器这个时间点 ， 就把未来芯片整个系统里面可能做的所有的 计算通信都想明白了 。 我们哪个时钟周期要做什么样的计算 ， 然后我哪个时钟周期要开始做通信 ， 它把这些都排布好了之后， 实际运行的时候就没有调度的这个问题了 。 这时候某种程度上缓解了刚刚说的集群大了 、 调度成为瓶颈的问题 。Cerebras 我们觉得就更简单粗暴一点 ， 就是说你之所以集群通信有代价 ，是因为你是要一个柜子几百个芯片做这个事情 ， 大家总是物理距离的嘛 。 那如果把你一个柜子的事情塞到了一个大的 Wafer 上面 ， 那自然这个物理的距离啊 ， 然后它能出的这个线的带宽啊 ， 都会变得更好一些 。 但我们看起来 ， 首先他们在他们做这个技术决策的那个时间点 ， 没有足够的信息来支撑他们未来需要具体面向哪样一个 workload 来优化 ，因为那时候 Transformer 其实还没有出来 。Cerebras 最后可能面临的比较大的技术挑战 ， 就是如何控制这整个 Wafer 的良率以及成本 ， 这个可能是它最大的挑战 。Groq 的话其实是在它做出我需要依靠编译器做完全静态的调度和编译这个选项的时 候 ， 没有办法去预先知道现在语言模型 Transformer 推理里面有如此大的动态性 。 就比如 MoE 的产生 ，其实原理上和它做出的技术选择并没有匹配得很好 。 **泓君** [19:53] 哎 ， 这个怎么说 ， 可以详细解释一下吗 ？ **徐子扬** [19:56] 对 ， 就是 MoE 这样一个网络 ， 它是有非常多的专家 ， 然后每一个 Token 在推理的时候 ， 它是去激活专家里的一小部分 ， 这个一小部分是在运行时决定的 。 随着我们不同的 Token 在选择 ， 比如说在 128 个专家里头去选 8 个 ， 这件事情你没有办法在编译的时候去预测 ， 它是不同的 Token， 它是会选不同的专家的 。 所以我们再去考虑现在的单颗 SRAM 能放的容量的时候 ， 它是没有办法把整个网络都放进去 ， 就一定会出现有一些专家在一部分芯片上 。 那这里就有一个调度问题 ， 我要把这样的一个 Token 送到哪一颗芯片上去啊 ， 这本身是有一定的动态性 。 如果我想要用一个静态的方式去解决这个动态性 ， 一种思路就是我非常的保守 ， 我把它都送过去 ， 那有一个就在空转 。 那另一种解决方式 ， 我就换一种方法来切这个模型 。 但是具体的我们推演了 ， 如果你把这个模型不用这个专家去切分的话 ， 现在这个模型的大小很难用其他的这几个维度把它切得很干净 、 很高效 。 所以刚刚的这个动态性就变成了它的静态调度的很大的问题 。 **泓君** [21:08] 嗯对 ， 我印象中 MoE 应该是当时 DeepSeek 那个发布 ， 它变得非常主流 ， 引起大家强烈的关注的 。 但是 NVIDIA 在 acqui-hire Groq， 它应该是在 2025 年底 ， 我觉得他们应该也是能看到这些问题的 。 它当时为什么会做出收购的这个决策 ， 大家有没有一些相关的消息跟推理 ？ **徐子扬** [21:32] 因为本身刚刚说的 ， 从一个保守的方式来去想 ， 它会有一些芯片空转 ， 这件事情只会影响性价比 。 **泓君** [21:40] 对 ， 然后现在 。 但它依然是当下除了 GPU 以外比较好的一个选择 ， 就是它还是需要一款推理芯片的 。 **徐子扬** [21:48] 这里就说到了现在市场上对于 Groq 和 Cerebras， 它的定位其实就是快 。 **泓君** [21:53] 性价比呢 ？ **徐子扬** [21:54] 性价比其实没有被拿到台前上去那么多的讨论 。 **泓君** [21:58] 就是低延迟 。 **徐子扬** [21:59] 对 ， 现在整个商业逻辑是这样的 ， 如果我做的这个推理比别人快几倍 ， 比如说我是 100 Token 每秒 ，但是拿 Cerebras 能做到 750 每秒 ， 甚至 2,000 Token 每秒 ， 那么我可以为此付非常多的溢价 。 **泓君** [22:13] 所以 Cerebras 跟 Groq 谁更贵 ？ **Mark** [22:16] 呃 ， 我觉得是 Cerebras。 **泓君** [22:18] Cerebras 更贵 ， 我们待会可以聊一下为什么 。 **徐子扬** [22:20] 对 ，在这个角度上来说 ， 比如说 SRAM 有一些芯片它空转了 ， 它并不影响我能做到很快这件事情 。 另一个角度是本身 SRAM 和 HBM 相比 ， 性价比其实是有两到三个数量级的优势 ， 所以我们在做整个系统里面其实可以浪费掉 。 **Mark** [22:38] 一个数量级 。 **徐子扬** [22:39] 对 。 **泓君** [22:40] 为什么浪费掉 ？ 你换取了什么 ？ **徐子扬** [22:42] 它首先有三个数量级的优势 ， 那我牺牲掉一个数量级 ， 我还是可以比它更好 。 所以牺牲掉的其实就是它为了解决这个 MoE 去做技术上的一个 trade-off。 **泓君** [22:53] 哦 ， 了解 。 **徐子扬** [22:53] 所以哪怕现在在使用 SRAM 这种多卡的系统里头 ， 没有充分利用所有 SRAM 的带宽 ， 从带宽这个角度来说 ， 性价比还是更高的 。 **Mark** [23:04] 对 ， 就我觉得从商业的角度来讲 ， 当你可以做出一个比别人更快而且更便宜的东西的时候 ， 你不会告诉别人你的成本其实更便宜的 ，因为别人如果哈哈哈如果愿意为更快买单的话 。 **泓君** [23:17] 嗯嗯对对对 ，Jonathan Rose 他其实也是谷歌 TPU 的一个奠基人跟创始人， 对不对 ？ 他在设计这两套架构的时候 ，他的主要思想的核心的关注点的区别是什么 ？ **徐子扬** [23:28] 整个 Groq 的这个思路其实围绕着编译器发生的 ，因为 Jonathan Rose 本身也是编译器团队的一个 lead， 然后他出来做这个整个东西的思路 ， 就是把一个确定性的编译 ， 然后围绕这个编译去做这个硬件 。 所以就从静态的编译和静态的调度这里重新设计了硬件 。 刚刚说的一个静态的调度是一点 ， 还有另外一点其实是一个 determinism， 它是一个确定性 。 比如说我们想要从一个存储介质里面把东西读出来 ， 它是 100 纳秒之后出来还是 3 秒纳秒出来 ， 它是会有一个抖动的 。 这个抖动在 DRAM 这种里头更明显 。 当它用了整个 SRAM 再加上芯片的设计 ， 它其实是去把这个确定性做到极致 ，也把静态的时钟的同步做到极致 。 这一切都是围绕着最后我能在编译器看到整个系统 ，并且为它做这么样一个排列 。 但是就它创业的这个时间点的一些特性 ，16 年 Groq 成立 ，他们最开始想要做的很多是和图像和语音 ，但他们一直想做的是推理啊 。在那个时代 ， 它的整个模型和今天 Transformer 和包括 MoE 出来以后， 模型是不一样的 。 所以包括一些动态性 ，在那个时间点和今天它的需求是不一样的 。在那个时间点 ， 如果我会去决策的话 ， 我也会觉得围绕着编译器去设计硬件也是一个非常有意思的思路 。 到今天也是一个很有意思的思路 ，但是可能今天会有一些问题 ， 就需要用一些方法去解决 。 **泓君** [24:51] 对 ， 我们刚刚讲到了 ，其实 Groq 跟 Cerebras 都是有一些时代的局限性在里面的 。 比如说他们创业的那个时间点 ， 那个时候生成式 AI 跟大模型还没有出来 ，但是其实深度学习整个业界应该是一个比较主流的方向了 。 但是是不是以 Transformer 为主的 ， 我们不知道 。 包括我们刚刚提到了像 Groq， 它在事前预测的时候跟 MoE 也会有一点点小小的不 match。 那 Cerebras 它为什么它的成本比 Groq 还要高 ， 包括它当时创业 ，以及现在在 2026 年的这个时间点 ， 将近 9 到 10 年之后， 它又站到了一个大家关注的焦点上 ？ 你觉得在这个中间它调整了什么 ， 做对了什么事情 ？ **Mark** [25:35] 我觉得我先回答第一个问题吧 ， 就是关于我为什么刚刚第一反应是它的成本会比 Groq 高 。 一个是首先它从本身的技术路线上来讲 ，因为它更多是需要以一个 Wafer 的 scale， 一个整个晶圆的规模去生产它的产品 。 这时候其实会遇到在芯片生产过程中非常关键的一个参数 ， 就是良率 。 如果我们按照传统的 ， 比如像我们现在设计芯片 ， 可能单芯片尺寸的极限就是差不多 800 平方毫米 。 如果在这样的产品的话 ， 你一个晶圆上面可以切出四五十个类似的芯片 ， 可能三四十个的 。 所以你的良率会影响这三四十个里面有多少是好的 ，有多少是坏的 。 比如说你的良率是 50%， 你可能就能切出来 20 个是好的 。 但如果当你单一芯片或者单一产品的尺寸就是整个 Wafer 的时候 ， 那只要这个 Wafer 上面可能有超过 30% 的瑕疵 ，因为 Cerebras 很大的工程上面的技术壁垒在怎么接受这个良率 ， 比如它能接受到 30% 的这个良率 ，但是你是没有这么多个晶圆可以让你切出 30% 的这个良率的水平的 。 **泓君** [26:40] 你是想说 30% 的良率还是 70% 的良率 ？ **Mark** [26:43] 呃 ，其实这样 ， 我觉得是有两个良率的概念 。 比如说正常的一个芯片 ， 如果我们没有做任何 partial good 的设计的话 ， 比如它好就是好 ， 坏了就是坏了 。 这是我刚说 ， 比如 50% 良率 ， 我们可以生产出来 20 个好的芯片 。 但是 Cerebras 会做很多事情 ，在于我接受我这个芯片上面 30% 的点都是坏的 ， 仍然让我这个产品能用 ，但这时候仍然和你其实大概率里面 40%、50% 都是坏的的这个良率是不匹配的 。 而且它的坏是一旦你整个晶圆达不到它对于良率的需求 ， 整个晶圆其实就作废了 。 这个背后就意味着 ， 当你要刻出或制造出一个成功的或者好的晶圆级的产品的时候 ， 成本极高 ， 成本是非常非常高的 。 **泓君** [27:26] 嗯 ， 这个成本能达到多少 ？ 就是一次流片 。 **Mark** [27:29] 啊 ， 这个不是流片的成本 ， 这个是实际 ，因为整个芯片成本就是两部分 。 流片的成本在如果你出货量足够大的情况下， 它是可以被摊薄的 。 比如你去做个玩具 ， 对吧 ？ 你做玩具 ， 你一个玩具一块钱 、 两块钱 ，但是你可能找那个玩具厂开模要 100 块 。 **泓君** [27:44] 它再更上一层 。 **Mark** [27:45] 对对 ， 它是那个演模的成本 ， 或者首次流片的成本 ，其实是开模的那个成本 。 然后那个不会直接影响到你实际模开了之后， 你玩具是每造一个需要多少成本 ， 这是两个概念 。 但是 Cerebras 的问题在于 ， 就是你这个模开完之后， 仍然你每造 10 个 ， 可能里边 9 个都不能用 。 那这时候其实影响的是你实际生产时候的成本 。 **徐子扬** [28:08] 对 ， 我觉得除了刚刚说到的良率和怎么用的问题 ， 它还有一个整个系统要为这么一个和其他芯片都完全不一样的设计做系统的改变 。 比如说刚刚说的软件上， 这整个晶圆上可能是有几十万个小的 core， 坏了哪些部分我是能绕过去的 。 如果坏在一些比较关键的部分 ， 这怎么做 ？ 这些事情之前都没有针对这样一个系统研究过 ， 所以它首先要解决这边的软件问题 ， 还有你这个系统要怎么去插到这么一个机柜里 。 那这里也有一些额外的事情 ， 它都要自己解决 ，因为它可能是现在唯一一个比较有名的这种晶圆级的生产商 。 **Mark** [28:46] 我觉得这个问题非常非常复杂 ， 我们要捋一下这个逻辑 。 首先 ， 当我们说实际的成本的时候 ， 大家最关心的其实是 Token 的成本 。Token 的成本其实是我们刚刚强调了很多带宽的成本 ，因为你每推一次 Token， 意味着你要把整个模型从这个存储介质 ， 比如 SRAM 里面读上来 。 但是最终大家关心这个 Token 的成本 ，其实回到这个数据中心本质的成本 ，其实有两个部分 。 就一个是你去采购这个系统的成本 ， 另外一个是你实际运行中电费 ， 比如能源的消耗这部分的成本 。 大家计算的方式是 ， 比如说我有一个新的芯片 ， 我要建一个新的数据中心 ， 我计划这个数据中心 ， 比如服务 3 年或者服务 5 年的时间内 ， 我能推理出多少 Token， 可能是一个非常大的量级 ， 除以整个的我需要消耗在上面的硬件的成本以及能源的成本 。Cerebras 刚刚提到所有由于良率导致的成本高 ， 都是它硬件的那部分成本高 。 这部分其实某种程度上摊薄了它能够在实际带宽上获得的收益 。 就比如说我们看到 ， 如果是简单的芯片 ， 没有那些良率的问题 ， 可能我单芯片的成本可以做到英伟达的 1/10， 然后带宽可能做到它的 10 倍 ， 就比如 Groq 这种形态 。 但由于它制造那部分的成本太高了 ， 它很有可能是比如 10 倍英伟达的带宽 ，但是 3 倍 HBM 的成本 ， 就这中间带宽实际的性价比就要打一个折扣 。 这个其实很类似 ， 比如 Groq 我们认为要在为它的确定性打一个折扣 ， 那 Cerebras 要为它的复杂的良率成本打一个折扣 ， 这个最终这个折扣是要打到 Token 的成本上面的 。 **泓君** [30:17] 嗯嗯 ， 对 ， 我记得在 80 年代的时候 ，也有人想做这种晶圆级的芯片 ，但是失败了 。 **徐子扬** [30:25] 为什么现在做芯片是一个好时候 ？ 之前去做各种奇奇怪怪的这个芯片实验 ， 包括 Intel 也出了这个 Attaeum 芯片 ，有一个灾难的被丢掉的这么一个芯片的架构 。 去做我们说这种易购的 ， 或者是一个全新的芯片 ， 或者为了这个芯片 ， 它可能对软件占有一个新的依赖 。 它有两件事情 ， 一个是经济性上， 我做一个芯片要对它投入的研发成本和新的生产设计的成本 ， 我需要能摊薄 。 所以在之前的那些时代 ， 我们没有看到一个单一的大应用能够像今天的 AI 一样这么容易把摊薄这件事情说清楚 。 现在 AI 的各种系统开销里面 ， 我们去留一次片的几百万美金 ， 上亿的研发成本好像都不算一棵大的树了 。 所以在今天去做一个新的芯片 ， 本身经济上的难度降低了 。 第二个是今天这个时代做软件站的难度其实大大降低了 。 **泓君** [31:18] 哎 ， 为什么 ？ **徐子扬** [31:19] 因为尤其是推理芯片这里 ， 一方面是我们有一个单一的大应用 ，以前在 Intel 里头 ， 它可能会有几百个重要公司的几千款应用 ， 每一个 CPU 要设计出来 ， 它要在这几千款应用里面都跑一个测试 ， 我们叫 benchmarking， 最后它要和它之前的一代芯片相比 ，不能任何一个公司任何一个应用掉队太多 ， 这样就会影响 。 所以你之前的这个做芯片 ， 你要就做了整个软件优化 ， 你要考虑我要把这几千个应用都要做好 。 今天的话 ，其实只有一个单一的大的应用 ， 甚至这个单一大应用里面只有一个比较大的一种模型分类 ， 就是这种 Transformer 的这个分类 ， 它本身也是一个大力出奇迹的 ， 所以它本身的结构是相对简单的 。 我们看到现在这个模型就几十层 ， 几乎结构一模一样的层 ， 所以你去分解来看 ， 它的本身应用简单了很多 。 第二 ， 随着 AI 的 coding 的能力 ， 编程的能力在不断的提高 ， 软件这种 ， 尤其针对推理的 Kernel 这种算子的优化 ，其实可以被 AI 大大加速的 。 所以啊 ， 我们在看到这种新的模型出来了以后， 有一些新的需求 ，在和之前的模型差别不是很大的时候 ，AI 自己就可以解决这个问题 。 所以软件站上的入门的门槛被降低了 。 ### 英伟达收购 **泓君** [32:32] 英伟达为什么要花 200 亿去 acqui-hire 这个 Groq？ 英伟达最看重的点是什么 ？ **Mark** [32:39] 我觉得这也很 straightforward， 就确实我跟 Bill 会聊很多技术上面的一些需求 ，是 GPU 这个架构没有办法很好的解决的 。其实就是大家看到了推理上面带来的新的大带宽的需求 。 我觉得从 NVIDIA 的角度 ， 它也有一些大公司 ， 尤其技术架构上面 ， 比如 CUDA 的护城河 ， 对于它来说既是一个很强的护城河 ， 同时也是在某种程度上创新的一个包袱 。 但是它确实我觉得 Jensen 很清楚的意识到了 ， 未来推理里面算力不一定是唯一的 ， 它需要补充带宽的这一部分技术能力 。 综合各种原因考虑 ，acqui-hire 一个有这种能力的公司 ， 我觉得是一个非常好的决定 。 **泓君** [33:17] 嗯 ， 对 ， 我刚刚其实也是在想 ，因为英伟达它肯定是能看到趋势是什么的 ， 它也知道它哪一部分是短板的 ， 它其实也是可以从内部做的 ，但很难吗 ？ **Mark** [33:28] 对 ，因为我会知道 ， 就是因为 Bill 在 NV Research 嘛 ，他们其实会做非常多的架构层面的创新 ，而且从很早就开始做 。 当然这个 CGRA 啊什么东西 ，paper 其实都发了很多 ，但是这个东西在一个成熟的公司里面 ， 把一个 research idea 颠覆式的推给产品的团队 ， 还是难度非常大的 。 即使是英伟达这样的公司 ，不如我干脆 acqui-hire 一个和之前团队没有什么关系的新的技术团队 。 **泓君** [33:54] 嗯 ， 对 ， 所以你觉得现在比如说我们在做一个推理芯片 ， 或者在做芯片 ，因为我们之前说英伟达它有很大的一个护城河 ，是它的 CUDA 的体系 ， 你觉得有多大程度上可以绕过 CUDA， 或者说建立一套全行业通用的软件体系 ？ **徐子扬** [34:11] 对 ， 所以从推理芯片这个角度 ， 我觉得绕过 CUDA 是百分百会发生的 。 事实上， 比如我们去看这几家大厂的推理芯片 ， 比如说 TPU， 比如说亚马逊的 Trainium， 都没有一丁点的说要兼容 CUDA。 **泓君** [34:25] 但依然大家会觉得 TPU 它的软件系统是难用的 ， 就是为什么 Anthropic 它能大量的去采购 TPU？ 我听到一个说法 ， 就是因为它有很多的工程师是谷歌过去的 ， 大家知道那个 JAX 在这个上面怎么用 。 但是呢 ， 如果你让一个从来没有做过软件编译器的工程师去做这些事情的话 ， 大家会觉得还是难的 。 就是 TPU 在这个软件层 ， 它还是一个黑盒 ， 除非非常懂的人， 除非谷歌自己的人。 **徐子扬** [34:53] 对 ， 关于这个本身难的这件事情 ，其实我刚刚那个问题是很好回答的 。 它只要不是非常多个难的问题 ， 是一个难的问题 ， 那我解完这个问题 ， 这事就解决了 。 我只要把 Transformer 里的所有的算子都在这个新的芯片上写出来 ， 那我 Transformer 就能跑了 。 我这个商业上的逻辑其实就通了 。 然后第二个就是有了 AI 的加持 ， 现在我们看到针对算子和整个运行时的开发 ，其实大大加速了 。 **泓君** [35:18] 我先说一个结论 ， 大家认为推理芯片绕过 CUDA 是一定的事情 。 **Mark** [35:23] 对 ， 然后我想说一下原理 ， 就用 TPU 的软件 ， 用 AWS 的软件 ， 包括比如用华为的软件 ，其实很难用 ， 这点我不否认 。 核心的点在于训练时代和推理时代 ， 大家多么愿意为软件的好用买单 ， 相比于对为绝对 Token 成本降低买单 。 我觉得这一点在训练时代和推理时代发生了比较本质的变化 。 有一些软件它是很难用的 ，但是如果难用能够带来它有更好的性能 ，有更好的性价比 ， 这个在推理时代可能大家的天平会更多的往更好的性能性价比上面倾斜 ，以至于我们看到了很多已有的做法 ， 比如说 DeepSeek， 虽然它用 GPU 的芯片 ，但其实它更愿意本质的去写很底层的 PTX 的汇编的 那些代码 ， 去做很底层的优化 。 我觉得这是为什么我们觉得推理时代 CUDA 是一定会被绕过的 。 **泓君** [36:12] 嗯 ， 我们刚一直在说成本这件事情啊 ， 那现在来看 Groq、Cerebras， 还有你们未来做的芯片 ， 你觉得它的性能跟性价比 ， 相比于现在用市场上主流的芯片 ， 我们说 GPU， 大概是一个什么样的量级 ？ 已经做到的情况下， 我们刨除掉所有的因素 ， 跟比如说我们刚刚说的一些正面跟反面 ， 就是现在综合的一个性价比 。 **Mark** [36:34] 从我们很多原理分析的角度 ， 认为未来一个更理想的整个的推理系统 ， 我觉得是有机会在速度上做到比现在 GPU 或者通用 AI 芯片 GPU HBM 这种架构 ，在推理速度上至少两到三个数量级的提升 ， 就从可能几十个 Token per second 到 1,000 个甚至 1 万个 Tokens per second， 这样一个对于单用户推理速度的提升 ，以及 10 倍左右性价比的提升 。 **泓君** [36:59] 嗯 ， 那你要不要讲一下你们的 SRAM 的解决方案是什么 ？ 你们做推理芯片的方案是什么 ？ **徐子扬** [37:04] 对 ， 我们其实刚刚说到了 SRAM 本质的性价比 ， 还有一个它的 trade-off 的点 ， 就是它的容量 。 所以我们本质上就是在 SRAM 和 HBM 本质有两到三个数量级的芯片层的性价比的提升的情况下， 我想最后把它变成整个系统在有比如说上千颗芯片的时候 ， 它还能有 10 倍 ， 就是一个数量级的性价比的提升和一到两个数量级的速度的提升 。 本质的说 ， 我们一个芯片上能放的 SRAM 的数量 ， 这个是很公开的 ， 就你单颗芯片上就是几百兆币的 SRAM 的数量 。 现在的模型大概在一个 T， 如果是 FP8 的量化的话 ， 那也是刚好是说一个 TB 的这样一个量级 。 所以你把这两个数除一除 ， 大概需要上千颗芯片才能在容量上放下整个模型 ， 才能去做相对应的推理 。 所以我们在做的事情 ， 就是如何把这上千个芯片用某一种拓扑把它连接起来 ， 使得中间的每颗芯片和芯片之间的连接不成为我推理时候的瓶颈 ， 然后让每一个芯片这个 SRAM 它本身的带宽充分的利用起来 。 肯定会有一定的损失 ，但是在这个损失最后折算下来 ， 整个系统的成本和它的带宽要能提高 10 倍的性价比 。 所以我们从技术上来看 ， 单颗芯片比如说 500 兆币这样的一个大小去放模型的参数 ， 我的整个 Token 的隐藏的叫 hidden state， 一点一点的穿过我们的这个芯片网络 ， 从一边走到另一边 ， 就是出最后的这个结果 。 还有一个点是 ， 我们这个芯片刚说到一个很重要概念是易购 ， 所以我们的芯片和我们的系统不会去做整个模型的所有的事情 ，因为我们很相信应该用最合适的硬件去做对应部分的应用 。 所以整个模型会被区分成注意力的一边和非注意力的 FFN 的一边 ， 然后我们会比较类似 Groq，也不完全一致的去做后半段非注意力的一边 。 **Mark** [39:03] 对 ， 然后这个我觉得是解释一下为什么本来是三个数量级的成本性价比的提升 ， 最后变成了 10 倍 ，其实是因为 Amdocs 是一个易购的系统 ， 我们解决了 90% 的问题 ，但是我们留了那 10% 的问题给 GPU 来解决 ， 所以最多我们的系统就能提升 10 倍 ， 虽然我们可能以 1,000 倍的提升效率解决了那个 90% 的问题 。 ### 我们的方案 **泓君** [39:19] 嗯 ， 我觉得现在其实整个中国不管在训练推理上， 芯片其实都是供不应求的 ， 我们都不说产业链了 ， 就从芯片层面上也是供不应求的 。 从你们现在开始做到整个的芯片会出来 ， 你觉得大概它需要一个多长的时间呢 ？ **徐子扬** [39:33] 这是一个非常好的问题 ，其实我们也在不断的更新我们对这一部分的认知 ，因为传统上做一个芯片 ， 就是从你开始设计 ， 从用户端开始反推 ， 直到流片测试 ， 大概是一年半到两年这样一个事情 。 但是我们也看到 OpenAI 发布了自己的芯片的时候 ， 号称是 9 个月完成流片 ， 当然有其他的一部分原因啊 ，但我们的确是认为在足够聚焦且 AI 可以赋能的情况下， 我们是觉得流片的节奏和更快的迭代 ， 对这个迭代的节奏可以加快很多 。 真正制约我们的 ， 当然还有一些物理上的设计和流片那一部分 ，但剩下的部分我觉得会慢慢的更像一个软件的公司 。 **泓君** [40:13] 哦 ，有意思 。Mark， 你刚一直在说 ， 你是在用一套全新的架构去解决这个供应链上的问题吗 ？ 它是一个更底层的创新吗 ？ 从推理的角度 ， 还是它是一个微创新 ？ 就像你刚刚开始我们提到 Bill。 **Mark** [40:27] 我觉得全新的架构肯定就供应链的问题是一部分可以顺便解决 ，但是肯定要解决最本质的问题是我刚说的 Token 的速度 ，Token 的成本 。 **泓君** [40:35] 对对对对对 ， 相比于现有的推理芯片 ， 你觉得它是一个颠覆式的创新 ， 还是一个微创新 ？ **Mark** [40:39] 是一个在架构层次颠覆性的创新 ，因为其实分了很多不同的层 ， 就是因为你芯片造出来 ，其实有很多物理上的事情要解决 ， 比如光刻的事情怎么解决 ， 再比如说现在国内很多公司 ， 包括英伟达 ，其实都很希望解决的 3D 堆叠的问题 ， 又是另外一个层次的问题 。 但其实我们是希望在我们做一家 AI 芯片设计公司 ，在芯片设计以及系统设计这个角度 ， 做真的颠覆式的东西来提供更好的产品竞争力 。 **泓君** [41:07] 对 ， 你们觉得怎么样去判断一个推理芯片它是不是好的 ？ 大家的评价框架是什么 ？ 比如说每个 Token 产出的成本 ， 推理的速度 ， 然后每个 Token 的耗电量 ， 芯片的算力到底被利用到了多少 ， 利用率 ，以及软件跟编译器 ， 你们觉得哪些方向比较重要 ？ **Mark** [41:25] 我觉得在推理的时代 ， 前三个是重要的 。 **泓君** [41:27] 前三个 ， 然后成本 、 速度 、 耗电量 。 **Mark** [41:30] 对 ， 然后第四个会影响第一个 ， 就是你的利用率会影响到你的成本 ，但是最终大家关心的肯定是成本 。 就因为我们看未来整个系统是易购的 ， 所以对于一个芯片来说 ， 它可能并不能单纯的从它的算力 、 带宽 、 容量 ， 让大家对整个系统产生一个综合的认知 。 未来衡量芯片的好坏 ， 一定要在系统这个层次去衡量 。 **徐子扬** [41:48] 还是要再强调一下， 我们在说的这种云端的 AI 推理芯片 ， 就如果我们说的是一个盒子 ， 或者放在手机上这个芯片 ， 那可能每一个 Token 的成本并不是最重要的事情 。 它最重要的可能是我最多花 100 美元为这个芯片付这么样一个成本 ， 那这 100 个美元能达到某一个速度的推理 ， 那这个东西就能卖得出去 。 所以对于这种端侧的 AI 芯片 ， 它考虑的是完全另外一个事情 。 但是从我们云端的考虑 ， 最终的成本会被分解到每个 Token 的成本 ， 所以我们会第一优先级的去考虑这个 Token 生产的成本是什么 ， 第二优先级的去考虑速度 。 但是速度我们认为是未来非常重要的一个指标 ，是很核心的一个 AI infra 的一个指标 。 后面的用电量在云端的角度来看 ，在今天的总的持有成本 ， 现在用电量是在整个比例里头是较小的那一端 。 **Mark** [42:42] 国内和美国其实这一点上有比较大的区别 。 **泓君** [42:45] 对 ， 主要是美国缺电缺能源 。 **Mark** [42:46] 对对对 ， 这个可能是倒过来的 ， 国内我们了解到大概是 1/3 在电 ， 美国大概 2/3 在电 ， 所以这个其实会导致大家有多关心 ， 比如老黄天天讲 Tokens per watt， 还是大家关心 Tokens per dollar。 **泓君** [42:58] 你刚提到能源 1/3 的成本 ，是说什么 1/3 的成本 ？ **Mark** [43:03] 哦 ， 就是比如电费 ， 比如算下来 ， 讲刚刚提到 TCO 嘛 ， 里面分两部分 ， 一个是 CAPEX， 一个是 OPEX。CAPEX 就是你买芯片买机房的这部分一次性投入 ，OPEX 是你比如说计划这一代数据中心运行 5 年， 这 5 年里面你的功耗是多少 ， 然后乘以时间长度 ， 再乘以你的电费 ， 这部分是 OPEX 的成本 。 **徐子扬** [43:22] 就包括散热呀 ， 这些对应的能源消耗 。 **泓君** [43:25] 如果你们在国内做的话 ， 所以你们这个耗电量可能关注的就小一点 。 **Mark** [43:29] 我觉得不是我们关注的小一点 ，是因为客户关注的会小一点 。 **泓君** [43:33] 嗯嗯嗯 ， 对 ， 我我是在想芯片之间你怎么去做性能成本的平衡 。 **Mark** [43:38] 因为我觉得长远来讲 ， 芯片成本是钱的事情 ， 就钱不是一个很本质的限制 ，但是能源是 。 就未来我们看整个 AI 更大的一些未来发展的趋势的话 。 **泓君** [43:50] OK， 如果你们遇到同行了 ， 或者看一家芯片公司啊 ， 你们会怎么去判断一家芯片公司行不行 ？ 如果用一个问题去问这个芯片公司 ， 你们会觉得它是什么呢 ？ **Mark** [44:00] 我觉得你刚刚说那三个问题其实都是很好的问题 ，但我觉得我们比较关心的其实就是两个问题 ， 就是你的 Tokens per second 可以做得多快多便宜 。 如果你还站在从芯片的角度出发的话 ， 可能很多实际在做推理芯片的公司根本没有这个数字 。 **徐子扬** [44:14] 对 ， 我觉得这个从用户端的角度理解 ， 就是在你这个芯片组成的系统 ， 它的 per token 的价格和它每秒对于单一用户的推理速度 ， 这两个是我们关心的最核心的问题 。 ### 速度与智能 **泓君** [44:26] 嗯 ， 推理速度现在会是一个核心的制约瓶颈吗 ？ 因为从我自己作为一个用户的体验来说 ， 我觉得现在推理速度够用了 。 **徐子扬** [44:35] 这是一个非常非常好的问题 ， 是一个我们其实思考了非常多的一个问题 ， 就是做快这个快本身有多大的意义 。 我们先从今天的商业逻辑来说 ， 自从 Agent 开始大规模爆发以后， 我们现在大量的语言模型产生的 Token 其实并没有被人来读 。 这里有两个点 ， 一个是在 Agent 之前有个东西叫 Chain of Thought， 这个是思维链 ， 它在产生 Token 的这一部分其实不是给你看 ，是给模型自己去产生最后结论这个智能的 。 这一部分的速度要快一些 ，因为它是最后给自己看的嘛 。Agent 的这一部分 ， 它产生也不是给人看的 ，是去给别的 Agent 去读的 。 所以人本身阅读 Token 的这个速度的确没有那么快 ， 我们可能做到 100 Token 每秒 ， 人就已经读不完了 。 所以今天的很多 GPU 或者别的系统 ， 它去反推的时候 ， 都是往着 100 Token 每秒这个时间上去发展的啊 ， 甚至会低一些 50 Token 每秒 。 但是对于这种 Agent 的系统 ， 我们认为这个速度其实是一定程度上没有上限的 ， 越快越好 。 这更核心的可能是一个 AI 长期的一个制约里头 ，有一个刚刚说到的能耗 ， 还有就是时间 ， 我们在单位时间里面能解决掉多少事情 ， 这个本质上就是我们要用系统的对单用户的这个速度去解决的 。 **Mark** [45:52] 对 ， 我觉得刚刚你提的一个很好点 ， 就是你觉得已经很快了 ， 就你觉得已经够用了 。 然后我觉得核心点就是它一定会让你觉得够用了 ，但是它会在别的地方去实现这一点 ， 比如说它知道用户不能接受我一个问题要想两天 ， 甚至一个小时可能都不能接受 。 所以这时候实际上本质的限制了在这一天或者一个小时之内 ， 我能生产多少 Token 来解决用户的这个问题 。 所以推理速度更快并不意味着你要从一分钟的思考 ， 最后你跟它的交互速度要变成一秒钟 ，而是在都是一分钟交互速度的情况下， 你这个模型可以用 10 倍更多的 Token 做更多内部自我的思考来提升它的智能水平 。 **徐子扬** [46:29] 对 ， 或者用 Agent 的方式去做很多确实的实验来回答这个问题 。 **泓君** [46:35] 嗯 ，有意思 ， 就是在我看到答案的时间可能是一样的 ，但是背后是这个模型它思考了一遍 ， 还是它思考了 10 倍于我这个问题的内容 。 所以推理芯片做得好 ， 可以让模型更智能 ，在同样的时间里 。 **Mark** [46:50] 对对对 ，是是 。 所以你看老黄的演讲的 PPT， 它的这个图的坐标纵轴是 Tokens per watt 嘛 ， 或者什么 Tokens per second per watt，是说 Token 的成本 。 横轴其实它讲的就是推理的速度 ， 那 Bill 喜欢叫 Interactivity，但是老黄的 PPT 里面那横轴的标识就是 Smarter AI。他认为推理更快的速度意味着整个 AI 可以变得更聪明 ， 就是基于我刚刚的那个逻辑 。 **泓君** [47:14] 哦 ， 我理解了 。 所以说有的时候 ， 比如说我看到一些应用 ， 它很快能给我答案 ， 可能只是因为 AI 思考的少而已 。 **Mark** [47:21] 是的 ，是的 。 **泓君** [47:21] 嗯 ， 哦 ， 这个太有意思了 。 **徐子扬** [47:23] 对 ， 我们甚至会觉得之后这个会慢慢的像大部分更大程度的 Token，其实都在 AI 自己的这个系统里去转来 ， 为你产生最终的那个智能 。 比如说如果哪一天这个 AI 系统足够聪明 ， 我就说你去解决 Agent， 然后它在那慢慢去解决 。 这大部分的 Token 是在它自己里头转 ， 这个自己里头转的这部分 Token 至少有一些思维链的速度 ， 当然是越快越好 ， 剩下的可以用并行度去换 ，但是有一些逻辑思考的部分是越快越好 。 如果你问这么一个问题 ， 比如说它用了 100 年思考 ， 那可能对我们意义不大 ， 那我们会希望它在有限的时间内解决 。 刚刚那个例子其实不是特别直接能体会出时间的紧迫性 ，但比如说我想让一个 AI 系统来判断明天的股票市场怎么样 ， 它如果用两天的时间去想这个问题 ， 那这个回答就没有任何的意义 。 所以我们为什么觉得时间是一个非常重要的本质约束 ，因为世界这个时间不会为了别的慢下来 ， 很多事情是需要一个确定时间点之前就要得到这个答案 。 比如说等一个小时就不耐烦了 ， 需要一分钟之内得到 ，也是这么一个时间的卡点 。 我们就希望在确定的时间卡点里获得更多智能 ， 这个就翻译成快 。 所以对最后 AI 芯片的快其实是有要求的 。 **泓君** [48:37] 嗯 ，因为我们说现在整个模型在训练预训练的方法上， 包括在推理上， 包括现在整个 Agent 它的互联上， 它是有很多的创新的 。 比如说刚刚我们提到了像思维链的这个模式 ， 它可能就会对 Groq 它的这些整个工作的原理会产生影响 。 那我觉得现在模型也在提这个 RSI， 然后也在提强化学习 ， 同时整个 Agent 市场它也在发生改变 。 所有这些在大模型预训练领域里面发生的这些改变 ， 会影响大家芯片的设计 ，以及比如说你们现在在设计一场芯片的时候 ， 包括我们说还有大模型跟所有的图片模型 、 视频模型 、 世界模型 ， 它的不同的训练方法 ， 所有的这些不同的预训练的方式 ， 会改 ### 模型与利用率 **泓君** [49:23] 变大家的芯片的设计方式吗 ？ 以及你们现在在设计的时候 ， 会往前看一两年、 两三年吗 ？ **徐子扬** [49:29] 先回答最后一个问题 ， 我们肯定是要向前看的 。 向前看的时候 ，是去找一些本质的会影响我们芯片设计的 ， 就前半部分的这个问题 。 首先模型结构本身一定会影响 ， 就比如说刚刚说到的这个视频生成 、 图像生成 ， 这里头生成里头很大的一部分是一个 Diffusion model， 这种模型它和现在 Transformer 的方式就是不一样的 。 所以我们就要做两个选择 ， 一个是芯片做不做这件事情 ， 就是易购的选择 ， 我们去想清楚我们要解决的那个更核心的问题是什么 。 第二个是如果要做的话 ，在我们芯片上怎么做这件事情 。 所以像这种 Diffusion 这种事情 ， 技术上来说 ， 它是一个计算非常密集的一个事情 ， 所以它适合的硬件可能是另外一种范式 。 另一个去看本质的这个 Transformer， 它会怎么变 ， 就是我们想要瞄准的这一块 ， 它会不会有很大的变化 。 我们先看这整个模型大规模的在变的是哪一部分 ， 现在还没有收敛的算法上的是哪一部分 ， 和已经收敛的是哪一部分 。 这家公司优先去解决已经收敛的这部分 ， 可以去做芯片的的这一部分 。 所以我们现在看到的 ， 刚刚从这个模型本身来说 ，Transformer 模型里头注意力的机制这边 ，其实在算法上还有非常多的革新 。 每一个新的 lab 出来 ，他会经常发一些 paper， 说我又做了一个什么新的思路 。 但是后面的这一段 FFN， 自从变成 MoE 以后 ，其实变成了一个相对不变量 。 刚刚说到了有些 2L 的这些东西 ，其实是没有本质的影响这个模型的结构的 。 如果这个模型本身结构是一样的 ， 它只是 ， 尤其 2L 如果在后训练里头 ， 更是没有影响这个模型的结构 。 那这个对于我们来说 ， 就是一个相对没有那么重要的事情 。 **泓君** [51:10] 所以你们现在是主要是做 Transformer 的模型 ， 就是 Diffusion 的推理 ， 你们是现阶段还没有考虑进去的 。 **Mark** [51:16] 对 ， 更多我考虑问题的点其实是在于 ， 就未来 AI 的系统 ，不管什么模型吧 ， 很本质它会有两部分的需求 。 现在看到比较明确的有算力的需求 ， 我们看到现在解决不太好的有带宽的需求 。其实我们是希望找到一个最贴近于当前带宽需求的 ， 从芯片到系统的解决方案 。 这个未来我觉得不绑定在具体的模型上面 ， 虽然我们现在看的肯定会觉得未来等我们芯片出来的时候 ， 大概率还是可能 Transformer 更适合运行在我们上面 ，但其实我们是有这种 ， 比如说图像的生成 、 视频的生成 ， 这些未来算法上有很大的空间 ， 它可能也变成自回归式的 ， 然后甚至是两种的结合 。 但这种的话 ， 就如果它变成了 ， 我们可能可以支持很好 ， 那如果它没有变成的话 ， 那它天然就不是我们想解决这个问题面对的对象 。 **泓君** [52:02] 嗯 ， 了解 。 我看现在也有很多的国产芯片啊 ， 甚至我们说包括像英伟达的芯片 ， 大家有一个宣传出来的纸面的算力的值 ，但是大家在真实的用起来 ， 感觉哎 ， 这个算力是不是没有跑满啊 ，有的时候是不是连一个对折都没有打到啊 ， 这中间消失的算力去哪了 ？ 为什么会有一部分算力的浪费 ， 它达不到这个理论算力的值 ？ **Mark** [52:24] 我觉得两部分吧 ，因为如果单纯想算力浪费的话 ，其实现在很多 work， 包括现在的一些注意力的机制 ， 很多应用 ， 它的计算和缓存的比例就没有长在英伟达 GPU 的甜点上面 。 这个是可能比较大的一些之所以算力用不起来的方向 ，因为你卡在带宽上 。 计算机体结构有一个这个 roofline， 这怎么没法反应了 。 **徐子扬** [52:46] 哈哈哈 ， 好像是没有一个屋顶结构 。 **Mark** [52:48] 对 ， 它有一个基本的这个结构 。 如果你是带宽瓶颈 ， 那显然你的算力就用不起来 。 然后另外因为推理其实是一个非常快速 ，有很多很多细小的算子组成的 ， 你想每秒钟都两三百个 Token 了 ， 这时候你每一个 Token 对应的计算任务其实变得非常细碎 ， 比起训练的那种都是大矩阵相乘 ， 然后这种细碎其实是会造成你有一部分调度的损失的 。 **泓君** [53:10] 嗯 ， 它是使用者用的问题 ， 还是芯片设计的问题 ， 还是软件层的问题 ？ **徐子扬** [53:15] 哦 ， 这三个都有 。 **泓君** [53:17] 哈哈 ， 都有 。 **徐子扬** [53:18] 对 ，其实刚 Mark 说到的那部分 ， 比如说算力和缓存 ， 这个就更本质一些 ， 这个可能是硬件设计和现在用 workload 这个应用 ， 它不匹配造成的 。 再技术一点的话 ， 现在经常我们会说它的芯片在等数据从别的芯片传过来 ， 这个的意思就是其实是我们在互联中卡住了 ， 任何的一个数据 ， 它没有及时的到要去算的那一边 ， 无论是因为你在这一片上的 HBM 带宽不够大 ， 你从那读出来的时间太长了 ， 它的计算单元在那空转 ， 或者是我要从别的地方传这个数据导致的空转 ， 最后就导致 了我们的这个计算单元在做矩阵乘法 。 现在的模型里最大的那个东西就是做矩阵乘法 ， 我们在算 MFU 这个模型算力利用率里头 ， 基本上只在算矩阵乘法的这一块 。 所以一旦我们发现矩阵乘法在空转 ， 我们最后会得到一个比较低的 MFU， 所以我们就会说这个芯片没有被很好的用起来 。 回到刚刚那个 roofline model， 我们其实在推理 ， 尤其是为了高单用户推理速度的这个场景的时候 ，其实还有另外一个场景叫 MBU，是 memory bandwidth utilization， 缓存的带宽有多少被用起来 。 所有的利用率啊 ， 它都是到了 100%， 那这一点就没有问题了 。 但是比如说我带宽拉到了 100%， 我这个芯片是不是百分百用起来 ，也不完全是 ，因为这个芯片它有至少有两个单位嘛 ， 一个是缓存带宽有没有百分百用起来 ， 一个是算力有没有百分百用起来 。 这个就回到刚刚说的第一点 ， 就是如果我设计的时候 ， 我这带宽设计的非常小 ， 算力非常非常的大 ， 那我把带宽吃满的时候 ， 我的算力可能就还是空着的 。 **泓君** [54:56] 是 ， 哦 ， 所以它是一个综合的问题 。 你们自己在设计推理芯片的时候 ， 会把这些考虑在里面吗 ？ 理论上的利用率跟实际的利用率 。 **Mark** [55:03] 哦 ， 我们会考虑在里面 ， 就怎么说 ， 避免一些实际执行过程中的调度啊 ， 一些摩擦导致的利用率的损失 ， 就这点可能是我们更多的可以在芯片设计上面做优化的点 。 ### 芯片设计流程 **泓君** [55:14] 嗯嗯 ， 对 。 大家要不要给听众的科普一下， 就比如说一个芯片 ， 它如果要设计一整个流程的话 ， 它是什么样的 ？ 对 。 **Mark** [55:23] 一开始的时候肯定是更多的架构上面的设计 ，其实是需求的分析 ， 这个芯片定位是什么 ， 我要解决什么样的问题 ， 哪些问题是技术上的问题 ， 哪些问题是一些客户的问题 ，有些客户可能要求一些安全性 ， 这肯定是第一步的点 ， 先梳理需求 。 围绕这些需求就会有具体的高层架构的设计 ， 这个架构可能包含了不光是芯片本身 ， 就未来实际我交付的可能是一个服务器 ， 甚至是一个集群 ， 这种集群里面拆解到对于系统的需求 ， 比如芯片间互联的需求 ， 对于服务器间互联的需求 ，以及拆解到对于具体每一颗芯片的需求 。 **泓君** [55:54] 而且我理解这个里面其实是有很多创业机会的 ， 你做服务器集群是一种 ， 你做芯片是一种 ， 然后你卖一个从芯片软硬件一体的这种解决方案的可能还是一种 。 **Mark** [56:04] 啊 ，是 ，但是我的意思是从系统架构的层面 ， 你要考虑清楚你未来支持的场景是什么 ，以及围绕这个场景去做真的实际芯片架构的定义 。 到芯片架构定义之后， 就会有一些更多微架构的定义 ， 比如说我芯片里面打算计算单元核打算怎么设计 ， 核里面的矩阵单元打算怎么设计 ， 向量单元打算怎么设计 ， 然后我用什么样的指令集存储放在哪 ， 比如说我们想用 SRAM 来做 ，SRAM 放在哪 ， 这些都确定了之后， 你就会有一个非常详细的特性列表 ，feature list， 然后这里面就会具体指导实际做 RTL 编码的时候 ， 该怎么去做一个一个模块去 RTL 编码的编写 。 大家都说做芯片要一两年的时间 ， 实际这一部分编写的时间可能也就两三个月 ，但是大部分事情会花在比如前期的需求啊 、 架构上面 。 说到这个 RTL 编码之后 ，其实就是一些验证的工作 ， 至少传统意义上来讲 ， 大家说做一个大芯片 ， 流片的成本是相当相当高的 ， 所以大家希望在流片的时候 ， 保证这个芯片不需要有一些功能上的问题 。 所以在流片之前 ， 会做非常充足的对于芯片编码的验证 ， 比如我写的是不是有 bug， 要么比如说靠很复杂很多的测试用例 ， 要么是比如靠一些形式化的验证 ， 从这个数学上去做证明 。 哎 ， 这个又回到了我当时在博士的时候做的强逻辑的那个东西 ， 就是这部分的形式化证明 ， 就会用那部分东西去做 。 就当你把验证充分的做完了之后， 会有很多后端的东西 ， 就是刚刚说的那些东西基本上都算芯片的前端 。 当你每一个晶体管怎么连都确定 ， 后端会实际的把它尝试排布在可行的一个物理空间上面 ， 就比如这个芯片的布局布线 ， 线要怎么绕 ， 不同计算单元要摆在哪 ， 存储单元的比如长宽高的这些比例 ， 都需要靠后端去做具体的图纸 ， 就真的变成了实际光刻 ， 我需要在哪一块刻什么样的晶体管 ， 这样一些信息 。 但是那个过程中又有很多的 ， 我们叫 SDC， 就是根据比如 FAB 的一些信息去做很多重复的检查 ，但是最终就是要保证在流片的时候不要出很大的问题 。 等这些做完之后， 你就可以去流片了 。其实流片本身这个动作 ，是它去给你生产这个模具 ， 掩模 mask， 这个其实只是第一次流片会有一个这个东西 ，因为你这个东西如果没有问题的话 ， 后续的量产你这个模具就不用做特别大的改动了 。 等真的第一代芯片量产回来之后， 又会有很多封装测试的东西在里面 ，因为其实本身大家看到这个英伟达的一个芯片 ， 好像都很大 ， 都快半个手机大了 ，但其实里面真正实际光刻出来那部分占比比较小 ， 更多的是要在一个比较大的封装里面去解决 ， 怎么把那么细的光刻的线引到我实际产品的板子上面的线 。 当然测试的工作在于刚才说到有良率的问题 ， 那你需要有一个很体系的方法 ， 让你能够知道你造了一批芯片出来 ， 哪些是好 ， 哪些是坏的 ， 这本身又是一个很大的课题 。 到后面实际你要去交付的时候 ， 如果你要交付一个比较复杂的系统 ， 你又会涉及到比如实际你的 PCB 板子要怎么设计 ， 你的芯片可能只是系统一部分 ， 上面可能会有一些控制芯片 ，有一些 switch 交换的芯片 ，有一些网口 ，其他的接口怎么去设计 ， 再到整个集群的供电散热供网怎么去设计这部分 。 **泓君** [59:05] 我听到这段话 ， 我自己有一个感受啊 ， 就 Mark 你太厉害了 。 我觉得芯片创业是一个门槛很高的事情 ， 它的每一个环节 ， 首先它要解决无数的技术挑战 ，其次它是一个成本很高的东西 ， 你需要很多的钱去做这些事情 ， 去流片去设计 ， 然后承担各种流片的风险 ， 包括到最后量产了以后， 我们要去控制良率 ， 同时你还要去解决供应链的事情 。 因为现在大家知道 ， 包括连谷歌连英伟达 ，他们在去做芯片的时候 ， 整个供应链上的各种环节都是缺货的 ， 所以硬件是一个很难的事情 。 **Mark** [59:42] 但是赔率足够大 。 **泓君** [59:43] 对 ，而且我之前其实有问过很多英伟达的科学家啊 ， 我就说你们其实有这么多年的经验 ， 芯片又这么缺 ， 为什么不自己出来创业呢 ？ 大家觉得哦 ， 这个事情要撬动的产业链太大了 。 **徐子扬** [59:54] 对 ， 的确 ， 我们也不是一个人在战斗 ， 尤其是后端 ，其实是要和很多很多的合作方一起去配合的 。 我们这里更多的是把用户和这个模型怎么去设计这款芯片想得非常清楚了 ， 后面会有非常多的和供应商的沟通和互相帮助的阶段 。 **泓君** [1:00:13] 嗯 ， 你们现在在整个设计过程跟流片跟我不知道你们到哪个环节了 ， 到可能到最后量产的环节 ， 供应链会是一个问题吗 ？ **Mark** [1:00:21] 供应链会是一个非常非常关键的问题 ，因为我们看其实国内整个芯片的市场 ， 可能在未来两到三年都会长期处于一个供小于求的状态 ， 所以未来我们是否能成功的关键并不一定在于比如说我们的芯片设计的多好 ， 很可能就在于能不能造出足够多的芯片来 。 但其实在这上面 ， 我们反而有我们自己的一些优势 ， 正是因为我们在设计上面有了很多比较大胆的创新 ， 所以更多的放松了我们对于最先进制程的要求 ， 比如说我们是有机会把大家可能用不起来或者已经认为淘汰掉了的成熟的制程用得很好 ， 制造出来可能使用了成熟的工艺 ，但是在最终我们关心的 tokens per second，tokens per dollar 上面 ， 比可能先进工艺做出 来的系统还要更好的一些解决方案 。 **泓君** [1:01:09] 嗯 ， 所以是通过架构创新做到的 。 **Mark** [1:01:11] 是的是的 。 **泓君** [1:01:12] 嗯 ，但是在供应链上依然会是面临很多的挑战 。 **Mark** [1:01:16] 啊 ，是的是的是的 。 ### 国内优势 **泓君** [1:01:17] 对 ， 你们为什么要回国创业 ？ 其实 Mark， 我觉得你的这个背景 ， 即使在美国创业也是会很成功的 。 **Mark** [1:01:23] 我当然回国不是因为创业这一件事情回国 ，是因为当然毕业之后， 有一些在国内比较好的工作的机会 ， 然后我也很感兴趣 ， 我就已经回来了 ， 所以我在国内已经待了三年左右 。在这个过程中， 因为我很多 PhD 的朋友啊 、 导师啊 、 队友啊还在美国 ， 所以就每年也会有几次去硅谷和大家继续交流 。 虽然现在国内有这些先进制程的实际技术上面的一些限制和约束 ，但我觉得长远在一些更挑战 ， 比如控制成本 、 控制性价比的供应解决上面 ， 国内整个的环境是有更大的优势的 。 **泓君** [1:01:56] 嗯 ， 主要是供应链比较完善 ， 供应商也比较多 ， 即使你在美国 ， 可能也经常要回来看这些硬件的环节 。 **徐子扬** [1:02:04] 再本质一点呢 ， 就是搭基础设施的这个能力 ，因为我们本身去搭的是一个推理的基础设施 ， 这里涉及到几个最核心的点 ， 比如说你的数据中心在哪 ， 怎么建 ， 用水用电 ， 中国有非常强的优势 。 可能还有另外一个点 ， 就是中国也是一个非常大的一个市场 ， 它是能完全赚起来的 。其实还有另外一个角度 ， 当时 Groq、Cerebras 做的比较艰难的点在于 ， 美国最主流的模型不是开源的 ， 当你做一个很新的芯片 ， 你要让也不懂你芯片的人适配你的模型也不太现实 ， 你要让强行让自己去适配一个自己不知道的模型也不太现实 。 所以当你做出一个芯片 ， 你其实更希望的是有些开源的东西 ， 可以让你自己拿来跑 ，在自己上面做出一些效果来 。 但是至少当时那些开源的 ， 比如像千问啊 、 像 Llama， 显然不是美国最主流用的最多的模型 ， 所以它们在商业化上会面临着短期只能看到逆势的那部分小的开源市场 。 但是在国内反而是倒过来的 ， 就是国内这些最强大的模型 ，以 DeepSeek 为代表 ， 智谱至少在架构层面它们都是更开放的 ，而且从市场角度来讲 ， 国内可以稳定获取的最好的 AI 的模型的 API，其实也都是这些开源模型 。 **泓君** [1:03:17] 嗯 ，但像千问也在做自己的芯片 。 **Mark** [1:03:21] 我觉得这个问题是不是模型厂商也在做自己的芯片 ？ **泓君** [1:03:25] 对 ， 你要怎么去竞争 ？ **徐子扬** [1:03:27] 如果是已经是一个开源的话 ， 模型厂商做自己的芯片和我们做芯片 ， 它们没有比我们很本质的优势 。 做这个系统要把系统其他的部分想清楚 ，在这一点上模型厂商它不是做这个 。 **泓君** [1:03:41] 但它们可能更加先进的模型并没有完全开源 ，以及它在设计模型的时候 ， 它的软硬件团队是可以协同的 ， 比如说谷歌的 TPU， 它可以在模型往前发展的时候 ， 就把芯片应该怎么设计考虑进去 。 **Mark** [1:03:58] 就我觉得首先模型厂商分几类吧 ， 一类是比如传统的互联网大厂 ， 我们说国内啊 ， 就当他们做芯片的时候 ，因为本身如果你同时做模型 ， 你同时会有很多训练的需求 ， 同时你的模型也是多种多样的 ， 你会有很多像自己也有 CDONs 那一部分模型的需求 。 当你开始投入资源做芯片的时候 ， 你又希望这个芯片不要那么针对性的只对你部分的需求有效果 ，而是说要更好的兼容你上面所有对于 AI 有需求的业务 ， 包括训练 ， 包括各种图像生成啊 ，也包括这个 Transformer 推理 。 我们看到实际上大家在做的 ， 可能还是更多的去替代已有的通用的 AI 芯片 。 **泓君** [1:04:37] 嗯 ， 训练偏多 。 **Mark** [1:04:39] 训练或者通用性偏多 ， 就实际用可能推理也很多 ，但推理里面可能有一部分是 Prefill，有一部分比如说是图像生成 AIGC 这部分 。 我觉得纯粹的模型厂商 ， 比如像 DeepSeek、 智谱 、Kimi， 设计一个好的模型需要的能力和设计一个好的芯片需要的能力是完全不一样的 。 就甚至有时候 ， 当你把完全不一样的能力整合进同一家公司的时候 ，不一定是个好事 ， 就这件事情也是需要异构的 。 我觉得是需要一家氛围上面更适合算法设计的公司来做模型的事情 ， 氛围上面更适合芯片设计相关的公司来做芯片的事情 。 这个东西把大家都融合在一起 ，不一定完全是一个非常非常好的事情 。 **泓君** [1:05:16] 嗯 ，Mark， 当时你去 Stanford 读 PhD 的时候 ，Bill Dally 他其实很有名嘛 ， 英伟达的首席科学家 ， 我们也可以说他是整个芯片领域的 GPU 的奠基人 ，因为他通过在 Stanford 做的流处理研究 ， 变成了今天的 GPU。 ### Bill设计哲学 **泓君** [1:05:32] 当时你为什么选他做导师 ？ 就你跟他的交流是怎么样的 ？ **Mark** [1:05:36] 你说这个 stream processing， 这其实应该是他在 2000 年之前做的工作 ， 只是后面 NVIDIA 更成功把这件事情做了商业化 ，但是他后面随着和 NVIDIA 合作 ，其实逐渐他又重新在产业上面主导了很多类似的方向 。 我是在应该是大四的有一个学期 ， 我去和韩松 ， 就是他当时马上要毕业的一个学生 ，但是后面他其实做了很多成功的公司 ， 包括他后面去 MIT 当 Professor，但其实当时是他拉我过去 ， 想让我帮忙他做一些 research assistant。 所以当时做的更多的工作 ，是围绕着他当时的模型的剪枝压缩 ， 我们叫 pruning、quantization 这些点 ， 继续往下做了一些更新的如何让模型更 efficient 的跑在硬件上的算法层面的研究 。 然后那时候就虽然是松哥之前 mentor 我 ，但是就是每周会和 Bill 有例会 ， 就这个人给我的第一反应是非常非常聪明的一个人。 然后另外一个点其实是他在 research 上看的问题是一些很本质的问题 ， 就他不会去尝试解一些 low hanging fruit，因为那个已经也不在他的 career path 的必要性上面 。他是一个很 senior professor，他没有任何短期学术上需要比如发多少 paper 的这些压力 ， 所以他看到的一些更本质是他实际上感兴趣的技术上面的一些点 ， 这些点往往是那些其实很难做 ，但是一旦做出来 ， 可能对整个学界业界有非常 非常大的影响的一些点 。 这是我非常非常从那时候开始就欣赏他的特质 。 **泓君** [1:06:56] 对 ， 你刚刚提到了 Bill 他看问题是看到了非常本质的地方 ， 你觉得从你开始读他的 PhD，17 年开始 ，有哪几个他在关注的主要方向 ，以及他有哪几次在跟你的交流中， 你觉得 OK，他没有去关注这个表面上的细节 ，而是直接戳到了比如说当前芯片设计的最核心的一个环节 ？ **Mark** [1:07:18] 我真的去加入他的组里 ， 跟他非常认真的去做一些研究的时候 ，他当时一上来非常感兴趣点 ，其实我觉得除了他没有人看到那个点 ，他当然去尝试做完全和现在的深度学习不一样的另外一类完全逻辑的 AI 的加速 。 从过去 AI 的发展是有两个不同的分支的 ， 一个是偏深度学习 、 神经网络这种感知的这种分支 ， 然后另外一个是强逻辑的分支 。 然后那种分支其实大家往往会去尝试构建很大的知识图谱 ， 去建立非常严谨的逻辑 。 现在就变成比如说大家尝试去用 AI 证明一些数学定理 。 **泓君** [1:07:51] 那是哪一年 ？ **Mark** [1:07:52] 17 年的时候 。 对 ，但那个逻辑的 AI 的发展其实已经过去三四十年都有 ，而且到现在为止都有很强的应用在 ， 比如我刚刚提到的一些数学原理的证明 ， 再到一些芯片后面布局布线里面 ，其实是有非常强的逻辑的 AI 参与的 。 所以 Bill 当时很感兴趣点就是 ， 英伟达已经可以把这种偏感知的神经网络类的 AI 加速得很好 ，但是他看来其实未来的 AI 是强逻辑加强感知 ，但强逻辑那一部分其实当时的角度基本上没有人在关心 ，因为之前几乎没有人做过针对性的硬件去做这件事情 ， 大家可能更多停留在软件层面 。 那时候我们从头去设计了一个全新的芯片架构 ， 就它和现在 CPU、GPU， 包括我们想做这些完全不一样的一个专门的加速器的架构来加速这件事情 。 从现在角度看来 ，因为我知道现在硅谷其实很多创业公司大家也开始有这个想法 ， 如何让比如现在的这些语言模型 Transformer 更好地为一些数学原理 、 物理原理来服务 ，其实这部分我觉得未来可能也会是非常非常有影响力的一部分新的芯片的工作 。 **泓君** [1:08:53] 所以你觉得他当时跟你们主导的这个强逻辑的芯片 ， 就是重新设计的这个芯片 ，在今天的 AI 时代已经变成了一个主要方向 ， 还是说它还是一个研发中的东西 ？ **Mark** [1:09:04] 我觉得它还处在算法研发的过程中 。 本身解这个逻辑问题的算法是非常非常固定的 ， 叫 set 问题 ，但如何把这个问题和 Transformer 更好地结合起来 ， 让 Transformer 去把实际的复杂的数学和物理的问题拆解成这种强逻辑的问题 ， 我觉得是现在很多在尝试做 AI for science 的公司在做的事情 。 现在在算法层面还没有收敛 ， 未来如果大家发现这个真的很有效 ，以及未来如果真的科学探索的瓶颈在如何更快地解一个很复杂逻辑的问题上面的话 ， 对芯片和硬件的需求会是确定的 。 **泓君** [1:09:41] 嗯 ， 你觉得他给你的启发更多的是在芯片领域上说 ，在学术领域的一些具体的我要走哪条路 、 哪个方向的一些学术上的启发 ， 还是他的思考方式 、 沟通方式 、 一些人格特质上的启发更多 ？ **Mark** [1:09:57] 我觉得是后者 。 刚刚提到我跟 Bill 做的第一个项目之后， 包括我 PhD 的 theses， 那些很多东西并不一定是某一个确定的方向 ， 比如说大家会看到他现在是 GPU 的电机人 ，但其实我觉得本质他并没有和 GPU 绑定 ，GPU 只是结果 ， 原因是因为他是一个非常好的 researcher， 非常好的一个 architect， 所以他能发现最重要的东西是什么 ，并以最好的方式去把它做出来 ， 这个成就了现在的 GPU。 但是它对我影响更大的可能是一些芯片设计 、 系统设计 ， 甚至怎么做研究更本质的需要关注的一些点 。 **泓君** [1:10:30] 嗯 ， 举一个例子 。 **Mark** [1:10:31] 啊 ， 举一个例子就是我们现在做的很多芯片会围绕一个点去出发 ， 叫 locality， 就局部性 。 而这件事情最早我是从 Bill 那块得到了非常非常大的震撼 ，他跟我说整个芯片设计一切都是围绕局部性去展开的 。 **泓君** [1:10:46] 什么叫局部性 ？ **Mark** [1:10:47] 局部性就是 location， 把东西放在哪 。 它的原话是 "Computer architecture is like real estate, it's all about location, location, location." 就时间上的局部性 、 空间上的局部性 ， 比如说我们之前会有 CPU 里面 Cache 的设计 ，其实本身就是一种时间的局部性和空间局部性的使用 。 时间局部性就是如果我用了一段数据 ， 那我会在未来的一段时间里面 ， 大概率会重复地使用这段数据 ， 这是时间局部性 。 空间局部性就是如果我用了一段数据 ， 那我大概率马上会用到它周围的一部分数据 ， 这是空间局部性 。 然后我们现在想做的很多东西其实是我们在做 AI 芯片嘛 ， 把模型的权重存在哪这件事情 ， 为什么我们想用 SRAM 来做这件事情 ， 就是因为希望使用 SRAM 提供最好的局部性 。 因为在 AI 的这个时代 ， 尤其是我们做推理 decode 的这个过程 ， 时间局部性和空间局部性在算法上都被抹平了 ， 就这些都不复存在了 。 所以我们要在架构上做更多实际硬件上面的局部性来弥补这一点 。 我觉得他在指导怎么更好地做事情 ， 或者找到更值得做的事情的时候 ， 我觉得他的逻辑是要找到最难的事情 ， 然后找到对整个系统影响最大的那个点 ，并尝试去解决它 。他会关心 trade-off， 就当你只做微小的提升的时候 ，其实你是可以保全大局的 ， 你不需要做颠覆式的修改 。 但如果你要做很难的数量级的提升的时候 ， 你一定要很清楚地想明白哪些东西是你可以牺牲掉的 ， 哪些东西是你真正关键的 。 只有当你想明白这些问题的时候 ， 你才能在整个系统层面做出更关键的选择 ， 你能跳出这个 local minimum， 就像是深度学习的时候 ， 找到一个更大的全局最优的解 。 **泓君** [1:12:22] 对 ， 我觉得很有意思 ， 这个其实就是说我们不要去做微创新 ， 我们要找到最难的那个问题 ， 从全局的角度去做颠覆式创新 。 但它意味着失败的概率很高 。 你跟 Bill 在合作的过程中有遇到说 ："OK， 我找到了一个解 ， 我尝试从这个方向做 ，但是它失败了 。" **Mark** [1:12:40] 哦 ， 我觉得非常非常多呀 ，但是我刚刚说的点其实和成功失败没有关系 ， 就它是你做事情的逻辑 ， 就是什么样的事情是 Bill 觉得值得做的 ，以及现在是我们觉得值得做的 。 但是做的过程中肯定会有很多很多失败的情况 ，但是它不会否定你要解决的这个问题不是正确的问题 ， 它只是你可能没有找到正确的解法 ， 甚至这个解法可能是没有的 。 **泓君** [1:13:01] 嗯 ， 我觉得这段非常鼓人心 。 你回来创业 ，Bill Dally 给了你什么样的建议 ？ **Mark** [1:13:06] 哦 ， 我跟 Bill 会讨论很多很多技术上面的细节 ， 就比如说当时我有一些想法想用 SRAM 来做的时候 ， 我会跟他讨论非常多 ，因为他一开始也没有很细节地去看这个方向 ，但是当时我们是真的很仔细地去算了这个点 。他会给我很多技术上面的建议 ，因为其实我现在想做的很多东西和我当时 PhD 跟他一块做的东西 ， 从方法原理上来讲是很相像的 。 具体创业的建议的话 ， 我想想 ， 哦 ，Bill 给我的建议就是一定不要用 PhD 写的代码 ，因为这是 Bill 上一个创业里面的惨痛教训 。 **泓君** [1:13:40] 嗯 ，他的整个特质还是更偏一个科学家 。 **Mark** [1:13:43] 是是是 ， 对 ， 这是 exactly 我刚刚其实想说的 。Bill 当时给我另外一些点其实是怎么做研究 ，但其实我现在会发现 ， 比如那些东西并不一定是做公司最好的点 。 我觉得做研究很本质就是用最小的代价获取最多的知识 ， 这是他认为研究的本质 。 所以当时比如说涉及到其他很多会愿意真的去流片 ， 用科研经费把片子造出来 ，但是在 Bill 看来这个就完全不必要 ，因为你已经在流片之前获得 99% 的知识了 。 流片并不能给你带来一些额外的除了工程上面实现之外的东西 。 但是就现在创业这件事情其实就是你要去解决那个剩下 1% 工程上面的事情 ，而且这一部分可能要花费你 99% 的精力 。 **泓君** [1:14:22] 工程可能不算剩下 1% 吧 ， 它应该也是一个占挺大的比重的 。 **Mark** [1:14:26] 对对对 ， 就我的意思是实际上你要花很多的精力去做它 ，但是它对于这件事情能不能做成的贡献就是没有那么大 。 你可以在不做工程之前就从设计的角度知道这件事情技术的瓶颈在哪 ， 能不能做 ，但是实际工程上要解决的实际设计 、 散热 、 供电的那些问题是你要花很多的精力去真的把它做出来的 。 **泓君** [1:14:47] 嗯嗯 ， 那子阳你要不要讲一下就是你在亚马逊做自研的 AI 芯片 ， 比如说你给他们写编译器 、 写软件栈 ，因为我记得亚马逊它也有一个非常哲学思考的问题 ， 跟刚刚 Mark 说的是有一些一脉相承的 ， 就是说我们不要先从一个细小的点去推这个事情应该怎么样 ，因为你要先设计整个系统再去反推最优的芯片是什么样的 。 你要不要讲一下整个亚马逊它的 ， 包括你做软件的这一套工程哲学 ？ **Mark** [1:15:19] 首先从系统上来说 ， 软件是在系统最上方的 ， 用户是从软件入手的 。其实亚马逊有两个哲学 ， 一个跟芯片相关是从系统去反推硬件 ， 还有一个就是 customer obsession， 我们要想的是用户最后想要的是什么 。 所以用户他去用的这个软件栈要来反推之前的所有的东西 。 另外一种方法可能是以终为始 ， 所以我们在去思考这件事的时候 ， 比如说我们要做一个 AI 的加速器 ， 那要很明确地想清楚我们这个要加速的 workload 是什么样的 ， 它是哪一些模型或者是哪一类的模型会放在我们这个加速器上去做 。 它是去做训练还是推理 ， 还是两者都做 ， 这个会直接地影响到你从每一层的从高维的系统往回反推 ， 最后到芯片上的一个具体的设计是怎么样的 。 首先大方向要掌握对 ， 然后要能从这个大方向一点一点地有逻辑地反推回来 。 比如说其实在这个芯片设计里面有一个非常重要的参数 ， 它的定义是指你的计算的带宽和你的缓存带宽的一个比值 ， 这个会决定我们在读取一份数据以后 ，在这一份数据上要做多少次计算 ， 它才能把计算和缓存都给用到 。 这个比值会直接地影响到哪一些模型或者应用在这款芯片上它用的是最好的 。 所以比如我们在设计下一代的芯片的时候 ， 就会很明确地去想最终的 workload 是什么样的 ， 我们的系统会是多少个节点去做这个完整的系统 ， 这可能要先从这多少个节点可以在物理上装得下， 能装下模型和在物理上能被接纳 ， 这样再去反推 ， 最后去结果到最后我 们要把这个比值定在多少 。 当硬件一旦确定的话 ， 我们之后其实会直接影响你要怎么去对不同的软件做优化 。 所以我觉得整体的方向上首先要知道用户想要的是什么 ， 这个有可能不一定是用户今天在用的 ，有可能是用户在芯片制作出来的那个时候会想要的是什么 。 **泓君** [1:17:18] 未来两三年会用到 。 **Mark** [1:17:20] 对 ， 未来两三年， 因为本身芯片是一个长周期的一个事情 。 **泓君** [1:17:23] 好的好的 ， 好 ， 谢谢 ， 谢谢两位 。 **Mark** [1:17:25] 好 ， 谢谢大家 ， 谢谢大家 。 **泓君** [1:17:31] 那今天是我们在节目发出前的一次补录 ， 来聊一聊 OpenAI 的推理芯片啊 ，因为 OpenAI 其实是在我们录制的当天 ，也就是 6 月 24 号 ， 它是跟博通发布了第一颗自研的推理芯片 Hana Pino。 ### OpenAI芯片 **泓君** [1:17:47] 子阳你们在这些天有没有研究 OpenAI 它的推理方案是怎么样的 ， 就跟你们想的思路有什么不一样 ？ **徐子扬** [1:17:54] 对的 ， 我们其实也在 Hana Pino 出了以后， 认真地探索了一下他们公开资料有的这些信息 ， 包括他们在 Hot Chips 分享的一些内容 。 首先他们做的这个芯片啊 ， 目前是一个 AI 推理芯片 ，但是定性的它是一个通用的 AI 推理芯片 ， 和 GPU 还是比较接近的 。 它的通用性体现在它可以跑各种模型 ， 甚至一些游戏它都 demo 可以跑出来 。 可以说几个我们看下来它的几个侧重点 ， 包括一些和我们不一样的点 。 最重要的一个其实是我们之前讨论过的一个电的效率和钱的效率上，OpenAI 看到的是它对电的效率非常非常地敏感 ，因为现在美国这个数据中心缺的并不是资本和这些空间 ，而是这个电的供给 。 所以它非常需要同样的电的产能 ， 能产出更多的 Token， 产出更多的智能 ，也意味着更多的收入 。 然后我们看到这颗芯片 ， 它在功耗上做了很多的工作 ， 所以它的每瓦 、 每或者每 Megawatt 能产出的这个 Token 数是大于英伟达对应的 Rubin 的架构的 。 另一个特点就刚刚说到它是一个通用的 ， 这也包含很多的意涵 。 首先它通用性体现在它把我们之前说的一些易购的部分 ， 包括 Prefill、Decode， 然后还有 Attention、FFN，其实它都用一颗芯片全包了 。 它在设计上， 比如说加入了一些对小的维度的矩阵乘法这个支持 ， 所以在整个 batch size 比较小的情况下， 性能也能做到比较好 。 还有一些公开的信息 ， 甚至说它下一代要去支持训练 ， 所以其实是在通用性上是和我们的一些 ， 包括这个 Groq、Cerebras 这个系统级的易购思路上是有一些不同的 。 还有一个小的特点就是这颗芯片 ， 它其实去说了 ， 它用了很多的这个 AI 来帮助 ， 包括从这个软件栈上看 ， 它的 LoRAM 的语言写的 Kernel， 很多的优化很大程度上交给了 Codecs。 另外它的芯片的设计 ， 无论是性能的优化还是 time to market， 就从它的项目启动到流片的一些速度 ， 我们看到是和之前的这些芯片项目比有挺大的提升的 。 它的说是启动到流片用了 9 个月 。 **泓君** [1:20:08] 对 ， 这个速度是相当快了 。 那我其实有一个疑问啊 ， 就是当时我们在录播客的时候 ， 我们是讲到其实业界您提到推理芯片 ， 它是在向 SRAM 的这条路径收敛 ，但是我们看其实 OpenAI 的这颗芯片 ， 它并没有走上存储的这条路啊 ，而是把 HBM4 的带宽堆到了单封装每秒 15.4TB。 我好奇的问题是 ， 比如说它同样是解决带宽的问题啊 ，但 HBM 它其实是挺贵的一条路 ， 为什么他们会选这条最贵的路 ？ **徐子扬** [1:20:42] 对 ，其实这个贵就是很重要的一点 。 这个贵是代表着你买对应的芯片 ， 买存储 ， 买这个存储的带宽 ， 你的价格比较高 。 但是比如刚刚说 ，其实 OpenAI 它的最本质的限制在于电 ， 它可能对于这个资本的开销 ， 对于造芯片的这些成本来说没有那么敏感 。 这个其实也和中美的一些在算整个经济账上不太一样 ， 中国的电的比例比较低 ， 占 1/3 甚至更少 ，在美国是 2/3， 更多是电 。 但其实这个本身成本是一部分 ， 另外一部分是供给 。 美国的电本身有比较明确的一个每年能提供多少新增的电的产能 ， 如果我想要在这个确定产能内去产出更多的 Token、 更多的智能 ，其实我们更关心的是这个芯片的电转换成 Token 的效率 。 所以在用更贵的存储的方向 ， 至少 OpenAI 选择了相对来说不那么关心 。 我们之前提到这个 SRAM 的最本质的一个优势是 ， 每一块钱能买到的带宽比 HBM 高很多个数量级 ， 然后这一点其实就转化成的是你最后花同样的价格去生产芯片 ， 或者是同样的芯片产能去生产芯片 ， 我们能得到更多的 Token。 但目前来看 ，OpenAI 更关心的是另外一个指标 ， 就是从电的角度 。 **泓君** [1:21:57] OK， 总结来说还是第一点 ， 省电 。 **徐子扬** [1:22:00] 啊 ， 对 ， 省电其实是 ， 就是反过来就是为什么 SRAM 相对来说没那么诱惑的一点 ，是他们对这个成本没那么关心 。SRAM 它的带宽非常高 ，但是它在容量上比较受限 ， 所以在做这个芯片的通用性上其实是比较受限的 。 包括我们自己的方案 ， 包括 Groq、Cerebras 的方案 ， 它都会去做一种系统级的易购 ， 所以它的一个芯片要去和别的芯片去配合 。 但我们看到 OpenAI 的选择方案是去做一个更通用的芯片 ， 这个其实我们在上一次讨论的时候说到了这种模型公司和这种云厂商 ， 它业务比较多元 ， 然后也有训练的需求 ， 模型也五花八门 ， 语音啊这种图像的模型也要跑 ， 所以它对于这个芯片的通用能力要求比较高 。 这本身做芯片都是 trade-off 嘛 ， 当你的需求的点你有一些对容量要求很高 ，有些对带宽要求很高 ， 那我就要找一个更全能的 ， 它可能会更贵的一个解决方案 。 它的最后就指向在这个点上 HBM 的确做得很好 ， 尤其 HBM 的 4， 它的带宽的确比之前也有很大的提高 。 **泓君** [1:23:03] 嗯嗯 ， 那如果是长上下文的 KV Cache，HBM 的方案会比 SRAM 有优势吗 ？ **徐子扬** [1:23:10] 这个其实涉及到还是我们要不要做易购 ， 包括我们自己想的方案和 Groq 去和 GPU 的结合的方案 ， 都其实把 Attention 这一部分的 KV Cache 放在了另外一块芯片上， 就是不是大 SRAM 的这个方案上 。 至于这个长上下文 ， 它对于这个 KV Cache 对于这个容量需求有多大 ，其实我们看到最近的几个月有非常大的变化 ， 包括 DeepSeek 的新模型出了之后， 它的第一张图就是每一个 Token 的 KV Cache， 它在每一代都往下缩 ， 这一次是缩了 1/4 到 1/8。 所以具体就是在我们之后遇到长上下文 ， 它对容量有多大的需求 ， 这个是一个正在变化的事情 。 但是因为它的需求是动态的 ，并且随着用的人数 ， 随着上下文的增长 ， 它会不断地变大 ， 所以一定程度上对于容量的性价比是有要求的 。 那这一点就落在了一个 SRAM 不太舒适的区间内 ， 所以我们自己去想这个问题的时候是 ， 啊 ， 我们不会优先地考虑用 SRAM 去存 KV Cache。 **泓君** [1:24:15] 哦 ， 了解 。 那还有一个问题是 ，因为 HBM 它每一代的带宽提升比 SRAM 它的密度提升要快嘛 ， 所以 SRAM 其实它是需要 6 个晶体管才能存 1 个比特的 。 那 SRAM 它路径的优势窗口会不会在两三年以后就关上了 ？ 因为其实芯片的周期还是很快的 ， 比如说一年半到两年， 然后 OpenAI 这个 9 个月就造出来了 。 **徐子扬** [1:24:40] 嗯 ，但是我们去看 HBM 它的带宽的增长 ， 虽然现在已经做到一个很好的一个数字了 ，但它带宽的增长其实也没有大家想的那么乐观 ， 包括这一代之后的带宽增长从哪里来 ，其实也不是很确定 。 这个其实第一性地去思考的就是你的连线还是是通过走着某一种铜线 ， 它不一定是铜线 ，但是它不是这个光刻出来的这个线去走 ，在一个带内的这个线去走线 ， 所以它的密度是有些天然的瓶颈的 。 包括我们看到 HBM 其实一定程度上走到极限 ，是会类似于现在还有一些厂家在做这种 3D DRAM 去把一个边上去走线变成一个面上去走线 。 我们看到这些都是一些去解决存储的未来很乐观的一些方向 ，但它最后会落在整个 trade-off 空间里的不同的点位上 。 我们现在看到在带宽这个点位上，HBM 也好 ，其他的 HBF 也好 ， 很难达到 SRAM 的带宽的绝对值和性价比 。 **泓君** [1:25:39] 嗯 ， 你觉得 SRAM 它现在相比于其他的方案 ， 它有哪些缺点 ？ **徐子扬** [1:25:44] 对 ， 最大的缺点其实就是容量的性价比 ，因为它要用 6 个 transistor 去锁一个 bit，而且一般来说我们为了达到这个带宽要放在同一个带上， 所以 SRAM 的堆叠其实是会降低它的出来的带宽的 。 所以在这个点上， 它的容量的性价比非常地低 。 如果我们对存储有很大的需求 ， 需要存非常多的数据 ， 那 SRAM 它可能不是一个最优的方案 。 但这个其实要分成两个问题讨论 ， 你要存的数据量可能很大 ，但它是一个固定的量的时候 ， 那比如说我们要把模型的权重全部存在 SRAM 里 ， 那我们可以用很多个芯片去组成一个集群去做 ， 这个还是在 SRAM 可以接受的空间内 。 但如果你的要存的数据它是一个变化很多 ，并且可能未来持续增长 ， 比如说我们刚刚说到这个 KV Cache， 那我们就认为它在容量上的受限这个缺点就会使得它不适合这个场景 。 **泓君** [1:26:39] 嗯 ， 了解 。 上一次其实我们在聊天的时候 ， 你有说到你觉得业界推理芯片的方案在向 SRAM 收敛 ， 那 OpenAI 这个芯片出来以后， 你还会保持这个判断吗 ？ **徐子扬** [1:26:51] 啊 ， 我觉得在一定程度上 ，在这个大的系统级易购中， 为了提高 Token 的性价比这边 ， 还会有很多公司在向 SRAM 这里收敛 。 但是的确 OpenAI 提出这个思路有非常有意思的地方 ， 它其实是把易购的这一点给做进了一个芯片 ， 就是它的芯片里有很多的这些部分 ， 它们之间是易购的 。 然后 OpenAI 提出了一个 Dark Silicon 暗硅的一个概念 ， 当然这个概念一直都存在 ， 就是 OpenAI 认为它比较容易接受这个的成本代价 ， 就是我拿这一个芯片去做不同的事 ， 做某些事的时候可以把其中一些部分关掉或者降低它的功耗 。 这种样的易购和我们想的系统级的这个易购的最大的区别其实还是它是用了更多的这个成本去买这个芯片 ，但是它可以做到电的这个效率更高 。 所以从 per dollar 的角度 ， 它这个方案其实是不会很好的 。 我觉得这个其实涉及到一个我们在不同的市场条件下， 限制条件不同 ， 它会收敛到不太一样的地方 。 然后我们看到在对带宽的要求非常高和带宽性价比非常高的地方 ， 还是会收敛到 SRAM 这个方案 。 但是比如说对电是第一限制的话 ， 那可能 OpenAI 这个方案也是一个很好的解决方案 。 **泓君** [1:28:08] 嗯 ， 你们在研究它这个方案的时候 ， 会觉得对你们现在做芯片的思路有什么样的启发吗 ？ **徐子扬** [1:28:14] 嗯 ， 我觉得其实对于 AI 的使用上， 一部分验证我们的一些想法 ， 包括软件栈能被 AI 快速地提升 ，但是它们比如说这个 AI 怎么来做这个芯片的设计和优化 ， 这个对我们其实有一定的启发 。 易购是发生在系统级用不同的芯片去组易购 ， 还是发生在这个芯片内 ，在芯片内用不同的单元去组易购 ， 我觉得这个其实就是在不同的市场下， 它的限制条件不一样 ， 会走出不一样的路径 。 这个在我们看清楚了之后， 我们觉得我们的一些想法还是成立的 。 **泓君** [1:28:48] 嗯 ， 对 ， 然后易购发生在芯片内 ， 这个现在业界是只有 OpenAI 这样做了 ， 对不对 ？ **徐子扬** [1:28:54] 哦 ， 就是易购发生在这个芯片内 ， 这个是 OpenAI 比较明确地展示出来 。 但比如说原先的英伟达的 GPU 也可以理解为易购发生在芯片内 ， 只不过它是一个通用的芯片 ， 更强调它的通用性 ， 就是它没有像 OpenAI 去说我把不同的需求放在一起 ，并且通过各种方式能关闭一些东西来提高它的电的效率 。 这个是我第一次看到这样一个解决方案 。 易购发生在系统级 ， 包括之前讨论到的 Groq、Cerebras 和现在很多的这个 AI 芯片 ，其实都是在往这个系统级的方式走 ， 一些芯片来配合做不同的事情 ， 包括 PD 分离这个大的场景下， 包括训练和推理分离 ， 这些都是易购发生在系统级 。 **泓君** [1:29:40] 嗯 ， 了解 。 您觉得现在或者说未来整个推理芯片市场还会是英伟达的天下吗 ？ 整个市场格局会变成什么样 ？ **徐子扬** [1:29:49] 啊 ， 这个问题很难回答 。 我们当然不希望它是英伟达的天下， 那这样这么多在做有意思探索的公司 ， 那这句话就意味着这些公司就不会存活嘛 ， 包括我们 。 所以我们是看到了作为以 GPU 为核心的英伟达在做一些其他的探索上， 可能会在迭代的速度上， 包括它们的方案的选择上会有一定的限制 。 所以我们也看到了就是有很多在做的新的方案其实不是从英伟达出发的 ， 包括 Groq，也看到英伟达去 acqui-hire 了 Groq。 对 ， 所以我觉得我没有办法直接回答这个问题 ，但是我们希望整个 AI 的芯片变得更多彩一些 ， 这个方案变得更多一些 ， 这个也符合我们对于整个易购的一个认知 。 **泓君** [1:30:35] 嗯 ， 感谢子阳的这个补充 ， 我觉得还是解决了很多困惑的 。 **徐子扬** [1:30:39] 嗯 ， 好的好的 。 **泓君** [1:30:43] 好了 ， 那这就是我们今天的节目 。 这期节目确实比较技术啊 ， 理解起来会有一点困难 。 如果大家不在这个行业呢 ， 听不懂也没关系 ，因为我自己也花了一些时间去消化它 。 但是呢 ，其实特别开心啊 ， 能跟这个行业里面很多有想法的年轻人去聊天 。 不仅仅是前沿技术的方向 ， 每次聊到能把一个产业带起来 ， 像 Bill Dally 的这些学术大咖们 ，也总能从他们的身上去获得很多力量 。 大家听完是什么样的感受 ， 欢迎与我们分享留言 。 大家可以通过苹果播客 、 小宇宙 、Spotify 来收听订阅我们 。 视频的听众也可以通过 B 站和 YouTube 搜索 " 硅谷 101 播客 " 找到我们 。 我是泓君 ， 感谢大家的收听 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。