开场预告0:00
嗨 , 大家好 , 欢迎收听 《 硅谷 101》, 我是泓君 。在我们节目正式开始之前 , 告诉大家一个好消息 : 过去大家在 《 硅谷 101》 节目中听到了很多跟 " 消费 " 相关的选题 , 比如像跑鞋战争 、 消失的爱马仕股份去哪了 , 还有最近我们对超级厄尔尼诺现象的解读 。
那未来呢 , 我们会把所有这些跟 " 消费 " 相关的商业现象 , 单独推出一档新的播客 , 叫做 《 消费 101, 一周一更 》。
由 《 硅谷 101》 很受大家欢迎的消费方向的主持人麻花儿来主持 , 我们会一起跟大家分享消费商业里的 10 万个 " 为什么 "。
那欢迎对生活方式还有消费感兴趣的朋友来关注我们的新节目 。
九月大事记0:49
好 , 那说回我们今天的节目啊 , 我们来聊一聊 OpenAI Astra 发布对行业的影响 。 那这集呢 , 我们是选了 Agent、 机器人 、 还有制药三个方向去聊 。
对机器人还有 AI for Science 来说 , 它可能是历次模型更新里冲击最大的一次 , 所以不少人呢把它叫做 " 机器人领域的 GPT 时刻 "。
从 Astra 发布到今天我们听到这期节目啊 , 虽然只过去了一个多月 ,但是行业的进展实在是太快了 。
有很多的热门产品啊 , 我们都在这期节目里面会提到 , 所以呢我先来讲一讲这个月几个关键的进展还有背景 。
我们先说 Agent 这边 ,在 Astra 发布 5 天以后,Meta 上线了个人的 Agent Meta Muse, 给每个用户一台云端电脑 。 它两周呢就冲到了美国 App Store 的搒首 。
那它的对手 Instinct 一个月内的估值就从 25 亿美元涨到了 100 亿美元 , 这是在 C 端 。 那在 B 端 ,xAI 它的 Grok Bot 它也开放了企业部署 。
还有在模型层 , 一个叫做 Jev 的模型它突然就火了 。 它是怎么回事呢 ? 它不写字 、 不推理 , 只给选项去打概率 。
它的母公司 TypeSafe 叫它是一个 " 系统 1" 的模型 ,是借助了快思考与慢思考里面的系统 1。 它发布 24 天就融了 8.7 亿美元 , 估值 75 亿美元 。
那这几个呢是在 Agent 这边 。 我们再来看一看 AI 制药啊 ,也有两件大事儿 : 一个是 9 月底 ,Claude 仅仅只用了 21 个小时, 自己就找到了一个叫做 ART 的新酶系统 。
它的结构非常像 CRISPR, 所以呢它被怀疑是一种新的基因编辑机制 , 导致很多基因编辑公司的股价应声下跌 。
那 10 月初在旧金山的 Tech Week, 我的朋友圈啊是被扎克伯格夫妇的 Biohub 刷屏了 ,他们打算把虚拟细胞计划扩大到 18 亿美元 。
谷歌的 DeepMind、Meta、Isomorphic Labs, 还有美国能源部 NIH 一起出钱出数据 , 目标呢就是让药还没有进实验室 , 就能在电脑里看这个细胞它是怎么反应的 。
可以说他们是在解决 AI 制药的数据问题 。 刚刚我们提到的这里面的很多产品 , 我们可能会在这期节目里面聊到啊 。
那我们这期节目最后讲到 AI 制药的部分也会非常的精彩 。 所以呢这期我们会聊一聊个人 Agent 商业化卡在哪儿 , 机器人怎么被像 Astra 这样的底层模型冲击的 , 还有 AI 制药真正的瓶颈是什么 。
我们说虽然离这个模型的更新时间有一段距离 ,但是在这么多热点之后啊 , 我在听到这期节目里面聊到的行业的底层逻辑 , 反而是最接近本质和不容易过时的那一部分 。
下面就请收听我们今天的节目 。
今天跟我在一起的嘉宾是破壳机器人的创始人 、 清华交叉信息研究院助理教授许华哲老师 。 哈喽 , 华哲你好 。
哈喽哈喽 , 泓君你好 , 大家好 。
对 , 还有一位是我们的老朋友 ,Pokee.ai 的创始人兼 CEO 朱哲清 ,Bio。 朱 , 哈喽 Bio。
泓君你好 , 大家好 。
那还有一位是华盛顿大学计算机学院助理教授 、Appendix 的 Lead Scientist, 王晟 。 哈喽 , 王教授您好 。
泓君好 , 大家好 , 非常高兴今天能参加这个活动 。
实测Astra4:18
嗯 ,Astra 发布已经三周了呀 , 你们有没有使用过这个产品 , 或者说我们来看网上的 Demo, 大家觉得最让你惊艳的一个 Demo 跟大家的使用方式是什么 ?
华哲 。
对 ,因为我是做机器人的嘛 , 所以我们肯定还是测了很多 Astra 在做机器人任务上面的一些能力 。 那我们看到的第一个点就是它的适应能力非常强 。
我比如说给它一个机器人的某一个本体 , 让它去做相应的事情 , 那它很快会发现 , 哦 , 这个机器人的运动速度比较快 , 或者这个机器人的运动空间是怎样的 。
比如它撞到桌子了 , 它会说 , 啊 , 那这个桌子还蛮高的 , 那我是不是应该把手抬得更高一点 。
那这个地方其实是一个把 CoT 把这种反思过程的能力变成一个它实际的动作的一个能力 。 这是过去的很多机器人的模型不具备的 , 大模型也不具备的 , 所以在 Astra 上面看到的 。
然后另一个就是它自我更新 、 自我升级的这样的一个能力 ,因为它有这样的反思 , 所以它可以一次一次做同样的事情 , 每一次做得更好 。
这个其实在网上大家也看到了 ,有人拿 Astra 去操作一个机器人机械臂去画金门大桥 , 那它第一次画的还是比较差的 ,但是它画完了以后, 它会再想怎么样能画得更好 。
经过几轮的迭代 , 它就可以画得非常逼真 。 所以我们也看到了 Astra 在泛化的这件事情上面是有一个非常好的能力 。
你们后来有复现过这个 Demo 吗 ?
我画画的这个 Demo 我们没有试过 ,但我们其实试了非常非常多其他的 。 比如说我们曾经做一个插花 , 就把一个花插到花瓶里 , 这也是比较经典的一个机器人任务 。
但是我们给它加了一些额外难度 , 就是那朵花是那种下边的它的茎已经被劈开两半了 , 所以它会有点分叉 。
那在分叉的时候你就不好往里去塞 , 那这个时候它会知道 , 哦 ,因为它分叉了 , 所以我要捏住这个分叉 , 把它捏窄一点 , 然后再往里塞 。
那这样的能力其实还是比较惊艳的 。
哦 , 那它这个它其实已经理解了一些物理世界 , 包括操作的规范 。
我觉得本质上还是理解 3D,因为这件事情它还是从三维尺寸层面就可以做出一些理解 。 但是确实这样的理解已经能够帮助到非常多的非动态的物理世界操作任务了 。
哦 ,OK。 我看网上还有一些很有意思的 Demo,是他们在用 Astra 做生成 3D 的视频 , 非常的快 , 然后渲染也很好 。
对 , 这个是另一个它在机器人上面很令人震惊的一个能力 , 就是给它几张图片 , 然后它可以很快把这个仿真生成出来 。
学术圈可能把它叫做 Real to Sim, 对吧 , 从真实到仿真的一个迁移 。 这件事过去是需要拍大量的视频 、 照片 ,并且需要很多人的手工标定修改 。
但现在的话 , 它基本上你给 Astra 这样的一个指令 , 它可能很快的时间就把整个实验室或者办公室的这个环境给你复现出来了 。
那你拿着这样仿真可以去训你的机器人, 那也会有一个在仿真上面的提升 。
那 Bio。
我们其实因为做模型公司 ,因为 Astra 在发布的时候其实有非常强调他们在比如说后训练啊 、 模型开发等等上面的一些迭代能力 。其实试下来以后并没有那么那么惊艳 ,但是它确实在长程任务上面和迭代上面比之前的几版模型有一个比较 consistent 的 improvement。
它相对来说比原来的模型会能够对上下文以及之前完成的任务有更稳定的认知 ,不会出现太多的幻觉的情况 。
所以从我们的目前的体验来说还是比较好的 。 但可能有几个问题吧 , 一个是它的速度相对来说会慢一些 ,也有可能跟现在用量很高有关系 。
同时的话 , 它在更加长程 , 比如说让它跑一个晚上 、24 小时的这种情况下, 幻觉这个情况还是会发生 。
所以它并没有根本上解决 ,但是从总体上来说还是提升了不少 。 我自己有朋友同时也测了一些别的前端以及设计上面的一些任务 , 从前端的审美跟认知上面 , 我觉得还是有比较大的提升的 。
这个可能是在训练的时候对于设计和审美方向有特殊的训练有关系 。
嗯 ,Bio 这轮 Astra 的发布 , 你觉得从模型对行业的影响来看 , 它跟当年 Opus 4.6、4.7 的发布 、 跟 Coding 能力的进化来比 , 它是一个大的节点吗 ?
单纯 Coding 来说可能没有那么大的一个节点 。4.5 到 4.6 当时我们的体感是一个几乎泛世事的转变 , 原来只能依赖它做短程 Coding 几个 file 的改动 , 做一些简单的小项目 , 到 4.6 那一次模型以后, 基本上你会感受到工具调用几乎不会出错了 。
它去做一些长程的 Coding 任务可以自主进行了 ,而现在只是说比原来相对比较长的任务之上可以做得更长 , 幻觉可以降得更低 , 审美变得更好 ,但它没有做到说我能够解决一个完全以前完全解决不了的问题 。
Computer Use9:11
嗯 , 王教授您认同吗 ? 就您觉得它在生物的长程任务 , 包括它降低幻觉上, 是一个大的节点 , 还是说它只是众多升级中的一个 ?
我觉得是一个大的节点 。其实我们没有说客观的有一个 benchmark 去比较 ,但是现实就是我们现在已经都从之前的模型 、Claude 等系列模型切换到 GPT-6、Astra 来做我们的 Biomedical 内部的任务了 。
我主要是做 AI for Science 里面核心的就是 AI for 一些 Biomedical 的应用 。 我们用 Astra 有两个特别好用的地方 , 一个是 Computer Use, 还有一个是一些长程的任务 。Computer Use 的话 , 我们会用 Astra 来操作一些生物医学里面那些很多年前大家发明的那些软件 。
那些软件呢 ,其实是一个现在领域内默认都要使用的软件 ,但它们其实都非常难用 ,因为编写的时候是很多年之前 , 那个界面呢设计得也不好 , 然后那些软件呢还有很多的术语 , 所以对一些跨领域的人来说是使用成本非常高的 。
但是 Astra 它的 Computer Use 功能 , 它可以直接根据一些简单的 prompt, 它就可以操作得比较好 。 还有一个过程就是我通过 Astra 怎么做 Computer Use 鼠标键盘操作 , 我还可以学习它怎么用这个软件 。
所以这个是我们领域特别重要的 ,因为在生物医学很多人对 AI 工具的接受度比较低 , 然后我想 Astra 这个能力可能是它不仅有 Computer Use 的能力 , 它还把这些软件对应的在网上的一些 Tutorial、 别人之前用过的一些 User Log、 一些反馈全部都文字的形式学进去了 , 所以它真的理解怎么用这些软件 。
另一个就是那种长程的任务 , 我们生物医学的话 , 一般一个任务都是会比较复杂 , 这些任务有时候会持续 8 小时到 24 小时, 然后 Astra 它会做得比较好 。
当然了 , 它还有个特点就是比起其他的一些模型要做得比较慢 ,但是慢的话有时候就挺让我放心的 。
我觉得做得慢 , 那它说明它可能会更深思熟虑一点 , 或者说更考虑得深入一点 。 我们现在一般都是一种切换的形式 , 白天我会用一些其他模型反馈比较快的 , 到晚上准备让模型跑一晚上的时候呢 , 我就用 Astra 来设计一个比较长程的一个 Pipeline 或者 Prompt, 让它来一整晚的执行 。
所以这也是它比较值得信赖的一点 ,在 AI for Science 这个领域里面的一些表现 。
哦 , 我没有想到 Computer Use 的这个功能居然在 AI for Science 领域能帮助到大家这么多 。Astra 它在 Computer Use 的能力相比于之前 , 它的核心的提升是什么呢 ?
这个其实我们没有做一个个人感知上的对比 ,但在公开的 benchmark 上, 它是有个分数的提升的 , 提升得比较大 。
但是我们实际我觉得 Astra 它在这次发布的时候做了两个生物医学的 Demo,其中一个就是 Computer Use 的 Demo。 这个 Demo 在我们圈子内是出圈了 , 大家发现 , 哦 , 原来可以直接用 Astra 来操作一个生物医学的 Tool。
它当时操作的一个 Tool 叫 MultiQC, 是一个挺常用的网页工具 , 这样呢让大家能够更好地开始使用这个功能 , 然后发现它其实比想象的要好用很多 。其实 Computer Use 的功能我觉得之前的模型也会具备 , 只是大家没有开始真的思考怎么把它融入我们科研中的一些 Pipeline 里面 。
嗯 , 对 ,Bio 你可不可以一句话解释一下什么是 Computer Use?
Computer Use 现在的话 , 基本上是通过模型对于视觉的理解来决定说这个 Agent 下一步要在屏幕上点击哪个部分 , 或者输入哪些文字来完成一系列的任务 。
当它可以串联这么几十个动作的时候 , 可以完成一个最终人类想要达到的一个目的 。
嗯 , 就它跟 API 的区别是你不用给接口 ,不用给密码 , 它直接像人一样去操作跟使用电脑 。
对 , 就是它看到的是人类看到的屏幕 , 看到人类看到的 UI, 看到人类看到的所有的视觉和可以交互的界面 , 通过人类可以使用的电脑的输入输出装备来完成这些任务 。
因为我觉得 Computer Use 之前好像也有 ,但是大家之前说我们去操作 Agent 的方式 , 一般就两种 , 我要么去调用 API 接口 , 要么去让 Agent 操作一个浏览器 。
我理解后者它其实就是 Computer Use。 这一次为什么 Astra 的发布 , 它又重新把这个 Computer Use 带火了 ?Bio 你怎么看 ?
我现在对于 Computer Use 这个方向 , 总体来说感觉它现在又比原来又火了一波 。 之前是觉得说大家所有的工具都会开 API, 所有的工具都会有 Agent access 的接口 , 很多的 App 也好 , 系统也好 , 都在做 Agent native 的 setup。
但是从最近的一段时间来说 ,不管是 Instinct 也好 , 还是 Muse 也好 , 背后其实都接了 Browser。 有一个比较大的问题就是有很多第三方的 App, 或者 Amazon 也好 , 比如说一些 Shopping 的 App 也好 ,Travel 的一些 App 也好 , 它们其实是不愿意开放 API 的 。
我觉得这又回到了当年 Manus 的那个情况 , 就是 Manus 最开始做了 Browser Use, 后面很多别家也跟上, 然后后面大家发现说这个不是很 efficient, 然后大家都回到 Coding 和 API 调用 。
现在好像有些东西避不开 , 然后又回到了 Browser Use。 所以我觉得最后有可能还是个 mixture 的状态 。 我自己这边有一个比较有意思的一个看法是 ,因为我们目前是 focus on 相对比较小的一些模型 , 比如说我们基本上现在 release 的 model 都是 30B 左右的模型 ,30B 左右的模型是可以在端侧和 Silver Compute 上面去进行的 。
比如说我有一台小的 AI Box, 或者说我有一个 AI PC, 它就可以跑这个模型了 。 未来如果说这个 Browser Use 本身发生在你的机器上面 ,而不是发生在云端 , 那这个就会改变 Browser Use 本身可能会给你带来的一个 bottleneck。
因为现在的远程的 Browser Use 都是通过商用机器 , 最多找一个像 BrightData 或者说 IP Proxy 去遮掉说我是个 commercial 的一个 user, 再去告诉这个商家 , 或者说 Amazon 或者说 Expedia 说 ,OK, 我有可能其实是一个假装的 consumer 用户 , 然后我去绕开这个 IP check。
这些网站一般都说如果是商用的 IP, 我不会让你进去 。
是因为他们开始屏蔽一些 AI 机器人, 商家不希望它接入 。
对 ,其实你看奢侈品网站 ,其实很早以前所有的都会屏蔽掉 。 如果用的你们家的网 , 就是你自己的 IP, 那就不会再被 block 了 。
所以这个有可能会是未来一个破局的趋势 ,而这件事情有可能会 force 很多的 App 厂商去改变他们 Browser Use 的机制 ,也就是说这个 Browser 的 sandbox 可能是在本地发生 ,而不是在云端发生 。
Meta Muse15:47
哦 , 你这个观察非常有意思 , 就是你让我想起了最近非常火的一个 2C 的消费级应用 , 就是 Meta Muse。他们的定位是做一个个人的 AI 助手 , 然后又是面向消费者的 , 再加上今天 Agent 的使用能力的成熟和 Meta 它强大的用户基数 , 包括它广告的投放 , 所以我很能理解他们为什么在这个时间点爆火 。
但他们还有一个非常特别的设计 , 就是他们其实相当于给每个人做了一台云端的虚拟机 , 就是你的数据是存在一个在云端属于你的存储的 。
根据你刚刚的这个理论 , 它这个其实还是商用的一个 IP, 它如果未来商业化的话 , 很有可能是会被商家卡住它这个 IP 的 。
Meta Muse 这个东西从背后的虚拟机设置来说 ,其实跟当时的 Manus 是很像的 , 它也主打一个 Browser Use,因为它很多的 use case 其实跟 Travel 有关 , 跟 Shopping 有关 , 跟一些客服有关 。在这些 use case 之下, 你是没有办法通过 API 的调用来完成这个任务的 , 基本上都得最后靠 Browser。
当时 Manus 其实走了一模一样的路 , 一模一样被全部 block 掉了 。 所以 Manus 到后期的时候 , 现在跟 JetSpark 很像 , 都主打 Benchmark 工作那一套 。
如果你去看 Claude Code 跟 Claude CodeWork、ChatGPT Work, 最后都往 Benchmark 工作效率这方面去偏移的核心原因 , 就是因为很多东西一开始能做 ,但后面很快就被巨头们给全部 block 掉了 。
嗯 , 比如说亚马逊现在就把 Meta Muse 给屏蔽掉了 , 如果有更多的网站去加入到他们的话 , 就是它可能能访问的网页跟能操作的东西就越少 。
对 ,但是它不可能说把你电脑上的 Browser 给屏蔽掉 , 那你自己也不要上 Amazon 了 。 所以这个可能会是一个破局的机会 ,但是我怀疑这个事情肯定是会来一个比较大的来回拉扯的过程 , 就是在 2C 端的这个 Agent 目前可能还是不是特别 ready,因为你看 Instinct 跟 Meta Muse 他们的 token 的 burn rate 其实非常非常高 ,因为他们做 Browser Use 的话 , 模型的需求其实挺高的 , 模型的要求也挺高的 , 所以它
不可能用比较便宜的模型去做这些事情 。 那每个人都 unlimited tokens,Meta 是 1 亿 token for free 嘛 , 它很难在短期内真的非常夸张的拉出一个现象级的 , 就跟过去 Google Search 或者说 Social Network 这样的一个体量 ,因为它是完全免费 。
我们可能未来需要看到一个完全完全免费 ,token 根本不是一个限制的这么一个产品才行 。
1 亿 token 是对应多少美元 ?
如果全部按照 input 来算 , 按照他们成本来算 , 应该是 100 美元左右吧 , 我估计 。
每个用户 100 美元的免费额度 ?
每个星期 。
哦 , 那挺多的 。
对 , 纯烧钱嘛 。
我还听到一种说法说 Meta Muse 它里面比较耗钱的不仅仅是这个 token 的成本 , 还有它云端虚拟机的成本 ,因为现在内存跟 CPU 都很贵 。
如果你去看我们 RL 训练的过程当中, 我们 CPU 跟 GPU 的价格 ,其实 CPU 我们一开始都用那种虚拟的那些 service 去做虚拟 sandbox, 然后发现实在是太贵了 , 然后我们最后就直接租个大的 CPU box, 然后自己去架 sandbox,因为它当中其实没有什么太大的门槛 , 只是 compute 很关键 , 资源很关键 , 所以我们最后还是决定说自己架这个 sandbox,不去别人那儿租了 。
我们有一次做大型 roll out 的时候 , 发现 CPU 的价格跟 GPU 的价格一样了 , 这就很离谱 。
嗯 , 你刚刚提到了 Meta Muse 跟 Manus 比 , 它现在走的路可能是 Manus 最开始 ,因为最开始 Manus 它也想自己去操作浏览器 , 最后回到了 Benchmark 工作 。
那你会看好像 Meta Muse 长远的一个发展吗 ? 还是觉得它的这个现象级只是在一个非常短的时间 ?
我觉得这波 consumer 最后一定会 land 到软硬件结合的状态 。 我觉得 Meta 如果能够把 wearable 做得很大 ,有可能有机会 。
就是说为什么我觉得最后要 land 到软硬件结合的原因 ,是因为云端这件事情不能代表这个用户本身 , 这也是为什么 Browser 把它们给完全 block 掉的原因 ,因为一旦换了个云端的虚拟机 , 它不能够验证说这个人本身就是用户本身 。
我觉得用户的 ID 或者使用 Agent 的那个用户的 identity 本身 , 会是这一波 2C 的一个关键 。 如果说商家能够去确认这个 Agent 就代表这一个人去做的这么一个操作 ,有可能很多商家会愿意做这件事情 。
但是现在如果用云端的虚拟机 , 云端的 Browser, 它很有可能是没有办法去验证这件事情 , 它会觉得说我的流量入口被人剥夺了 。
如果说它是一对一比例的话 , 比如说我有一个用户 ,他本来就要访问我 ,他通过 Agent 还是访问我 , 那其实对于我来说可能是 OK 的 。
但如果说原本我是一个用户对阵我 , 然后他现在搞了 20 个 Agent, 这 20 个 Agent 本身的消费能力跟原来可能一个 Agent 是一样的 , 然后这 20 个 Agent 还不停地比价 ,不停地去在我这边刷流量 , 把我这边的所有的流量全都弄乱了 , 那对我来说是得不偿失的 。
所以我觉得软硬件结合可能会是一个机会 。 如果说这个硬件本身属于这个用户 , 它就可以直接确认说这个 Agent 就是这个用户 , 是一个代表行为 , 那我就会愿意把这个 access 开给你 。
哦 , 我觉得你这个洞察真的非常厉害 。 我其实前几天跟朋友吃饭 , 我们也提到了这个观察 ,因为你云端的那个 IP 是非常容易被商家 block 住的 , 能不能个人访问的 IP 是在本地 ,在它自己的硬件里 , 比如说手机 , 比如说 Mac mini。
但是其实这个对他们来说也是一个很大的问题 , 就是你怎么样去绕过苹果 , 你如何确保他们个人的这个终端设备是安全的 ,他们怎么干 ?
对 , 我觉得现在这个生态本身是很复杂 , 比如说我们跟高通 、 英特尔 、AMD、 联想 、 惠普等等等等都有合作 。
像我们做硬件 、 软件结合加模型结合的这一套东西呢 ,其实也要去找落地方向 ,以及说哪些场景最容易落地 。
而他们做 2C 或者 2B 的场景 , 就会卡在 access 这件事情上面 ,以及卡在 identity 和硬件这个层面上面 。 所以双方可能未来从商业行为或者说从生态上面有一个合作的潜在机会在里面 。
但是我觉得最后肯定是一个模型 、 软件和硬件三方都得要合作共赢的一个状态 , 才能够打破这个局面 。
Bio,Meta Muse 它后台接的是什么模型你知道吗 ?
这个东西有 rumor, 肯定官方会说用的是 Muse Spark,但 X 上面有人扒出来说他们有些调用 OpenAI 的场景 , 我怀疑会有些 routing 存在 。
如果 Muse Spark 不够 strong, 它可能会比如说靠一些 Astra 或者靠一些 Fable 去解决问题 ,但我怀疑不太会 ,因为成本太高了 。
如果说我 10 次 iteration 里面有一次我要去靠 Astra 或者靠 Fable 才能解决问题 , 那它就不是 100 刀的成本了 , 它有可能每个用户每个月是 200 刀的成本 , 这获客成本有点离谱了 。
OK, 所以现在 Astra 跟 Fable 差不多是其他模型价格的 2 到 3 倍 ?
不止 ,不止 , 远不止 。
不止 ?
Astra 现在是 10 美金的 input 吧 , 我没记错的话 ,也就是说你是比 GPT-6 Sol 高 5 倍的价格 。
Astra 它的定价是每百万 token 10 美元 , 输出是 50 美元 。
对啊 , 差不多 4 到 5 倍的价格 , 所以就很离谱 。 如果我要用这样一个模型去解决一个难的任务 , 这一次就要调用三四十美金 。
我给你举个例子好了 , 我之前用 Claude 的 subscription, 然后我把 20X 的那个 plan 用完了 , 那次我很急 , 我必须要把那个任务解决掉 , 然后我就花了 100 美金加一些 credits, 我仅仅用了两次 ,不是三次 back and forth 的 agent flow 就全部用完了 100 美金 。
你就很难想象 , 如果我作为 Muse, 然后我去把其中 10% 的 traffic 引到 Astra 上面 , 这会是个什么样灾难性的一个 cost。
当然 Meta 可能财大气粗 , 好吧 , 没关系 ,但是它的竞争对手 Instinct 现在我估计它必须得用至少是 Sol 级别的模型 , 它估计会用很多开源模型去打个底座 , 然后中间再去做一些 routing 之类的 ,但他们每个用户的获客价格肯定是非常可观的 , 就不只是他们广告上面 、marketing 上面的获客 ,在那之后它还是会有大量的获客成本在里面 。
所以我觉得这个事烧钱会烧得很夸张 , 这是我们的愿景 。 如果说电脑上自己就可以跑所有的东西 , 那就没有必要再去跑到云端上, 至少 60% 到 70% 的 token 是本地产生的 , 或者说我自己私有 compute 上面产生的 , 那它就不需要再去花那么多的钱 , 全都 route 到 frontier model 上面去了 。
希望未来这个地方有个 convergence, 就看他们能够足以烧多久 , 比如他们足够的钱可以烧个一两年, 那我们这个行业的模型也逐渐成熟了 , 那最后可以有一个平衡的一个状态出现 。
嗯 , 大家在 2B 的工作流中会用 xAI 的 Grok Bot 吗 ?
我自己身边用 Grok Bot 的人更多是在尝鲜 ,因为它相对比较主动一点 ,但是你用 Codec 或者用 Claude Code 其实都可以解决这些问题 , 就真的把它接近工作流的可能相对少一些 。
我自己身边好多真正在 B 端 , 比如说 legal、healthcare, 真正就是在那些传统 enterprise 里面在工作的人, 现在还纠结于怎么能够脱离 Microsoft Copilot 的泥潭 , 甚至都不能 freely 使用 Codec 和 Claude Code work, 就更别说要到 Grok Bot 这个级别了 。
所以我觉得整个行业现在分差非常大 , 走在前面的人什么都可以随便用 , 走在后面的人现在还在泥潭里挣扎 。
哦 , 这个很有意思 ,因为 Astra 它里面它也可以调用很多自己的 agent。 我们之前看 OpenAI 解数学题 , 它内部调用了一个更强的模型 , 大概用了 1 万个子 agent。
我其实最近跟比较前沿的模型的研究员聊啊 , 我听到一个很有意思的观点 ,他们认为现在在 2C 跟消费级的 agent 上,token 的使用量其实是花不了多少钱的 , 一个是推理成本在下降 , 然后是其实这个 token 的成本比大家想象中要便宜 。
但是现在真正最烧钱的地方 , 包括前沿模型研究员以及 OpenAI、Claude、DeepMind 这几家公司在看跟在竞争的核心领域是 AI for Science, 就是那些未被解决 、 未被定义的科学问题 。他们要去解那些数学题 , 或者需要跑像王教授这样的一些生物实验 , 这个是非常非常烧 token,而且是内部消耗量最大的一个方向 。
那比如说我刚刚提到的 OpenAI 去解数学问题 , 纳维斯托克斯方程这一个问题啊 , 那 OpenAI 它的 agent 它就是发了大概有 270 万条信息 , 消耗了约 1,300 亿输出的 token。
那第三方按照零售价给它算了一下, 就这部分它会消耗多少钱 , 大概是在 2,200 万美元 。 因为现在整个模型的进化 , 就像 Bio 你刚刚说的 , 它的使用都分好几个梯队 ,但是对普通人来说 , 就比如说我们今天聊 Astra 的发布 , 普通人可能很难感受到 , 哎 , 我在 Astra 的使用上跟上一代的模型 , 甚至我们说跟 Claude 的其他模型有什么非常明显的区别 。
我觉得这个对普通人的感知来说已经不大了 ,但是它对前沿的科学家来说 , 它的能力的提升 , 它的感知是非常大的 。
所以前沿 lab 在看的这些方向 , 跟我们想象中的方向 , 它还是不太一样的 。 就是他们觉得做一个非常大的科学突破 , 或者说如果真的 AI 它能制药了 , 它能解决很多的疾病 , 那个利润是更可观的 。
我其实这个地方有点想问许教授跟王教授 , 我自己因为是主要只做 post-training, 然后同时做一些 model 的 architecture change,在 focus 上小模型多一些 ,因为我们想做本地私有化的模型 。
那我们能看到的就是 , 我们这个层次的模型 ,在我们优化之后和 frontier model 的差距越来越小 。 当然我们没有钱去训练一个 train-parameter model,但是我们看到这个智能差距是在变小的 , 至少在 Benchmark 工作和我们自己的工作流当中 。
那从一个 AI for Science 角度 , 或者说从 robotics 角度 ,frontier model 在每一代迭代当中, 你们觉得会有多大的提升 ? 比如说我们从 Opus 4.5 到 4.6 的区别 ,versus 从我们现在最前 , 比如说当时应该还没有 Opus 5, 应该是 4.8 到 Fable 之间的区别 , 或者说 5.6 到 Astra 之间的区别 , 这个差距能可比吗 ?
我的观点是 , 它的 AI for Science 能力确实是有一个很大的提升 ,在 biomedical domain,但是这个提升主要来自于它的 coding 啊 , 这种 general 的 coding、 查文献 , 然后做长程任务的能力 ,并不是它对这种 biomedical knowledge 能力的提升 。
它有一些 benchmark 是专门测 biomedical knowledge 的 ,Astra 上并没有提升 , 就这种知识层面的 。 我们现在实际用的时候 ,其实很难去使用 Astra 或者去使用 Opus 或 Fable,因为它对生物医学的任务都会防范得越来越严吧 , 它都会 refuse to answer, 这个是非常严重的问题 。
所以我们其实内部用的时候都是用 Kimi K3 或者 Muse Spark 1.3。 当如果要用 Astra 的时候 , 都要用一些比较特殊的方式来跟 Astra 说 , 我这不是在做一个危险的任务 , 我这是在设计一个 benchmark 等等。
所以实际这种大模型的使用体验 , 随着能力的增强吧 ,其实是越来越差的 。 还有一个点就是刚才 Bio 说的很有道理 ,其实我也认可 , 就在各种已经定义的很明确的 AI for Science benchmark 上, 小模型确实是可以和大模型的差距越来越小 ,但是我个人觉得这些 benchmark 本身就不是定义得那么好 , 所以大家追赶的方向 , 包括大模型进步的方向 , 都可能不是完全正确的
。 这些 benchmark 定义的时候呢 , 大家都会定义一个更好让 AI 模型去做的 , 比如说有一个明确的生物数据集 , 要预测一个明确的问题 , 这和我们真的做的制药发现其实是 gap 非常大的 。
本质上这些现在的生物医学 benchmark 就是一个 Kaggle 这种 data science 的比赛 , 所以呢 , 它就退化成一个 MLE bench 这种 machine learning 的问题 。
那这种 Astra 在 coding 能力上提升 , 就会有很大的进步 。
机器人分层架构30:19
我觉得从 robotics 角度 ,Astra 是一个飞跃式的 。在过去刚提到的几个 , 无论是 Opus 4.5、4.6, 然后还是到 Fable 的变化 , 都没有 Astra 这次给 robotics 带来的变化大 。
因为过去的所有升级 ,在 robotics 的这个测试上面 , 几乎都没有什么太好的表现 。 原来不能做 , 现在仍然是不能做 , 相当于定性上面没有变化 ,但 Astra 现在带来的变化是它整个定性是有变化的 。
很多的 robotics 的 benchmark 失效了 , 像 RoboDojo 啊 , 几个吧 , 大家相对认可的 robotics, 尤其是仿真的 benchmark,Astra 都成了第一名。 无论是它用了哪种数据 ,但是它带来的这个能力 , 都是彻底的把原来的这个模型进行一个飞跃式升级 。
但是关于刚刚说小模型和大模型这个问题 , 我倒是觉得长期来说 , 我们一定是需要一个小的 、 跟 Astra 能力相当的模型 。
原因是机器人的任务它有时间要求 , 它是需要及时响应 , 需要有高动态任务 , 比如说我要抖一个毛巾 , 这样的能力 Astra 是做不了的 ,因为它太慢了 , 对吧 ?
它知道我要快动一下 ,但是它只能写 code 来做 。 如果让它直出动作 ,是没有办法去做的 。在这种情况下, 我们一定需要一个快决策的模型 , 只不过我们需要把现有的 Astra 的 COT, 或者是它的 reasoning 的能力 ,以及 3D 理解要把它加进去 。
嗯 , 所以你觉得未来机器人它的方向会变成 , 比如说大模型去做规划 , 然后小模型它负责实时控制 , 这样的分层架构吗 ?
这个分层架构大家其实一直都还是比较认同的 , 只不过这个层的这一刀到底切在哪 , 怎么样的分层方式是大家一直有辩论的 。
就比如说原来大家普遍认为 VRM 是做任务规划层 , 那这个任务规划层大概就是到我跟你说我要吃西红柿炒蛋 , 那 VRM 规划的可能就是打开冰箱门 , 拿出什么西红柿 , 拿出鸡蛋等等 , 然后底下的小模型或者说具深的模型 , 它会去执行打开冰箱门究竟怎么办 , 打鸡蛋怎么做 。
但是 Astra 这次它最大的一个变化是 , 它现在能做低层次的动作控制 , 就相当于它可以给你的指令变成了把手往右伸 2 厘米 , 或者把手放在冰箱门的把手上 。
如果没有抓住的话 , 它说那你再往前靠一靠 。 所以它相当于把这个层往下压了 , 原来是大家边界很清晰的 , 你负责那块 , 我负责底下 ,但是它现在说我现在能力非常强 , 除了慢以外呢 , 我可以往下压一点点 。
那底下的这个就更像是一个反射式的 , 对吧 ? 我能听懂说往左往右 ,有点像是一个提线木偶的感觉 , 肯定就是有一些声音 , 就是说那是不是未来上层的这个模型可以无限往下压 , 那压到最后是不是就变成一个完全端到端的 VRM, 就像 Astra 直接控制所有事情 。
我个人的观点是 , 我觉得这个还是不是很合理 。 现在看起来第一很明显是速度吧 , 就基本上你在网上看到的 Astra 做控制的 , 都是要 16 倍速或 24 倍速才能看 , 否则的话就基本上就是在那纯等待 。
第二个呢 , 就是我觉得现在的 Astra 还是对物理是非常缺乏理解的 , 尤其是对于人类来说叫直觉 , 或者叫直觉物理学 。
我随手可能碰一个物体 , 它如果有水可能会洒 , 对吧 ? 如果是玻璃可能会碎 , 这些事情可能 Astra 如果经过很多语言推理是可以理解 ,但是如果我们希望它去做一个任务当中, 立刻有这方面理解 , 它可能效果还不够好 。
这个地方可能还是需要像世界模型 , 或者像快速的这个模型 , 要去做一些直觉式的反应 。
嗯 , 你刚刚提到了它速度慢 , 它速度慢是因为什么 ? 是因为它的模型太大了吗 ? 它的推理时间太长了 ?
模型大肯定是有这样的一个原因 , 然后另一个就是它 COT 很长 , 虽然它是加密的 COT, 给出来的那个 COT 应该是假的 , 我理解 ,但是它的内部的 COT 是非常长的 , 所以它做每一步的决策 , 做的思考是非常冗余的 , 尤其是面对简单任务的时候 。
就我们观察到面对复杂任务和简单任务 , 它的思考时长基本上是相似的 , 这也意味着复杂任务它很聪明 , 对吧 ?
但是到了简单任务上, 它就变成了一个额外开销 , 使得它看起来非常笨 。
嗯 , 内耗型人格 。
是的是的 。
许教授 , 我想这边也有个问题想问 , 就是机器人这个模型的大小 , 现在基于目前可以在机器人上面搭载的芯片 , 它应该能够做到什么样的模型大小 , 是一个比较 ideal 的一个状态 ?
以及说如果说这个模型后在云端 , 它像一个 Jev 一样 , 立刻给你输出所有的 configuration, 那在这种情况下, 什么样的网络延迟是可以被接受的 ?
嗯 , 如果是搭载在本地 , 这个模型可能最好是在一个小于 10B 这样的一个尺寸 ,是比较舒适的 。 当然十几 B 或者是小几十 B 其实也是能做的 ,但是这个硬件成本可能会要上去 , 用的这个芯片可能要升级 。
如果搭载在云端的话 , 我们自己在破壳机器人也是两条路都在走啊 , 我们自己也会有模型搭载在云端 ,以 API 的形式供大家去用 。
这样的一个方式的话呢 , 我觉得这个模型尺寸其实就没有什么太多的限制了 , 更多的是网络延迟和你的这个卡到底是哪一代的卡 。
网络延迟的话 ,因为要看任务 , 就你以 API 的形式一定不能做高动态和时间敏感的任务 , 比如倒水这种就不适合做 。
如果你卡了一下, 水可能就冒出来了 。 所以我们先假设都做的是准静态的任务 , 那在这种情况下, 我觉得 200 毫秒甚至更长一点 , 几百毫秒我觉得都是可以接受的 。
但是如果你说做高动态任务的话 , 我觉得一定是要在本地 , 没有办法在云端 ,因为卡一下就完全坏掉了 。
对 ,有道理 。
嗯 , 对 , 许教授 ,因为我知道之前你们公司的有一个 demo 的场景 , 就是用筷子夹小球 , 现在比如说你们用自己的模型做跟用 Astra 做 , 它的区别是什么 ?
用我们自己的模型去做的话 , 首先时间上做得快很多 ,其次呢 , 它在抓的时候呢 ,是连续不断地去做尝试的 , 这个过程中没有太多的逻辑上的思考 。
我抓了一次失败了 , 可能我稍微碰到一点它 , 那我的状态发生了一些变化 , 那我可以换一个角度去做尝试 。
但是如果是 Astra 的话 , 它每做一步以后, 它都要分析发生了这个的原因是什么 , 然后根据这个原因 , 它要去给自己指令 , 相应的我要做什么样的调整 。
这个过程看起来更像是这个人类的思考过程 ,但是这个地方也会一个是带来它很缓慢 , 然后第二个呢 , 会发现它有时候会陷入到一些僵局里面 , 它有时候无法理解为什么会发生这样的事情 , 或者是它一旦分析出错了 , 那它就没有办法再进一步去推进了 。
然后还有一个我们看到的点 , 就是如果我们去抓一个桌面上的物体旋转这件事情 ,Astra 其实做的相对来说还是弱一些 ,但是它能做 。在旋转的这件事情上面 , 我们看到的是它要反复地尝试怎么样去转才能去把它 , 比如抓起东西以后, 我再塞到一个墙上的小孔里 , 这样的能力我觉得目前还是有一定的短板的 。
嗯 , 那你觉得像 Astra 它出来以后 ,因为我知道现在机器人公司分很多种 , 就比如说做大脑的 , 包括这个大脑怎么做 , 它是 Sim-to-Real 的路径 , 还是说它用整个物理世界的数据 , 就它都有分很多的流派 , 然后还有做本体的 , 还有做数据的 , 你觉得它对哪一类的公司的冲击影响会比较大 ?
Astra的冲击37:25
Sim-to-Real 的路线 , 我一直是认为仿真是没有办法训出最好的机器人的模型和策略的 。 就很多人说 Astra 让仿真重新复活了 ,因为它做 Real-to-Sim 嘛 , 就是说把真实世界迁移到仿真里面这件事变得非常容易 ,但是它其实只是把它这个 3D 的外观做得非常好 ,但是它并没有因为 Astra 出现 , 然后物理引擎变得更准确了 。
因此我觉得它在这个地方 , 我觉得是一个 Hype, 或者是一个虽然它带来了很多变化 ,但这个变化并不直接导致机器人会变得更好用 。
第二个呢 , 就是我觉得 Astra 肯定是利好本体的 , 利好硬件的 。 就 Astra 出来这两三周吧 , 斯坦福已经有一个课题组去把 Astra 接入一个宇数机器人里面 , 让它在家里面去做一些家庭任务了 , 这件事情还是非常非常快的 , 相当于它做了一个论文 , 可能大概就两周时间就做出来了 。
可以看到在 Astra 有了很强的跨本体泛化能力以后, 你的本体如果质量足够好 , 那可能连接 Astra 直接可以做一部分事情了 , 尽管它还只能是 demo 级 。
对于做大脑的公司 , 我觉得是有两派 , 一派是相信会有一个更快的 、 更好的具身自己的模型 , 当然可能可以从 Astra 身上去学到一些 , 比如数据标注的方式啊 ,COT 的方式啊等等 , 我觉得是会带来一些整个行业的增长的 , 我觉得是一个好事 。
当然还有一派呢 , 就是说它的去模型能力可能不够强 , 那可能直接放弃掉这件事了 , 就是说既然 Astra 好 , 那我就专注在怎么用它 , 或者是怎么样把我的东西当做它的一个工具嘛 , 然后让 Astra 来调用我的这些小的东西来完成任务的闭环 , 那可能更像是一个机器人部署的公司了 。
所以我觉得会有一部分公司逐渐走向更偏部署的机器人, 有一部分公司会做更小的 Astra 这样的能力 , 或者超过 Astra 能力的模型训练 。
嗯 , 你觉得它对整个机器人未来它如何去做研究 , 包括刚刚您提到的分层分到哪个位置 , 它会有一些新的启发 , 或者带来比较大的变化吗 ?
嗯 , 我觉得会带来非常大的变化 。 第一个是整个模型训练的范式 , 我觉得大家未来都不会忽略 Astra 这样的一个范式 , 所以去模型的人肯定会产生一些新的想法 。
另一个就是以前做传统机器人规划的人, 那他们现在可能会往 Agentic、 更偏 Harness 这样的方向去做机器人的研究 , 如何把各种各样的能力组合起来 。
机器人领域有一个领域叫 TAMP, 它会把规划和控制放在一起 , 然后去做长程任务 。 那过去这个领域我觉得是比较古板的 , 或者说比较这个上一个代际的这样的一个能力 ,因为它很多时候都用传统的规划手段 , 然后去做一步一步的 。
如果我的下一个任务是拧开瓶盖 , 那我的上一步要确认这个瓶盖首先是关着的 , 否则的话我不能到下一步 。
这些事情其实在过去我觉得是相对有一点过时的 ,但是到了 Agentic 部分 , 它好像又重新焕发生机了 , 可能是规划去模型 , 然后现在有了好的模型以后, 那又回到规划可能是变得很重要了 。
所以我觉得对整个研究肯定也会带来一些变化的 。
嗯 , 您刚刚提到的 , 就比如说一些特别好的机器人大脑的公司 ,他们可以向 Astra 学习数据标注的方式 , 您觉得您从中间获得的启发是什么 ?
我觉得就是要把里面的因果和直觉物理标注清楚 。 我做这件事情成功是为什么 , 失败是为什么 , 我做了这件事情发生了这个结果 , 这里面的交互过程需要详细地标注出来 。
我觉得这个部分是很重要的 。 过去的机器人很多标注的时候 ,是只标注一句话描述你做了什么 , 就相当于只做正向标注 , 没有把背后的我没抓住它原因是我到底是抓的位置偏上了 , 还是说这个东西站了水太滑了等等 , 这些东西要去标注出来 。
有了这些东西 , 我们才能真正做一个通用的机器人大脑 。
嗯嗯 , 那这是不是说它对整个数据标注公司也会有影响 ? 因为我知道现在还蛮多人做机器人数据标注的 。
我听说的 rumor 是 OpenAI 现在只买不标注的数据 , 就它觉得外面的标注都是错的 ,他们都是自己内部重新再标注 。
另一方面 ,他们可能也是为了保密 , 就是说我不想把我标注方式透露出去 。 所以一定程度上对数据公司来说会有两种 , 一种是我卖生数据 、 生肉这种感觉 , 相当于在卖石油 ,是原材料 , 主要还是要靠起量来做 。
我需要的是管理 1000 个人或者 1 万个人在那采数据 , 或者把所有的家都 map 一遍 。 还有一部分就是做熟肉 、 熟数据 , 那它就需要去了解到最前沿的模型是如何去训练的 。
如果它有一些这方面的知识 , 它就可以很自信地说 :"OK, 这个是 OpenAI 的标注方式 , 这个是 PAI 的标注方式 , 你喜欢哪个 , 然后我去卖给你 。"
那它这个单价可以翻 10 倍 , 甚至更高的价格 。
哦 , 这个水还挺深的 。
是的是的 。
而且要知道这些模型公司研究品味本来就不容易 。
对 , 就他们需要在交易的过程中获得局部观察来推理对方 ,也是一个 COT, 对 , 推理对方到底在怎么样使用这个数据 。
对 , 那您觉得它对整个未来机器人研究方式会带来变化吗 ? 因为大家之前是在研究机器人方向的垂直模型嘛 , 那现在说大模型的能力足够好了 , 它也可以驱动机器人, 虽然它有 ABC 的问题 , 那会不会以后说机器人的训练可能它的底层就还是一个基模 , 它只用做后训练就可以了 ?
如果我们想要真正意义上部署的话 , 一个几 T 的模型肯定是很难去做部署的 。 如果是远程的话 , 我觉得是可以解决一部分任务的 ,但是不能解决所有任务 。
如果我们都是 Astra 这种基础模型 , 我觉得是不太能成为未来所有机器人去使用的模型 , 一定是会有一个相比于 Astra 要小得多的这样的一个模型 ,有相似的能力这样的一个范式 。
即使它在云端去做服务 , 去做 host, 我觉得也仍然是一个机器人专用的模型 。
嗯 , 您觉得从 Astra 发布啊 , 到今天已经大概有三四周的时间 , 您对它的理解 , 包括最开始我知道它有机器人化基门大桥的那个 demo 的时候 , 很多机器人的创始人是很慌的 , 包括后来大家也会自己去试嘛 , 整个过程您心理上会有一些变化吗 ?
嗯 , 会的会的 。 首先它出来的时候 , 大家刚开始尝试 , 基本上都是觉得非常的惊艳 。 最开始尝试当然是让它抓一个东西 , 然后它很快完成了 。
后面就是会尝试更复杂的 , 比如说刚刚提到的有一些空间上面的要求 , 比如要旋转啊 , 再后面有一些更复杂的语义 , 甚至到一些物理上面的东西 。
去逐步尝试它的时候 , 我们会觉得机器人的 GPT 时刻还是 GPT,但是再往深入去看的话呢 , 还是看到很多问题 。
比如说它现在仍然像双臂的任务是几乎没有办法去做的 , 比如说在叠衣服这件事情上,Astra 是完全叠不了的 。
所以我们有一个感受就是在一个语言不太好描述的任务上面 ,Astra 的能力其实并没有很强 , 所以我们还是看到它在足够灵巧的地方仍然有空间 。
第二个呢 , 就是我们发现它的总结能力还不是很好 , 比如说第一次做一件事会花一个 , 比如说一个小时, 第二次做这件事可能花 45 分钟 , 然后我们让它持续不断地去做 , 就它永远都是 45 分钟 。
它基本上到第三次开始就是变成一个常数 ,不会说像人或者是一些更小的模型 , 它在充分的训练以后, 它的时间会越来越短 , 就最后我们可能随手干一件事 , 就是几秒钟就做完了 。
所以在这个地方还是可以看到机器人本身的原生模型还是有很多空间的 。 再到现在我觉得更多的是我们要想到底我们叫系统 1、 系统 2 嘛 , 就是快慢系统 , 它们之间到底应该是怎么样结合 , 上面的 Astra 到底是调用 , 还是说给出一些指令 , 还是给出什么样的指令作为界面 。
因为它已经出现了 , 你不能回避它 ,但是它自己又有很多问题 , 你又没有办法直接用它 。 所以下一个问题是怎么样把机器人公司擅长的东西和 Astra 这样的模型充分地结合起来 , 然后能做出真正通用的机器人。
我觉得到现在还是更多从技术角度去想未来怎么做 。
对 , 最近还有一个项目也很火 , 叫 Jev, 它可能就是很多的是用系统 1、 系统 2 快思考 、 慢思考的一套理论去做的 。
你觉得这个对机器人领域的影响大吗 ?
我觉得 Jev 它自己叫做自己系统 1 嘛 , 我觉得跟机器人本身的原生模型是很像的 。 机器人大家一般来说会认为它是一个主要是系统 1,有一小部分系统 2 的能力在里面 , 所以我觉得机器人就应该是一个相对来说的快系统 。
但是 Jev 其实我们也做了尝试 , 就首先 Jev 在机器人上表现是很差的 。
为什么 ?
多方面原因 , 首先当然 OpenAI 好像最近也要发新的东西了 ,但是 Jev 本身没有办法输入图像 , 所以你的图像需要以状态形式给到它 , 你必须要跑一个视觉的 VRM 也好 , 或者是跑一个其他的视觉模型 , 然后把这些状态给到它 , 然后再让它去做快速决策 。
我们测试下来 , 它比如说挪方块这种任务 , 它经常会就挪不起来 , 或者是就挪了以后就倒了 。
比如说 Astra 它可以看到说第一个块挪得有点歪 , 第二块就要反过来一点 , 往另一边靠一靠 , 这样子才能平衡 ,但 Jev 就没有这样的一个能力 。
但它可能现在我看到很多人就说 Jev 可能可以用来标数据 ,因为它很快嘛 。 但是我刚刚好像看到 OpenAI 要出一个快的 , 就类似于 Jev 的东西 ,而且是有图像多模态输入的一个快系统 ,但是好像还没有尝试 , 应该是快要发布了 。
嗯嗯 , 对 , 我们可以期待一下 。 那你整体觉得 Astra 的发布对机器人行业 , 你觉得它是一个正向的影响 , 还是一个冲击到大家的影响 ?
它对整个机器人领域的影响肯定是正向的 , 看到新的能力嘛 ,但是肯定也有一些冲击 。 从每个个体来说 , 尤其是比如说现在的模型能力远远低于 Astra 的这些公司 , 可能会有一些担心 , 我永远都追不上它这个能力嘛 。
我整体还是偏乐观的 , 它相当于是一个新的思路 ,其实照亮了很多我们之前没有看到的地方 , 所以我个人是觉得它是偏正向的 。
实验设计短板47:10
嗯 , 了解 。 那接下来来聊一聊我自己非常感兴趣的 , 就是 AI for Science 的环节 。 那现在你觉得 Astra 还有 Fable 5 这几个模型在 AI for Science 上的能力谁更强呢 ?
我觉得 Astra 的能力会更强 ,因为它做那种长程任务的能力呢 , 要稍微强一点 。 对我们的应用来说啊 , 首先我们没有一个明确的 benchmark, 很难用现有的这些生物医学的 benchmark 来衡量一个模型它做生物医学任务的好坏 。
现在模型很缺乏做的一个事情呢 , 就是它可能做编程啊 , 或者做一些任务都做挺好 ,但是我们想要模型是能够指导我们去真实世界中做生物医学实验 。
就如果我有个 benchmark 叫它预测一个东西 , 它可以做得很好 , 预测一个蛋白质的活性 ,但是我们现在最重要的一个场景是 AI 模型能不能出一个实验方案 , 具体的我要怎么样做实验 ,在什么温度下, 用什么分子 , 然后在怎么一个湿度 、 怎么一个情况下做这个实验 。
这是一个现在的模型都做不好 ,但是非常重要的点 。 我之前说叫 Computer Use, 就是 AI 怎么控制 Computer, 对吧 ? 我们现在这方向我们都叫它叫 Human Use,AI 怎么样控制真实实验中的一些实验员 , 一些 technician 去做实验 。
这是我们在对比了 Astra 和之前的一些模型中发现 Astra 还是可以做得比较好的 。 这些任务的语料其实非常少 ,但是我觉得 Astra 它的更强的能力可能可以在这方面有一个提升 。
嗯 , 我理解它分成两类嘛 , 一类是 AI 给方案 , 它去预测你的新药可能是一个什么样的结构跟分子组成 。
第二种就是说这个方案做出来了 , 我们一定要在真实跟实验 , 甚至是干湿实验的环节去验证这个方案可不可行 。
就是现在它第一个部分做得还可以 ,在第二个部分的时候 , 它现在给的方案还不够好 。
对 , 我觉得对第一个部分来说呢 ,其实是我们不知道 AI 做得好坏 。 这里面有一个悖论 , 如果一个问题啊 , 比如说我说开发一个治疗癌症的药物 , 我如果知道答案 , 那这个问题其实我没有必要去研究了 ,因为我已经知道这个药物具体是什么了 。
所以我们真正在意的问题都是不能被 benchmark 衡量的 , 都是没有答案的 。 所以我们在意的每一个问题 , 生物医学 AI for Science 的问题 , 最后都需要去实时延去验证 。
干实验就是所有的预测 , 所有的分析都在计算机中模拟 , 无论是 CPU、GPU 都是在计算机中完成 。 湿实验呢 , 就是我们需要在真实的一个实验室一个房间里 , 通过试管 、 通过培养皿对老鼠细胞等进行一些操作 。
所以这就是计算机之内和计算机之外能达成的区别 。 我给 AI 出一道题 , 我是不可能知道答案的 。GPT 给我一个药物的分子式 , 说这个能治疗癌症 ;Claude 给我另一个分子式 , 我都得去湿实验去做这个实验 。
所以在做这个实验之前 , 它不仅是说给我个分子式 , 它还有具体的一个实验的计划 , 怎么样能够合成这个分子式 , 这个小分子应该怎么储存 , 然后呢 , 我应该以怎么一个周期给老鼠使用 。
这些特别细节的东西是现在 AI 模型都做得非常差的 。 它能够生成一个分子式 ,因为世界上有很多这样的数据 ,但这个分子式怎么合成 , 怎么给老鼠用这个药等等 , 这些它们都做得不好 , 然后这些其实是更重要的 。
嗯 , 后者现在你觉得整个我们放眼下的大模型 , 它在设计一个实验上大概解决了设计实验的多少的比例 ?
就完成度怎么样 ?
我觉得完成度是可能只有 30% 吧 。 很多时候是需要人类的专家去来给它修改 。在设计实验这个领域呢 ,是 Domain Expertise 需要的特别特别深入的 。
这个领域的一个教授可能也不知道 , 需要专门针对这个方向做过很多实验的 technician, 才能够设计一个高效的 ,而且成功率很高又特别可行的实验 。
还有一个呢 , 就是每一个实验室啊 , 它的器材或者它有的设备都是不一样的 。Astra 这种 AI 模型 , 它没法根据这些设备器材来针对性的设计实验 。
比如说我这个饭店里有一些原材料 ,有番茄 、 有鸡蛋 、 有土豆 , 我让 Astra 来做一道菜 , 它并不能够理解这个饭店有哪些原材料 , 它不会针对原材料来设计一道菜 。
它可能说给我做一道海鲜大餐什么什么的 , 这些就在现实世界中非常难以执行 。 所以我觉得它缺乏的是对现实世界中资源的利用 、 协调和使用的能力 , 这也是我们现在想要对模型进行改进的 。
嗯嗯 , 所以我理解现在如果说我们真的要让这些大的模型在 AI 制药上有所帮助的话 , 我理解一个严肃的真的想用 AI 去生成药物的这样的一个公司 , 它还是要配备自己的实验室的 。
对 , 我觉得是一定要配备实验室的 ,因为现在的通用模型已经很厉害了 , 配备实验室它可以有自己的验证 , 可以有自己的数据积累 。
现在 AI 在做这种药物发现还有一个瓶颈呢 , 就是它验证的周期很久 。 我设计了一个分子 , 然后这个分子我拿去老鼠上做个实验 ,不可避免就要花几周 ,因为老鼠有新陈代谢对这个药物进行一些反应 。
这个几周的时间 , 可能这个模型已经进化到下一代了 , 已经有 GPT-6.1、6.2 的出现了 , 到时候 AI 模型都进化得比我这些真实实验要更快 。
所以我觉得这种前沿要做 AI for Science 的研究室呢 , 它需要有一个湿实验 ,而且呢 , 它要对这些实验室进行改造 redesign, 让这些湿实验能够更好地配合 AI。
比如说我一上来就把所有的细胞啊什么都准备好了 , 然后只有在 AI 会要预测的那几步 , 我就可以有了 AI 预测之后立即把那些小分子放进去 , 把这些前置条件都做好 , 把湿实验和 AI 模型一起来设计 , 能够把这个闭环走得更快 ,而不是说分开 。
像我们现在 AI 模型设计一个东西 , 然后我移交给我的合作者 , 那合作者呢 ,他也不知道 AI 模型是怎么设计 ,也不知道 AI 模型会大概给一些什么样的结果 ,他就把它重新来针对它设计一套湿实验 。
这样分割开的话可能就会比较低效 。 所以我觉得未来的话 , 前沿实验室需要有湿实验的一个条件 。
湿实验验证53:15
嗯 ,AI 从设计一个分子结构 , 到最后你的整个的干湿实验做完 , 达到临床一期的时间周期 , 它大概是有多长 ?
一般我们先做细胞和老鼠上的实验 , 这个几周就可以做完 。 做完之后呢 , 一般会做一批 , 比如说在猴子这种灵长类动物的实验 , 这个怎么样都要一个四个月的周期 。
有时候我们会做两次 , 那就是四个月再加四个月 , 八个月 。 作为一个 AI 制药的公司吧 , 一般我们做完猴子的实验呢 , 就不一定会推进到人的实验 , 会把它直接 license 授权给大的药厂 , 让他们去做人的实验 。
这时候这笔授权费也是非常可观的 , 一般都是 1,000 万美金以上 , 甚至可以更高 。 大的药厂它有一个病人的这种网络 , 所以它可以更好地收集病人, 做针对性的人体实验 。
所以我们一般都是走到猴子实验结束 , 那周期可能在六个月到十二个月的时间线上 。
嗯 , 对 , 所以就是要验证一个药物 , 它花的时间是远比 AI 设计一个药物更久的 。 但在 AI 给想法的这个问题上啊 , 现在我们说整个 AI 它已经很聪明了 , 它数学领域发展得很快 ,是因为数学它在很多的环节上它是可以被验证的 ,而且它不需要做实验 , 所以它发展得很快 。
那在生物学上, 就比如说 AI 给你真的设计了一个新的分子 、 新的药物 , 你怎么去确定它的设计是对的呢 ?
对 , 我觉得这个就是最大的难点 。 这也是 AI 能够在数学上做出很大的成就 , 攻克千禧年猜想 。
但在生物医学上呢 ,其实到现在也没有一个说是 AI 完全开发的药物的一个根本原因 , 就是现实世界的反馈太慢了 ,而且这是受限于自然规律 , 一个老鼠一个猴子就需要那么久的时间 。在上一波 AlphaFold 的时期 ,有很多 AI drug discovery 公司 , 当时也是雨后春笋一样冒出来了 。
那时候还是大模型前 AlphaFold 的时期 ,但是那些公司大部分后面都没有成功 , 就是因为他们还是以 AI 设计和发现药物为主 。
但是这样即使能够把这个 AI 设计一个分子式的周期从半年提升到几天或者是几小时 ,但之后还是会被后期的真实的老鼠人体实验给限制 。
所以我觉得这是一个核心的问题 。 如果能够把这个问题解决 ,AI 在生物医学制药上的爆发 , 就会和 AI 解决千禧年数学问题这样 , 会有一样的非常大的一个爆发 。
我觉得这问题是不可能从根本上解决的 ,但是我们可以加速现实中的反馈 , 这样来间接地帮助我们解决和提升 AI 在上面应用的效果 。
你指的 AlphaFold 的时期是哪个时期 ?
就是 AlphaFold 刚出来 , 当时蛋白质结构预测有一个很大的台阶 。
哦 ,AlphaFold 1 跟 2 的时候 。
对对 , 就刚出来的时候 。 当时有很多 AI 创业公司觉得用 AI 可以预测蛋白质结构 , 那么有了更好蛋白质结构 , 我们就可以快速地开发药物 。
当时也可以预测生成很多好的药物结构 ,但是验证还是最大的瓶颈 。 现在其实还是同样的问题 。
我听说 AlphaFold 3 它是把它的所有的研究 , 包括它的数据都开源了 。 它的开源也带来了一波生物制药公司 , 包括做这种垂直模型的公司 、 做公制的公司崛起 。
因为它开源了以后, 就相当于你这个行业 , 它就类似于机器人行业派开源一样 , 它有很多的底层的基础设施 , 它已经 ready 了 。
对 , 我觉得它的开源是非常重要的 。 然后在当时那个时间线 , 社区里有很多的机构都在尝试造 AlphaFold 的开源版本 ,有个叫 OpenFold 的工作 。
所以呢 , 如果它不开源 , 大家也会很快追上, 就有一些开源的版本来模仿它 。在它这些工具开源之后呢 , 对社区最好的帮助就是大家更重视数据的积累了 。
它虽然开源了 ,但是一些垂直科学 AI 公司 , 它可以利用自己积累的数据来维护自己的护城河 。其实这些数据都是非常非常珍贵的 , 一条数据都是非常高价值 , 几万或者几十万美金 ,因为它都是会在真实的老鼠啊 、 人类上做实验的 。
不仅是这些实验成本高 ,而且实验的周期也很久 。 所以反而是开源之后, 这些垂直的科学公司它会更具备优势了 。
所以这是它对 community 的一个贡献吧 。
哦 , 你指的一条数据是什么 ? 就是一个实验在一个完整的动物身上跑通的 , 这个算一条数据 。
比如说一个分子在老鼠上到底能不能杀掉癌细胞 , 这么就是一条数据 。
哦 , 那这个数据还是太便宜了 ,因为感觉这个大家要工作好久 , 工作量也挺大的 。
是的 , 这是一个非常高价值的数据 ,也是在 internet 网上大模型预训练语料库中根本看不到的 。
那这样来看 ,是不是生物医药界可能也会未来会兴起很多的数据公司 ? 反正你模型负责给想法 , 我就成立一个实验室就专门负责验证 , 它可能也是一个很好的商业模式 。
对的 , 我觉得这是一个非常好的商业模式 。 因为现在那些 AI 数据的价格 , 比如说买一道奥数题都要几千美金 ,Terminal Bench 一道题会要几千美金 。
现在新出的 Terminal Bench Science, 那上面的题也会是一个高价值的题 。 我觉得这些题还仅限于计算机里面的操作 。
那未来如果是有真的生物真实世界数据 , 那个价值会非常高 。 还有一个很高价值的地方 , 就是搭建一个能够帮助 AI 很方便地去做真实生物实验的接口 , 仅仅是这一个也会很高 。
现在有个公司叫 Adaptive Bio, 它是专门给 Anthropic 合作的 。Anthropic 生成一个 AI 的预测 , 它以 MCP 的形式就立即开始做实验 , 它刚刚融资了 40 million。
我觉得这样的公司会越来越多 ,以后每一个湿实验的公司都会有这种 MCP API 的形式 , 直接接到 AI 大模型里面 , 这样来给 AI 大模型直接进行服务 。
这样当中很多人的沟通成本都会减掉 。 所以这当中就又回到我刚才说的问题 , 最重要的就是 AI 自己知道要做什么实验 , 怎么设计这个实验 , 然后湿实验的公司能够和它进行配合 。
现在像 OpenAI 还有 Anthropic, 哪些我们看到的前沿模型研究室配备了自己的湿实验室 ?
Anthropic 是明确配备了 , 它和 Adaptive Bio 是明确合作的 。 它最近出了一个比赛 , 邀请大家来做一个 Anthropic 定义的蛋白质设计问题 。
它会赞助 Adaptive Bio 这家公司来为大家做湿实验的验证 。 所以 Anthropic 最近定义的比赛 ,也是说最后以湿实验的验证为最后的标准 。
我也听到很多消息 ,Anthropic 自己在构建湿实验的团队 , 包括它招的一些人也都是有湿实验背景的 。 我想 OpenAI 应该也会有类似的情况吧 ,也会开始慢慢布局这种湿实验的公司 。
所以我觉得这是未来一个趋势 。 各个这种 AI frontier lab 如果是真的想做高价值发现 ,不是就刷现有的 benchmark 的话 ,不可避免的是要有自己的湿实验实验室 。
那 DeepMind 呢 ? 而且现在感觉它的创始人哈萨比斯 ,他也重点是在 Isomorphic, 就是从 DeepMind 分出去的生物制药的公司上 。
对 , 我不知道 DeepMind 和 Isomorphic 会是怎么样的合作形式 ,是 DeepMind 搞 AI,Isomorphic 做验证 , 还是说我猜测更多的可能 Isomorphic 自己做端到端的 。
它会用一些模型 , 然后更多的来自己做验证 , 来端到端的解决 。Jean-Jean Perret 就是另一个和哈萨比斯拿诺贝尔奖的那位科学家 ,他是加入 Anthropic 了 。
所以我觉得 Anthropic 在这方面会有很大的优势 。
嗯 , 我看他们一起拿诺贝尔奖的还有一个人是 David Bakker,他自己也是做了一个新的制药公司 ,是叫 Zion 对吧 ?
对 ,他有很多制药公司 , 我不知道他的 commitment 有多大 。 据我理解 ,他应该有几十家的公司吧 。 我理解他还是更多会专注于自己的科学研究 , 然后看看之后能不能拓展到商业或者他的 startup 里面 。
嗯嗯 , 你觉得在整个的模型对制药的影响上, 对你来说啊 , 几个比较大的节点是什么 ? 就是哪些基础模型能力的提升 , 会让这个行业一下子就有一个质的飞跃或者提升 ?
现在我们的提升还几乎是取决于 coding 能力的提升 。 现在因为大家还是没有走到湿实验或者真实世界的控制这一块 , 所以呢 ,在 coding 的能力上提升之后, 我们这些 biomedical 相关的任务也会做得特别简单 。
所以现在我觉得 biomedical 上这些 coding 任务 , 虽然那些 benchmark 上还没有达到满分 ,但我个人理解已经是几乎可以认为是解决了 ,因为它已经比人做的要好了 。
像 Terminal Bench Science 上的一些 biomedical 问题 , 我自己去试了一下, 我做的都没有 AI 好 。 虽然很多 AI 的分数 , 即使是 Astro 也只有六十几分吧 , 满分 100 分只有六十几分 ,但是它其实已经做得比我好了 。
所以我认为它们已经解决了 。 所以比较大的节点就是 coding 能力的提升 , 就会把生物制药这些 dry lab 上的能力的提升都给解决了 。
还有一个问题就是生物医学的数据特别的大 , 特别的复杂 , 每个人的数据都可以达到两个 T。 那么如果未来的模型还需要提升的话 , 就是这一块 , 对这种两个 T 的数据的高效的处理理解 , 这是一个非常非常重要的领域 ,也是一个非常大的一个机会 。
科学家的角色1:02:15
嗯 , 您刚刚提到了 , 您觉得现在 AI 在一些能力上已经超过您了 ,因为您已经算是人类很顶尖的科学家了 ,也是做学术研究的 。
我可以理解它已经不是超越平均值上了 ,而是最顶级的这些值上 。 那在这个环节中, 你觉得它未来给你们这些前沿科学家带来的问题是什么呢 ?
就比如说它做的东西你们很难去验证了 , 会有这样的情况存在吗 ?
对 , 验证的话也是要靠湿实验的验证 。 如果一个问题已经定义得很好了 ,有一个明确的测试集 , 明确的输入 , 要知道解决什么样的问题 , 那 AI 解决这个问题的能力会比我强 。
那么人类科学家更多可以做的事情呢 , 就是定义哪些问题 AI 去解决 。 所以我觉得未来 AI 在生物医学领域的趋势呢 ,不再是解决问题设计模型了 , 更多的是设计 benchmark, 设计 evaluation 的方法 , 定义一些重要的问题去解决 。
还有生物医学是关系到制药或者治疗病人, 这些直接和人打交道的 。 所以很多时候还是需要一个科学家参与在其中 ,而不靠 AI 自动化 , 需要一个人类科学家作为一个背书吧 。
就像飞机就算能自己飞 , 我们也希望有个驾驶员在上面 , 对吧 ?AI 能自己看 , 能自己治疗 , 出诊断书 , 我也希望一个医生真的肉眼看一下我的报告 。
所以在科学发现这种一下就会投入很多钱 、 很多时间的重大决策上, 还是需要一个人类科学家去一起把关 , 一起去判断这个问题的价值 。
如果纯粹是解决问题 , 我觉得 AI 已经会比最强的人类科学家都要强了 。
嗯 , 您刚刚有提到 , 您觉得像 Astro 它在 benchmark 上, 现在整个 benchmark 它的定义是有问题的 。 那你觉得未来它的 benchmark, 它应该会怎么样去定义 , 它会朝什么样的方向去演进呢 ?
我觉得未来首先我们要设计那些生物医学的题 , 它是没有上限的 , 它是一个不可能被刷爆的 。 比如说现在的 SOTA 的药物能够把 30% 的癌症细胞给杀掉 , 那么 AI 能不能做更好的药物 , 能够把 40% 的癌症细胞杀掉 。
这样让 AI 不停地设计 , 能够有一个没有上限的方式来做这个任务 。 同时在这个任务做的过程中呢 ,也会形成一个数据的飞轮 , 就是我不停做湿实验 , 虽然这些湿实验很贵 , 比较慢 ,但是持续对这个任务做湿实验 , 还是可以收集到可观的数据的 。
但是想避免的就是一些简单的分类任务 , 比如说分类这个基因会导致癌症还是不会导致癌症 , 这样的任务就很容易被 AI 解决了 。
我们未来要设计的还是这种比较宏大的 、 很难有上限的 , 比如说怎么样把人类的寿命提升 , 这种没有上限的任务 , 能够让 AI 持续地解决 , 然后我们可以持续地积累数据 , 这样积少成多 , 把一个特定问题的数据给积累得更多 。
嗯 , 您刚刚有提到了在 AI 领域啊 , 它还没有自己真正做出来的一款药是被验证过 , 然后被可以使用的 。 为什么它是没有被验证过 ,但是它这个领域还是依然很火 , 只是时间还早 , 还是说它未来会被解决 ?
对 , 我觉得未来会被解决 , 只是时间还早 。 因为现在 AI 是一个新时代的 ,也就是过去几年才发生的 , 一个药的周期也要 5 到 10 年, 对吧 ?
现在还没有走到那个药的周期 。 我觉得未来会有一个 AI 自己发现和更好地验证药物的机会 。 现在的话 , 它新的药物发现 , 包括之前有一家公司 , 它说它的药物是由 AI 高强度参与设计的 ,但是这些可能更多的是一个 AI 参与吧 , 或者是一个噱头吧 。
我觉得因为从那个药物开始研发 , 都是 5 年到 10 年前的时候了 , 那时候的 AI 和现在完全不是同一种 AI。
所以我觉得未来是会的 , 这更多是一个时间的因素 。
对 , 然后我看 Claude 他们最近有一个新的成果 , 就是他们发现了一种新的 ART, 它有一点点类似于 CRISPR/Cas9 的这种基因编辑的工具 ,但是它最后有没有被验证还不太确定嘛 , 就科学家也在观察这个现象 。
你觉得现在就是模型它在哪些方向已经非常强了 ? 就是在生物医药领域 , 我们已知的领域 , 它已经开始有一些突破了 , 我们看到这些突破它的苗头是什么 ?
嗯 , 对 , 我们观察到这个突破几乎就正比于生物医学实验的周期 , 周期越短反馈越快 。 大家其实在过去的几十年中都积累了好多的实验数据 , 这些实验数据通过各种方式 , 比如说写在论文里 , 或者是被一些大模型公司收购 , 都已经被这些大模型公司所拥有了 。
所以当实验做得越快的领域 , 它模型就可以做得越好 。 比如说 Anthropic 他们这次做的一个比赛 ,也是对酶 enzyme 的一个设计 , 这就是实验特别快的一个领域 。
未来像蛋白质 、 酶这些可以做快速实验的 , 我觉得都会有很快的一个迭代 。 但如果比如说我们要做一个衰老 , 或者研究一个罕见病这种特别的 rare, 特别的一个 domain specific 的 , 特别长周期的问题 , 那我觉得模型的进展还是会很慢的 , 然后也很难有很快的进展 。
OK, 酶跟蛋白质它带来的是哪些领域的变化 ? 有一些特定的领域吗 ? 就比如说减肥或者癌症治疗 。
理论上蛋白质是万能的 , 减肥 、 癌症治疗所有的病 , 理论上蛋白质都可以通过一些方式引导我们制药来改变人体 , 然后来治疗 。
酶的话呢 , 很多是一种催化剂 , 比如说我们以前会设计的一些酶 , 可以把一些地沟油变成一些实用可以用的油 , 或者呢把一些洗衣粉让它能够在不同的温度下都能够有活性 。
所以酶更多的是生活中对各种工业化工的过程中进行一些加工 , 帮助加速的一个过程 。 所以它的商业价值其实是非常大 ,而且可以快速落地的 。
那蛋白质呢 , 如果我还是要设计药物 , 最后还是不可避免要做人体实验 , 还是有一个较长的周期 。
蒸馏与价值1:07:48
哦 , 了解了解 , 对 , 非常精彩 。 我其实也在跟很多模型的研究员去聊了 ,因为之前大家一直在说蒸馏这个概念 , 然后很多前沿模型实验室的研究员他就说 ,其实很多普通人啊 ,他现在可能就连蒸馏的价值都没有了 。
就这个话听上去很悲哀 ,但是是不是现在整个训练的信号也正在转向像专家数据 , 还有可验证环境 , 大家统一吗 ?
机器人这儿很显然不是这样的 , 机器人这儿每个人都是生活的专家 , 所以在机器人这儿没有那么悲哀 。
大家都值得被蒸馏 , 你擅长做饭 , 我擅长叠衣服 ,他擅长走路 ,他擅长跳舞 。 当然再往后走也会经历这样的一个阶段 , 今天的机器人还做不了大模型之于普通人的档次的事情 。
所以我觉得如果也许一年后两年后才会到这样的一个阶段 , 就说必须要是一个舞蹈专家 , 或者必须要是一个 Gordon Ramsay 这样的大厨 , 才值得被蒸馏 。
我觉得在今天就是家常菜的 , 每个人做的都值得被蒸馏 。
嗯 , 如果知识被蒸馏的话 , 那确实现在 AI 的知识更全面 , 单个科学家肯定是比不过的 。 但是呢 ,有一些科学发现 , 一些长期投入 , 还是需要科学家或者工程师在那边支持背书 , 所以这方面是 AI 替代不了的 。
同时呢 ,也有一个反向蒸馏的问题 ,因为 AI 这么强 , 对吧 ? 我天天也在蒸馏 AI, 我很多新的领域 , 尤其我们做 AI for Science 交叉学科的 , 很多东西我不知道 , 我就可以快速地向 AI 学习 。
学习之后我获取知识的速度也快 ,有时候有一些新的 idea, 新的创意 , 我可以做更好的一个科研成果 。 所以我觉得这是一个互相蒸馏的过程 。
然后另一方面呢 , 如果从我们医学这个很 specific 的导命来说呢 , 那人的作用永远是非常大的 ,因为它不仅是解决问题 , 人还可以定义问题 , 或者人可以表达一些他想 AI 解决的问题 , 比如说有一些新的疾病 , 或者人想要活到 200 岁 , 活到 500 岁 , 这些问题都是源源不断的 , 然后每个人会有自己不同的身体状况 ,不停地提供给 AI 新的问题 , 新的要解决的方
向 。 所以这些都是普通人绝对不会被 AI 所取代啊 , 或者去怎么样的一个情况 。 嗯 , 说得特别好 ,Bill。
从蒸馏的角度来说 ,因为我们现在的智力或者说模型的能力 , 还是在非常大的模型 , 可能 memorize 或者是就死记硬背了很多很多的知识在里面 ,以及一些 know-how 也是在训练当中基本上硬加进去的 。
比如说你在 optimize 一些 benchmark 啊 ,在推进固定的一些落地场景上面 , 你会做很多的 overfitting 的一个状态 。在这种情况下 ,其实目前我们 overfit 的领域可能都还不够 ,有很多很多领域值得被 overfit。其实我们现在都说可能模型已经到了 general intelligence 的这个级别 ,但是从我们目前在已经 overfit 的场景上面来说 , 我们可能没有到那么 general 的状态 。
后面如果我们要真的做到真正非常 general 的 intelligence, 那可能我们还要跳出蒸馏每个场景 , 蒸馏或者说 overfit 每个场景的这么一个状态 , 进入到能不能模拟一个人从零开始学习的这么一个状态 。
从这个角度来说 , 我们其实需要蒸馏人的能力不在于说我能不能把这件事情做好 ,而是蒸馏人是怎么学习 , 从零开始学 , 怎么比人学得还要快 。
如果我有一个 foundation model, 它可能是非常 underfit 的一个状态 ,但是我能不能在某一个领域 , 比如说我这个模型自己想当一个医生 , 那我能不能在一个月的 interaction 当中成为了一个人类的基础医生水平 , 比如是在三个月的 interaction 过程当中成为了人类的某一个教授水平 , 完完全全靠模型自己迭代的方式来学习 。
这个我觉得我们远远没有到这个程度的 。 我觉得未来可以从人这边得到的 intuition 其实还是很多的 , 就是人类还没有到完全被取代的这么一个状态 。
嗯 , 对 , 我觉得可能很多是一层表层的技能 ,而不是底层的思维方式 。
嗯 , 对 。
今天很难得啊 , 就是我们是把三个不同领域的 , 我觉得做得好的创业者跟学者请来了 。 大家要不要说一下现在在你们领域里面 , 你自己最关心跟关注的一个问题 ?
尾声展望1:11:52
我们现在最关注的问题其实就是目前硬件上面 , 全世界 memory 很有限 ,RAM 非常贵 ,VRAM 非常贵 , 很多人又 concern 说我是不是把所有的数据都上云了 。
如果说未来我们认为所有的计算和算力会被铺开 , 每个人都会有自己的算力 , 每家公司也会有自己的算力 , 算力不再集中于只是在数据中心当中, 我们是不是可以想象到所有人都可以有自己的算力 , 可以运营自己的模型 ,而这模型不一定说要做到最大最大 , 那我们能不能通过这些模型来解决生活当中百分之八九十的问题 , 解决现在 AI 不能够完全无限量普及的
这么一个问题 。 那我其实还是同意说未来模型还是会需要往大了走 , 需要往更强了走 ,但是它可能有个广度跟高度的问题 , 比如说 AI for Science 上面 , 我可能需要一个非常高度很高的模型 ,而在正常的比如说企业工作 、 个人生活当中, 你可能需要一个广度很高的模型 ,但这个模型大小不需要很大 , 那这个是一个结合的问题 。
但是如果做好正确的结合 ,其实是可以解决目前的硬件需求和电力需求的瓶颈的 。
嗯 。
从机器人角度 , 我们最关心的肯定还是零样本的泛化能力吧 。 之前的机器人其实有两条路 , 一条是部署 , 一条是泛化 , 这两条路其实有一点正交 , 就部署的话 ,有点像是 AI 赋能上一代的机器人。
我在工厂里面的机械臂 , 原来可能是开环拧螺丝 , 开环是指我不拿反馈 , 对吧 ? 我把这个位置都标定好 , 然后过去 , 然后现在我有了 AI, 我可以闭环拧螺丝 , 或者闭环地去上货 。
但是这件事情从我的视角来看 ,也还是有点逆时代的 , 就是你仍然需要 5 个 PhD level 的人去到那儿 , 然后在工厂里面可能睡 3 个月 , 然后去把这个机器人的稳定性啊 、 速度是否要定制末端夹爪 , 这些事情需要解决 。
但是今天我们也是聊 Astra 嘛 , 我觉得最终我们还是希望是一个通用机器人, 它零样本的可以做快速部署 , 这个部署应该是 5 个任意的人, 然后放在那儿 , 它其实更多的就是说有一些体力劳动 , 或者是懂一些基本的技能 ,而不是说需要 5 个非常强的人, 然后去到那儿 。
那这样的零样本泛化肯定是有冗余 , 那这样的冗余我们是否可接受 ? 我觉得是可接受的 。 那在这种情况下, 能否有一个足够好的 、 快的零样本泛化的模型 , 仍然是机器人最主要的追求 。
你觉得机器人离那一步还有多远 ?
我觉得 28 年初会是一个通用机器人比较开始真正实用的时间节点 , 到现在开始可能 18 个月后, 大家可以在家里面可以以语言的形式去让一个机器人做家里面 90% 的事情 。
哦 , 这个预测还是相当激进的 。
如果你玩了 Astra, 如果你下个月也许可以玩我们的模型 , 应该觉得这个预测还是比较合理的 。
哦 , 那机器人进展很快 。
对 , 我觉得机器人其实是相对慢的 ,但是因为 23 年的时候机器人和大模型同步出发 , 大家看到大模型发展得非常快 , 机器人其实已经慢了一倍的速度了 。
但是我觉得物理世界的东西总是要慢一点的 , 就它没有办法像纯软件的东西那样超快速迭代 。
对 , 我整体上是觉得今天跟您的聊天 , 整个气氛它是乐观了很多 ,因为在我们从 20 年关注 GPT 到 22 年关注 ChatGPT, 然后再到大模型多模态 , 我觉得在前几轮中, 整个模型层它的发展是远超机器人的 , 可能就在过去一两年, 甚至一年以前 , 大家觉得 , 哎 , 机器人的 GPT moment 还没有到来 。
那今天其实我们已经在谈应用了 , 所以我觉得整个它的进展还是非常的快的 。 好 , 那王教授 。
说 AI for Science 如果真的要有突破 , 那最重要的就是 AI 对真实世界的一个理解 , 一个真实世界资源的运用 、 分配等等。
就像我们研究 Science, 它本质就是研究真实世界 , 对吧 ? 物理学就是研究宇宙 , 生物就是研究生命 , 化学研究微观世界 , 那 AI 它还需要对真实世界有理解 ,并且呢能够运用真实世界资源 。
这个不是说我设计一个机器人去取代人类来自动地做实验 ,而是说 AI 知道根据现在我实验室有哪些资源 , 我应该让这个机器人, 或者是让这个人去做一些什么事 。
比如说以后我在 prompt AI 的时候 ,不是说给我设计个药物能治疗癌症 ,而是说给你 10 万美金 , 你给我设计一个药物 ,并且呢我有这些实验可以做 , 比如说做一个老鼠实验要 2,000 美金 , 做一个人体实验可能要一个怎么样的周期 。AI 能够真的这样 plan 真实世界中的超级复杂的任务 , 这些都是它的语料中很难见到的 。
这可能需要一个新的范式 , 就像现在我们都是人来用 AI, 人来研究怎么写好的 prompt 可以把 AI 指挥得好 , 对吧 ?AI 可以做任务做得更好 , 怎么写好的 prompt, 怎么搭好的 agent。
未来可能是 AI 要写出清晰的可执行的一个指令 ,是 AI 来 prompt 这个真实世界清晰可执行的指令 , 非常高效 , 非常清晰 ,不 ambiguous, 然后人或者机器人可以根据这些指令去利用现实世界中的资源 , 高效把这些事情完成 。
就像以前我们都说判断 AI 能不能 follow 人的指令 , 未来我们可能要的是比如说 instruction generation 来生成指令 , 生成得更好 , 帮助我们调动现实世界的资源 , 甚至我们还会对现实世界进行一些改造 , 未来的一些实验设备仪器 , 它不是给人看的 ,不是给人用的 ,是让 AI 用的 。
我们现在比如说拍 X 光 、 拍 CT, 我们还要合成一下图片 , 为了让人类医生能看 , 未来可能直接就拿出底层那些波形或者信号 , 直接给 AI 看就行了 , 都可以跳过生成图片那一步 。
所以这是我认为最重要的 , 就是 AI 能够更好地走到真实世界中, 无论是通过机器人还是一个真实的人类 ,但它都要知道怎么样去利用真实世界的资源来解决这种超难的问题 。
嗯 , 好的好的 , 特别棒 。 那今天非常精彩 , 我觉得我学到了很多行业里面非常细分的知识 , 感谢大家 。
谢谢 。
谢谢 。
那上周我们办硅谷 101 Alignment 2026 大会的时候 , 王晟也是我 AI for Science 那场论坛的嘉宾 。 当时呢我在台上问了他一个我自己很好奇的问题啊 , 我说 Claude 说自己找到了一个像 CRISPR 的新媒体系统 , 这件事出来以后,AI 圈和生物圈的反应有什么不一样 。他自己的回答非常有意思 ,他觉得 AI 圈是非常兴奋的 ,因为 AI 开始做科学发现了 ,但是呢生物圈的反应是相对平淡的 , 大家想在实验
室里验证了再说 。 我后来一直在想 , 就是为什么会出现这样两个不同的现象啊 ,因为模型层的进展和一个行业真正的改变 , 中间隔着的可能不仅仅只是智能 , 还有验证 。
那机器人它要在真实的世界里反复地去试 , 制药呢要等猴子和老鼠的新陈代谢 ,而 Agent 它也要去过商家 、 过用户的那一关 。
所以 AI 圈子看到的是能力曲线 , 那行业里的人看到的就是落地周期 。 所以接下来呢 , 我们也会有更多的节目去关注各个行业它的底层逻辑是什么 ,AI 如何在各个行业里落地 。
那大家听到我们这期节目是什么感觉呢 ? 欢迎在评论区给我们写留言 、 写评论 。 那如果大家还没有关注我们 , 可以通过小宇宙 、Spotify、 苹果播客 、YouTube, 还有哔哩哔哩 、 喜马拉雅 、 蜻蜓 FM、 励志 FM、QQ 音乐来关注我们 。
我是泓君 , 感谢大家的收听
。
