此前,适道分享过全球科技“投资之王”、OpenAI“第一投资人”Vinod Khosla对于人机交互变革的洞察:第一个根本性变化——低延迟语音将成为人机交互的主导界面;第二个根本性变化——软件将适应人类,而不是人类学习软件。他认为,新一代硬件将结合二者特征:实现语音互动、能够学习人类语言和人类本身。
据此,Vinod Khosla对“套壳安卓”Rabbit进行投资,理由“Rabbit是人机交互在强大AI世界中的早期尝试:设备通过自然语言,用语音与代理进行交流。”
虽然这一切在Rabbit R1“翻车”后略显尴尬。但Rabbit R1没有实现的,苹果好像帮它实现了。
这不,就在苹果WWDC 2024收官后, The Information邀请Vinod Khosla录制了一期播客。
Vinod Khosla表示,他几个月前提出的“计算机将学习人类,而不是人类需要学习计算机”,在WWDC 2024上已经看到了苗头!这将是人机交互变革的一个非常重要的里程碑。不过,“聪明版”的Siri只是一个开端,随着时间的推移,它将演变成一种基因。而且,苹果不只盯着Chat-GPT,而是保持选择LLM的开放性,这点十分明智。
在播客中,Vinod Khosla对于AI未来五年风向、大模型和小模型的发展,AI种子投资策略等等都进行了干货分享。其中一些观点跟我们平时听到的甚至有点相悖,包括“对于初创公司而言,收入不是最重要的指标,而是尽可能地让模型得到大量的使用,为下一代模型训练提供大量数据。”等等。
因为原文信息过于分散,适道采用Q&A的形式进行了整理和筛选。感兴趣的朋友可以关注【适道】公众号,并回复“投资之王”,获取原文PDF。
小模型、大模型将各就其位
Q:苹果能够用端侧小模型完成很多事情。如此一来,昂贵的大模型将如何定位?
Vinod:我认为端侧小模型做的事情与大模型有所不同。当你想从模型中获得人类水平的智能,只能由多个“水平参差”的大模型完成。虽然小模型在某些方面表现很好,但我不认为小模型能够代替大模型。如果你想与低延迟的智能交谈,就需要一个更短的路径,端侧小模型则可行。实际上,即便是Intel也要在自家的Meteor Lake新处理器捆绑一个小型 LLM,用来进行响应式交互,而不是成为智能的来源。
请所有初创公司忽略计算成本!
Q:现在的模型成本和计算成本非常高,大家像是拿着所有问题去咨询一个昂贵的博士。在未来,我认为我们会更明智,比如知道哪些问题需要匹配什么水平的模型。你如何看待这种大模型和小模型的竞争?
Vinod: 我不同意。我认为计算成本将变得非常便宜。我敢打赌,一年后,它将是今天成本的1/5——1/10。我给所有初创公司的建议是忽略计算成本。因为你花在优化软件上的每一分钱,在一年内都将毫无价值。所以,忘掉它吧……依靠云计算、Gemini和OpenAI 间的市场竞争,成本会降低到不足挂齿的程度。
Q:为什么成本会大幅下降,你看到了什么?
Vinod:因为每个大模型的所有者都在拼命降低成本,而且他们能够做到。
收入不是最重要的指标
Q:但是新模型的训练成本不是比前一个高出一个数量级吗?
Vinod:训练成本确实高了一个数量级,这正是我认为开源模型不可行的原因。由于训练成本太高了,当训练完成时,你会希望投入尽可能广泛的使用中。原因一:获得最多的收入,成本最低的模型将获得最多的收入;原因二:更重要的是,为训练下一代模型生成大量数据。
如果你想做“时间之友”,我认为模型“游戏”不是以1年为时间跨度,而是5年——在这个跨度内,成本将下降。然而今天,Nvidia从每个人那里都榨取了相当可观的税收。
但是每个模型都会在多种类型的图形处理单元或计算上运行。他们会希望产生最多的数据。所以,我很确定在未来几年间,收入不是重要的指标。虽然你不希望亏太多。但你的目标不应该是想着赚很多钱,而应该想着如何让模型得到大量使用,并从中获取大量数据,学习进化为一个更好的模型。
我认为,无论是推理、概率思维,还是模式匹配,这些智能领域都大有可为,这些模型还有很大的提升空间。我们每年都会看到惊人的进步。要知道,很多事情都是谣传。有些公司比其他公司执行得更好。我认为这是主要区别。比如OpenAI执行力很强,虽然谷歌也有很好的技术,但他们的执行力没那么强。
大模型属于大玩家
Q:有人认为AI会全部进入现有企业,并被商品化。5年内,你觉得哪些领域不会被卷进现有公司?
Vinod:如果你正在构建基础模型并试图与 OpenAI和谷歌竞争,这并不明智。LLM属于大玩家——可以在非常大的集群上训练;可以为专有内容付费,无论是与 Reddit还是其他人合作;可以访问每一篇科学文章的玩家,这些文章通常发表在Springer Nature等刊物中。因此,如果延续以往的做法,大玩家确有优势。
世界不只有Transformer
Vinod:最近,我们宣布投资符号逻辑公司 Symbolica。这是一种非常不同的方法。它不依赖大量数据、大量计算。完全正交轴,高风险,高回报。如果成功,那就是戏剧性的。因此,即使在模型层,也有正交的方法。如果我打电话给我的MIT朋友Josh Tenenbaum,他会说:最大的贡献将来自概率编程。人类以概率思考,这不同于模式匹配。所以,我不认为我们已经接近完成基本技术。我们正在越来越多地利用 Transformer 模型,但还有其他模型要做。
每个人都害怕投资除 Transformer 模型之外的任何东西。我可不害怕,我非常专注于一些晦涩的东西。事实上,Symbolica就是一种晦涩的数学,成为“范畴论”。大多数数学家都没听说过。这是我们大约在15、18 个月前下的一个大赌注。
投资云计算非常愚蠢
Vinod:我认为投资云计算,购买GPU建立云计算的人是愚蠢的,他们会输给Amazon的规模和效率。是的,他们都在做定制芯片,所以他们不必支付Nvidia税。几年后,他们都在用AMD。
投资机会蕴藏在每个专业领域
Vinod:应用层将迎来巨大的机会。我的一个大预测是,几乎所有的专业知识都将免费。所以,无论你谈论的是初级保健医生、教师,还是结构工程师、肿瘤学家。看吧,现在这么多专业领域,每个领域都会是非常成功的风险投资。
我们最近投资了一家构建结构工程师的公司。他们在构建 AI 程序员,而不是在构建Copilot 这样的程序员工具。如果你拿一个建筑结构给一个结构工程师,两个月内会得到一个变体。但是,如果给一个 AI 结构工程师,你能在五个小时内得到五个变体,然后在一个建筑项目上节省几个月的时间。这就是一个很好的例子,它可以成为一个价值数百亿美元的利基市场。
一个模型不可能通吃天下
Q:任何人都可以使用这些模型,因为它们是商品?
Vinod:我认为这些模型都会依赖LLM 和领域相关的具体内容。正如结构工程师的工作流程是不同的,他们与设计AI工程师,最终客户和建筑师之间的交互方式也不同。而且,最终建筑师也将是AI 建筑师。
如果你认为一个模型可以搞定所有事情,就是错误的。每个领域的工作流程都不同。具体到你从AutoCAD 中导入哪些库,使用哪个目录来决定哪些钢梁可用,价格如何,以及如何组成一个低成本的结构。
因此,在所有这些领域都会有特定的专业领域。肿瘤学家不会只学习 GPT-6 就能成为肿瘤学家,以后会有很多具体的内容。如果你是一名AI肿瘤学家,你就会知道,在20种不同的化疗药物中,这种药物对癌症影响最大。现在还没有这样做,因为太贵了。
而大多数肿瘤学家的知识面并不广。但就在本周,有人打电话给我,说他们得了癌症,想知道应该选择哪种化疗药物。我不是化疗专家,但我把他们介绍给了我们的一家公司,这家公司用一个肿瘤样本,测试了所有 20 种药物。我们可以在你接受整个化疗方案之前,准确预测哪种药物最有效。这非常有价值。
专业领域将嵌入通用领域
Q:比起专业领域,普通的家庭医生不会有很大的市场吧?
Vinod:我不同意。我认为专业领域将嵌入通用领域中。像初级保健和心理健康治疗这样的一般领域,我认为这将是更大的业务,因为除了知识方面之外,还有其他方面。
种子投资不能只会follow
Q:我非常钦佩你,因为你是 DPI投资人,而不是 AUM投资人。而且,你在整个光谱都有投资。我认为大多数进入AI领域的种子投资者都是痴人说梦,因为从价值上来说,100万到 300 万美元的投资并不能真正起到推动作用。对吧,在我看来赢家显然是大公司。
Vinod:我来给你举个例子。我参加这个播客前就对符号逻辑公司 Symbolica非常兴奋。
去年1月,他们提出了一套荒唐的想法。
我:“好的,我给你 200 万美元。如果你证明了这一点,那我们就可以聊下一步。”
于是,他们在今年3月杀回来:“这是我们承诺的结果。”
我:“不要出去。我明天就给你写一张 1500万美元的支票。”
后来,我们确实这么做了。我们继续进行了融资,没有等外部定价和其他人参与,我不在乎任何人的意见,我只押注于它。而这是小种子转向更大投资的典型例子。顺便说一下,我们还有很多机器人种子。真正的小种子会长大。
但话说回来,以 Hedral 为例,也就是我谈到的结构工程师,这是一个种子项目,它永远不需要 5000 万或 1 亿美元。如果成功了,它将成为一个盈利的业务。我认为种子投资是有空间的,但你不能只会follow其他人。比如每当有人离开 DeepMind,就给他们 200 万美元,这非常糟糕。
寻找定价合理的AI种子
Q:从理论上讲,你我都是投资者,都在种子实践中有或多或少地竞争。你如何看待定价纪律?因为从我的角度来看,AI领域的种子项目之所以如此糟糕,其中一个原因是从DeepMind出来的人干的。他们的种子项目不仅可能失败,而且定价也高得离谱,根本不可能赚钱。从投资者的角度来看,你从哪里能找到价格合理的AI种子呢?
Vinod:我认为一个人必须花很多时间思考。首先,什么会被LLM破坏?什么会成为这些模型的特征并被淘汰?我们花了大量时间思考哪些商业计划会被GPT-5、GPT-6、Sora 2、Sora 3取代。在这些领域,我们拥有大量的内部专业技术知识和良好的人脉关系。我们很擅长预测哪些会被取代、哪些不会,以及哪些会成为好的合作伙伴。
所以,我们所做的 80%的种子投资都是在2500万美元以下,偶尔会升级到像 Devin 这样的产品,虽然没有收入,但我会说“我们有某种信仰体系,我们会出钱。”
我敢说我们放弃了80%,甚至90%十亿美元估值的投资。但我们确实会做10%——20% 的项目。比如,我们投资了Replit、Devin。我偶尔会看看高估值的公司。有时,我们会出于建立关系的目的进行投资,在这种情况下,我们会进行少量的象征性投资。
AI会带来通缩经济
Vinod:我今天早上为WSJ做了另一个播客,主题是“AI是否会带来巨大的通货紧缩”。我已经说过了,AI会带来巨大的通货紧缩,我们所说的很多东西成本趋近于零,因为所有这些东西中的劳动力含量都被淘汰了。
也许还有一点地租和资本支出,但这将是一个严重通缩的经济。如果把100 万名医生减少到 20 万名,80% 的医生都不在了,那么医疗开支就会减少 2,500 亿美元。这就是通货紧缩。因此,如果大部分内容都是AI生成的,大部分音乐都是AI生成的,那么所有这些都是通货紧缩,尽管在许多这些领域的消费会大幅增长。因为我们很难预测模型的作用,所以我们在这些方面的发展是很难预测的。
人类体验会变得更值钱
Vinod:我一直在思考的一个问题:与其付钱给所有这些版权持有者,为什么不雇一万个聪明人整天和AI对话呢?这似乎更有效率。
那么,在这种通货紧缩的经济中,当一切都很充足时,什么才是有价值的?我认为Taylor Swif与音乐无关,而是一种现象,是 15岁女孩的一种经历,这是一种现象,是一种体验。
我确实认为,人类经验的本质会对事物产生不同的价值。为什么我们会从制造精良的好东西,变成手工制作的粗糙东西?
因为我们看重的是人类的体验,不同的人看重不同的东西。那么,所有这些如何重组为一套价值观?这很难预测。我想说的是,我们唯一能说的就是它会发生巨大的变化。我不认为我们能说它会如何变化。