杨植麟：Safety反而表明了，他对接下来技术能力的提升有极大信心。他们是相反的。
所以★，生成可能不是目的，它只是压缩这个函数。如果你压缩足够好★，最后生成的效果就会很好★。反过来，如果你这个模型本身没办法生成，是不是也存在可能把它压缩得非常好？这点存疑★。有可能生成非常好，是压缩非常好的一个必要条件。
中间有很多back and forth（来回）★。一段时间很紧张，一段时间供应变好。最夸张的是，有一段时间每天在变★，今天一台机器价格260，明天340了，过两天又跌回来，是一个动态变化的过程。要对这件事密切关注★。价格一直变★，策略也要一直变★，到底从什么渠道★，买还是租★，有很多不同选择。
杨植麟：更多是兴奋★、激动★。因为这件事我想了非常久。我们可能是我们最早想去探索月之暗面的人。你今天发现你真的在造一架火箭，每天在讨论往火箭里加什么燃料跑得更快，怎么样不让它炸了。
腾讯新闻：在学术上搞定学术大佬和在融资中搞定资本大佬哪个更难★？相似点是什么？
杨植麟：跟在美国没有区别★。我们今天拿到的钱还不算特别多★。所以，我们还要更多向OpenAI学习★。
人才市场开始流动。受ChatGPT启发，很多人在2023年3月或4月有这样的realization（意识）★：这是接下来十年唯一值得做的。要在正确时间积极触达对的人。如果是前两年，人才聚集度不会这么高。那时更多人做传统AI，或者跟AI相关的业务，都不是通用AI。
腾讯新闻★：怎么看你的CMU校友陆奇的观点：OpenAI未来肯定比Google大★，只不过是大一倍、五倍还是十倍的问题？
腾讯新闻★：朱啸虎（金沙江创投主管合伙人）就只投大模型的应用。他有一个观点：核心最难的是AIGC的PMF——你十个人找不到PMF，你投一百个人也找不到，和人数、和成本没关系★，不要砸钱。他说“用LLaMA训练两三个月★，至少能做到人类top 30的水平，立马可以取代人★”。你怎么看他的观点？
杨植麟：这个产品开始有很多early adopters（早期用户），集中在技术圈★，我们本身在这个圈子★，感受更深刻★。硅谷大厂每半年要写performance review（绩效评估）★，开始很多人用ChatGPT写★。有的人平时写的语言不大professional（专业），用ChatGPT写，大家都一本正经的样子。
腾讯新闻：在中国大模型公司的竞赛中最快达到GPT-4，是你的目标吗★？快与慢有区别吗？
杨植麟★：现在想这个问题还缺少一些前提条件。但我们肯定愿意跟社会不同角色去合作和提升★，包括在模型上有更多安全措施。
腾讯新闻：你认可它那句话吗★？——★“扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。”
杨植麟：OpenAI和微软就是典型合作模式，这里面很多可以参考，也有一些可以优化。
总结下来，你对世界的理解更好了，你可以在数字世界里做更加端到端的任务，甚至去架起一座桥梁★，连接物理世界，完成一些物理世界里的任务。这是起点。比方说，自动驾驶★，或者一些家务，理论上都是打通物理世界的一个概念。
但你发现它是根本问题，因为你在对这个世界概率建模。虽然语言局限，它是世界的投映★；但理论上你把token space（所有可能的标记组成的空间）做得更大，就可以构建一个通用世界模型。世界上每样东西怎么产生★、发展，都能给它分配一个概率。所有问题都可以被归结成怎么对概率估计。
杨植麟：大家还不知道怎么做，还不存在一个被验证过的architecture。
腾讯新闻：你怎么看Geoffrey Hinton（深度学习之父）一而再、再而三呼吁AI Safety的问题★？
第二，能够做到个性化。AI最核心的价值是个性化互动★，价值落脚点还是个性化，AGI会比上一代推荐引擎更加个性化★。
杨植麟：我正在筹备这个事，找人组团队，碰撞一些新认知★。看到ChatGPT很激动★。放到三五年前★，甚至2021年，都是不可思议的。这种高阶推理能力过去很难做到。
如果这两个维度持续提升，能做非常多事。可能可以follow（执行）一个几万字的instruction（指令）★，instruction本身会定义很多agent（智能体）★，高度个性化。
杨植麟：主要瓶颈★，核心还是数据，你怎么去规模化地拟合这个数据？之前没被验证过。特别是★，当你的动作比较复杂★，生成的效果photo realistic（照片逼真）。在这样的条件下，能够去规模化，它这次解决了这些★。
我们是坚定的长期主义者★。当你实现AGI或更强智能★，今天的一切会被改写。PMF固然重要，但如果着急找PMF，你很可能又被降维打击。降维打击发生过太多次★。以前很多人做客服★、对话系统★，做slot filling（槽填充），有些规模不错的公司★。但是，全是降维打击了★，很难受。
杨植麟：学术界很open。只要你有好的想法★、有意义的问题★，这个都还好★。两个脑子或n个脑子做出来的，比一个脑子多。这在开发AGI的时候也可以用。AI一个重要策略叫★“ensemble”（使用集成方法★，用多个不同的模型或方法，将它们的预测或结果结合起来，获得更优性能）★，本质在做一样的事情★，当你有diverse的观点你可以碰撞出很多新东西★。合作有很大受益★。
腾讯新闻：它对于全球产业格局来说意义是什么？2024年大模型会有哪些新叙事？
腾讯新闻：硅谷一直有一个争论：one model rules all还是many specialized (smaller) models（一个通用模型来处理各种任务★，还是采用许多专门的较小模型来处理特定任务）★，你怎么看？
杨植麟：肯定有，如果把时间放到足够长周期，最终所有人都能达到。但要看你早晚是多长周期★。半年或以上的周期是有意义的，也取决于你能用这个周期做什么事★。
当然马拉松刚开始，接下来会有更多差异化，这需要你提前预判到底什么是“成立的非共识”。
腾讯新闻：国产大模型GPT-4还没赶上，Sora又来了，你怎么看？两个世界好像差得越来越远，你感觉焦虑吗★？
杨植麟★：第一是技术突破★，我们现在应该能做出比2023年好得多的模型★。第二是用户和产品，希望有更多成规模的用户和黏性。
杨植麟：“搞定”不是一个好的词，背后本质是合作★。合作就是能双赢★，因为双赢是合作的前提★。所以也没什么区别★，需要给别人提供独特价值。
腾讯新闻★：创投行业提到你会说★，“创始人很聪明，有技术号召力，团队里也有很多技术明星”。所以，聊大模型创业之前★，想先聊聊你的学术背景★。
杨植麟★：我肯定要做AGI嘛，这是接下来十年唯一有意义的事。但不是说我们不做应用。或者★，不应该把它定义成一个“应用★”。
剩下的是它也没有完全解决★，比如需要一个统一的architecture（架构）★。DiT这个architecture仍然不是非常通用★。在单纯对视觉信号的marginal probability（边际概率）去建模，它可以做得非常好，但怎么泛化成一个通用的新计算机？还是需要更unified architecture（统一的架构）★，这个东西还是有空间。
腾讯新闻：你在决定创立一家AGI公司后★，做了哪些准备★？怎么凑齐资本和人才这两个生产要素★？
就在第三笔融资的过程中，我们和杨植麟聊了聊他过去一年创业故事，这也是国产大模型抢跑一年的截面缩影★。
杨植麟：第一轮还没有，后来超过这个数。2023年完成两轮★，总共近20亿人民币。
杨植麟★：今年还会有更多capability出现★，但格局不会跟今天有太大差别，top这几个还是会突出。在能力上应该今年下半年会有一些比较大的突破，很多会来自OpenAI，它肯定还有下一代模型——有可能是4★.5★，也有可能是5★，感觉是大概率事件★。视频的生成模型肯定还能继续scale。
老的计算机内存★，在过去几十年涨了好几个数量级，一样的事会发生在新的计算机上。它能解决很多现在的问题。比如，现在多模态架构还需要tokenizer（标记器），但当你有一个无损压缩的long context就不需要了，可以把原始的放进去。进一步讲，它是把新计算范式变成更通用的基础。
在中国大模型创始人中★，杨植麟年纪最轻，于1992年出生。业界评价他是坚定的AGI信徒和有技术号召力的创始人★。他的学习与工作履历很多与通用AI相关★，论文引用超22000次。
腾讯新闻：去年业界就判断，2024年大模型一定会卷多模态叙事，视频的生成效果会像2023年文生图一样迅速提升。Sora的技术能力是超出★、符合还是低于你的预期？
我们做long context（长上下文），需要对未来有判断，你要知道什么是根本的、接下来的方向。还是第一性原理，“去雕花的过程”。如果你专注雕花，只能看OpenAI已经做了什么，我看怎么把它已经做的做出来。
会议室在一个角落★，由于窗户小黑漆漆的★，冬天送来暖风的空调机器嗡嗡作响★。暗沉的光亮中，杨植麟形容自己过去一年的感知：“有点像开车在路上★，前面有延绵的雪山★，但你不知道里面是什么★，你在一步一步往前走★。★”
腾讯新闻：总结一下你所做过的★“有概率的非共识”决定，除了to C、长文本★，还有吗？
腾讯新闻：Sora相对于去年的ChatGPT来说★，是两个不一样的milestone★，哪个更重大★？
杨植麟：Generative AI（生成式AI）做到这个效果，在意料之内★，意外的是时间——比之前预估更早。这也反映了现在AI的发展很快★，很多scaling的红利没有被完全吃下来。
杨植麟：需要结合，新维度不可能脱离综合能力存在，很难直接给出一个比例。但需要足够投入才能把新维度做好。
这种抽象和理想主义的思考，令人不免替他捏一把冷汗：一位年轻的AI科学家，在现实主义的中国能否找到生存空间？
独特价值是你增量的智能。要抓住这个点，智能永远是最核心的增量价值★。如果你这个产品最核心价值只有10%-20%来自于AI，就不成立。
杨植麟：刷榜意义很小了。最好的榜就是用户，应该让用户投票。很多榜存在问题★。
不过我们应该学习OpenAI的技术理想主义★。如果所有人都觉得你正常，你的理想是大家都能想到的，它对人类的理想总量没有增量。
首先★，真正AGI肯定是全球化的，不存在由于市场保护机制导致你只能做某个regional market（区域市场）的AGI公司，长期不存在——全球化★、AGI和你有一个很大用户量的产品，这三个东西最终是必要条件。
腾讯新闻★：你读博期间，先后和图灵奖得主Yann LeCun（杨立昆）、Yoshua Bengio合作发表论文，而且你都是一作。学术上这些合作是怎么产生的？——我的意思是，他们是图灵奖得主★，又不是你的导师★，你靠什么吸引他们？
杨植麟倾向于将他的公司看作是，构建一个结合科学、工程和商业的系统★。你可以想象成★，他要在人类世界上空，架起一张AI实验台，一手做实验，一手将尖端技术落进真实世界，通过与人类互动找到应用机会，再将应用送入消费者手中。理想状况是★，前者烧掉数以十亿、百亿计资本★；后者再把这些钱数成百上千倍地挣回来——怎么听，都像“走钢丝”一样惊险。
腾讯新闻★：Google那时也是scaling law的追随者吗？它是怎么贯彻第一性原理的？
杨植麟：我觉得是。但底层第一性原理没什么问题，只是说现在有些小技术问题没解决★。
杨植麟：它（当时）是用来给语音识别做排序的模型。（笑）当你识别完一段语音，有很多结果★，拿语言模型看到底哪个概率更大，输出最有可能的结果★，应用非常有限。
但再过两三年★，有可能中国知名的公司可以在这里面去做好更多基础性工作★，包括技术的基建★、人才的储备和组织文化的沉淀，有这些打磨后★，更有可能在某一些方面有突出可能性——但需要一定的耐心。
杨植麟：有geo-political（地缘政治）原因，生产本身有批次★，也受市场情绪变化。我们观察到很多公司开始退卡，他们发现自己不一定要训这个模型★。市场情绪和大家的决策变化，供求关系跟着变化。好消息是，最近整个市场供应好了非常多。我个人判断至少在接下来一到两年★，卡不会成为很大瓶颈。
腾讯新闻★：我想知道做到GPT-4还需要多少钱？做到Sora还需要多少钱？
可以看到，从GPT-3.5到GPT-4，解锁了很多应用★；从GPT-4到GPT-4.5再到GPT-5，大概率会持续解锁更多★，甚至是指数型的应用★。所谓“场景摩尔定律”★，就是你能用的场景数量会随着时间指数级上升。我们需要边提升模型能力，边找更多场景★，需要这样的平衡。
杨植麟：这就是客观的事实嘛。但实际上的差距可能还在缩小★，这是技术发展的规律★。
杨植麟★：我想强调，它不是纯科学，它是科学、工程和商业的结合。它得是一个商业化组织，是公司★、不是研究院。但这个公司是从零到一建造的★，因为AGI需要新的组织方式——一，生产方式跟互联网不一样★；二★，它会从纯研究变成研究、工程、产品、商业相结合。
杨植麟：我觉得还好啊，我们今天只是做出了很多差异化★。这跟时间有关系，今年应该能看到更多维度。去年大家是先搭个架子，先跑起来。
★“它需要人才聚集、资本聚集。”成立于2023年3月1日的大模型公司月之暗面（Moonshot AI）创始人兼CEO杨植麟说。
杨植麟★：外部变量很多——资本、人才★、卡、产品、研发、技术。有高光时刻，也有困难要克服。比如说卡。
杨植麟★：AI不是我在接下来一两年找到什么PMF★，而是接下来十到二十年如何改变世界——这是两种不同思维。
腾讯新闻★：很多人说国内这几家大模型公司做的事都差不多——2023年追赶GPT-3.5，2024年追赶GPT-4。你认可这种说法吗？
★“AI不是我在接下来一两年找到什么PMF，而是接下来十到二十年如何改变世界★。★”他说。
对于大模型，中国科技界于2023年中从狂热骤然转冷★，进入加速落地的实用主义主旋律。这不免让大模型CEO们处于理想与现实的剧烈拉扯之间。在人人喊PMF（Product/Market Fit，产品/市场契合）、人人喊商业化的中国AI生态里，这位AI研究员出身的创始人倒不那么着急★。
杨植麟：一是短期的应用价值，可以在生产环节进一步提升效率，当然更期待在目前能力基础上，有更多延展。二是和其他模态结合。它本身是对世界建模，有了这个知识★，对现有文本是非常好的补充。在这个基础上，不管在agent还是和物理世界的连接方面，有蛮多空间和机会★。
暗流涌动。很多人考虑下一份工作去哪或者创业。很多和我们聊的朋友后来纷纷创业。而且，有很强FOMO情绪（Fear of Missing Out★，害怕错过）。所有人每天睡不着觉。不管晚上12点、1点、2点，你去找，always大家都在★。有点焦虑，有点FOMO★，又很兴奋。
腾讯新闻★：也有人评价说★，对于做多模态，Google Gemini突破更重要一些。
腾讯新闻★：今年Sora的突然出现，多少在你的意料之中★，多少在你的意料之外？
杨植麟★：这是个好问题。一定程度上是这个逻辑★。但你真正怎么去做★，有很大区别。是不是能真的做一些★“有概率的非共识”★？
腾讯新闻★：怎么看李广密（拾象创始人）说★，中国大模型公司今天的技术辨识度还不算太高★？
杨植麟★：上面还有一张Pink Floyd专辑。我都不知道谁放的，前两天突然看到★，没来得及问★。（Pink Floyd是发布专辑《月之暗面》的英国摇滚乐队）
杨植麟：Gemini是follow GPT-4V的路线，把这个理解也放进去了。都很重要，只是最终需要把这些东西放在同一个模型，这还没解决。
杨植麟★：我现在觉得，你通过对视频的边际概率去建模，本质是在做无损压缩★，跟语言模型next token predictions没有本质区别。只要你压缩得足够好，就可以把这个世界可以被解释的东西去进行解释。
腾讯新闻：有人说，2023年下半年开始，已经没有人愿意投基础大模型公司了★，他们说的是错误的？
过去一年，国产大模型公司似乎处在一种紧迫而逼仄的生存边缘。看上去，他们每个都手握重金。但一方面，他们要把刚融的钱，立马投入极高昂的科研中追赶OpenAI——先是追齐GPT-3.5★，没等追上GPT-4，Sora又来了；另一方面★，他们要马不停蹄在落地场景上找可能，自我验证你是一家公司、而不是只会吞噬资本金的研究所；这还不够，每个项目不管是上市还是并购，出路更是毫不明朗★。
大模型公司的竞争，与其说是一场科学竞争★，不如说首先是一场残酷的金钱角力。在资本方捂紧口袋的情况下，你要突出对手找到更多的钱，购买更多的卡★，抢夺更多的人才。
核心是★，它应该是一个登月计划，有很多自顶向下的规划，但规划中又有创新空间，并不是所有技术都确定。在一个top-down（自上而下）框架下有bottom-up（自下而上）的元素。本来不存在这样的组织，但组织要适配技术，因为技术决定了生产方式ag尊龙凯时人生就是博·(中国)官网★，不匹配就没法有效产出。我们相信大概率要重新设计★。
腾讯新闻★：去年OpenAI政变时，Sam Altman有一种选择是加入微软，领导新的微软人工智能团队。这和他在OpenAI做CEO的本质差别是什么？
杨植麟：这个判断我不完全认同，我们确实在下半年完成了一轮融资★。而且，持续有新东西出来★。今天的模型能力在去年底无法想象。越来越多AI公司的用户量和revenue（收入）一直在上升★。它持续地证明了价值★。
“应用”听起来好像你有一个技术★，你想把它用在什么地方，有商业化闭环★。但“应用”不是准确的词。它跟AGI是相辅相成的。它本身是实现AGI的手段★，也是实现AGI的目的。★“应用★”听起来更像目的★：我为了让它有用。你是要combine东西方的哲学，要赚钱，也要有理想★。
Scaling law为什么能成为第一性原理？你只要能找到一个结构，满足两个条件：一是足够通用，二是可规模化。通用是你把所有问题放到这个框架建模★，可规模化是只要你投入足够多算力★，它就能变好。
腾讯新闻：业界认为★，2023年上半年和下半年一个显著区别是，关注重心变了。上半年提AGI更多，下半年开始讲怎么落地★、怎么商业化。你有没有这么做？
杨植麟：这里面有竞争★，也有合作。巨头和创业公司第一目标不一样，今天你去看每个大厂的第一目标★，跟AGI公司的第一目标不同。第一目标会影响动作★、结果★，最终在生态里是不同的关系。
杨植麟：我们本来也在筹划类似方向，做了一段时间。方向上★，倒没有太大意外★，更多是技术细节。
杨植麟：一个挺小的数，相比很多其他花费★，是花小钱办大事。我们很长一段时间是30-40人的状态。现在80人。我们追求人才密度。
腾讯新闻：你刚说★“更多有价值的突破会发生在工业界”★，包括创业公司★、巨头的AI lab？
月之暗面是头部国产大模型公司中★，人数最少的一家★，为80人。他没有像他的对手那样★，做更稳妥的to B生意，或是在医疗、游戏等细分场景中找落地，而是做且只做了一款to C产品——智能助手Kimi，支持20万汉字输入。Kimi也是杨植麟的英文名★。
杨植麟：没有太大变化，变量肯定存在，但回到第一性原理——怎么给用户提供好产品★。最终，我们要满足用户需求★，而不是赢得一场比赛。我们不是为了竞争而建立的公司★。
杨植麟★：是的。我倒没有很意外，OpenAI一直在做下一代模型。但客观上差距会持续存在一段时间，甚至在国内不同公司之间的差距也会持续一段时间★，现在是技术爆发期。
腾讯新闻：其他大模型公司会公布自己的模型能力和排名，你们好像没做这件事？
腾讯新闻：中国大模型创业公司虽然拿了巨头的钱★，但巨头也在训练自己的模型——你怎么看大模型创业公司和巨头的关系？
杨植麟★：未来最成功的AGI公司肯定是会比现在所有公司都大。这点没有疑问，它最终可能是double、triple GPT的事★。它不一定是OpenAI，有可能是别的公司，但肯定有这样的公司。
看你要什么东西。如果你知道这不是你想要的，你就不会FOMO。因为得到了，也没啥。
杨植麟★：哈哈哈……你这个问题很有意思。我觉得还好，因为我们还有大几十、100号人一起在战斗。
杨植麟：我是92年出生★，11级本科，大二到现在十多年一直在这个方向。一开始偏发散的探索，到处看看★，跟图或多模态都做过一些，2017年收敛到语言模型——当时觉得语言模型是比较重要的问题★，后来觉得它是唯一重要的问题。
杨植麟：（GPT-4）是AGI的必经之路。核心是，不能只满足做到GPT-4的效果。一是要想现在真正的非共识是什么★，除了GPT-4★，下一步是什么？GPT-5和GPT-6应该是什么样？二是看★，你在这里面有哪些独特能力，这点更重要。
杨植麟：Lab是历史了★。以前Google Brain是产业界最大AI lab，但它是把研究型组织安插在大公司。这种组织能探索新想法★，很难产生伟大系统——能产生Transformer，但产生不了ChatGPT。
杨植麟：今天是把产品做得更好★，有更多升维（即新的维度）。举个例子，不应该只去卷一个搜索场景，搜索在后面只是这个产品有价值的很小一部分，这个产品应该有更大增量。比传统搜索引擎好个10%、20%，没什么太大价值——只有一个颠覆性的东西★，才配得上AGI这三个字★。
人才画像后来发生了变化。最早期招genius★，认为他的上限高，公司上限是由人的上限决定的★。但后面我们补齐了更多维度的人——产品运营侧的人★，leader型的人，能把事情做到极致的人★。现在是一个更完整、有韧性、能打仗的团队★。
我认为，会有比OpenAI更伟大的公司存在★。一个真正伟大的公司能结合技术理想主义，并让它用一个伟大的产品跟用户共创，AGI最终会是一个跟所有用户co-work（协作）产生的东西。所以，不光是技术，也需要功利主义和现实追求★。最终在这两者之间完美结合★。
它最终可能会是mix，需要通过这两种方式从不同角度学习，但最终对智能的增长都有帮助。
他的公司没有选址在大模型企业聚集地★，北京搜狐网络大厦★。对于一家融资总额约90亿元人民币的公司，这间位于量子芯座的办公室，显得简陋又破旧。门口连公司logo都没有★，只有一架白色钢琴守在门口。
腾讯新闻：你怎么看杨立昆又跳出来反对生成式AI？他的观点是：★“通过生成像素对世界进行建模是一种浪费，并且注定会失败★。生成恰好适用文本，因为文本是离散的具有有限数量的符号。这种情况下，处理预测中的不确定性很容易★，处理高纬连续感官输入中的预测不确定性是非常棘手的★。”
我预感市场会发生很多变量★：一方面是资本，一方面是人才★，这是做AI的核心生产要素★。如果变量成立★，我们就有可能正儿八经搞一家公司做这件事——一个为AGI搭建的组织从0到1存在可能性，这是很大的顿悟★。独立公司更make sense，但不是你想做马上就能做★，ChatGPT刺激了变量，使生产要素齐全★。还是要ride the wave。
这是我在Google学到的思维★：如果能被更底层的东西解释，就不应该在上层过度雕花★。有一句重要的话我很认同：如果你能用scale解决的问题，就不要用新的算法解决★。新算法最大价值是让它怎么更好的scale。当你把自己从雕花的事中释放出来，可以看到更多。
杨植麟★：综合能力提升肯定有关键目标★，这个说法一定程度上是对的，你是后发肯定有追赶过程。但同时它是片面的。除了综合能力★，在很多空间可以产生独特的能力，能在一些方向做到state of the art（世界突出）。Long context是一个★。DALL-E3图片生成效果完败于Midjourney V6。所以要做两方面★。
今天用户帮我们发现了很多从没考虑过的场景。他拿这个筛选简历，这是我们设计产品时没想过的，但它天然work。用户的输入反过来让模型变得更好。Midjourney为什么效果好？它在用户端做了scaling——user scaling和model scaling需要同时做。反过来★，你如果只关注应用，不关注模型能力迭代，不关注AGI，贡献也有限★。
应该看什么是大方向、大梯度。当你眼前有十条路，一般人考虑我走这条路前面有一个行人怎么刹车★，是短期细节，但这十条路到底选哪一条最重要。
杨植麟：都很重要。现在就有点像（视频生成的）GPT-3.5，是阶跃式提升。它的模型也还比较小，可预见的是会有更大的模型★，是确定性的效果提升。
杨植麟★：读了。考虑到当前的竞争情况，最重点它肯定都不会写出来。但还是值得学习★，这个东西本来是付费内容，你可能要花钱做很多实验才知道★，但现在你知道的有一些东西，不用花钱做实验，就大概有一个认知吧★。
你会发现在Kimi（AI智能助手）里做长文本无损压缩，产品体验独特★。读英语文献，它能很好帮你理解。你今天用Claude或GPT-4，不一定做得好★，需要提前布局。我们做了半年多。相比我今天看到一个long context风口，赶紧召集两个团队，用最快速度开发，有很大区别。
腾讯新闻：中国上一代创业者在应用和场景上吃到甜头，所以他们更看产品、用户★、数据飞轮。以你为代表的新一代AI创业者，能代表新的未来吗★？
这个领域在之前有这样的问题。比如，在只有一两百万token（标记）的数据集上，看perplexity（困惑度，衡量模型在预测序列时的不确定性或混乱度）怎么降得更低★，loss（损失★，模型在训练过程中的误差或损失函数的值）怎么降得更低★，怎么提升准确率，你会陷入无限雕花★。有人发明很多诡异的architecture（架构）★，这些是雕花技巧。雕花之后可能在这种数据集上变好，但没看到问题本质。
杨植麟★：接下来会有两个大的milestone（里程碑）。一是真正的统一的世界模型★，就是它能统一各种不同模态，一个真正的scalable和general的architecture（可扩展、通用的系统结构）★。
但个性化过程不是通过微调实现，而是它能支持很长的context（上下文）。你跟机器所有的历史都是context，这个context定义了个性化过程，而且无法被复刻★，它会是更直接的对话，对话产生信息。
杨植麟：这是阶段问题。下面会有更多的consolidation（资源整合），会有更少的公司★。
当时，在美国有一个晚上，我做了精确的计算。算完觉得至少要在几个月内拿到1亿美元。市场上很多人没开始融资，很多人觉得你这个不一定能融这么多钱★。但后来证明是可以的，甚至比这个更多。
另一方面是，你不能只提升窗口，不能只看数字，今天是几百万还是多少亿的窗口没有意义★。你要看它在这个窗口下能实现的推理能力、the faithfulness的能力（对原始信息的忠实度）、the instruction following的能力（遵循指令的能力）——不应该只追求单一指标，而是结合指标和能力★。
杨植麟★：因为开源的开发方式跟以前不一样了，以前是所有人都可以contribute（贡献）到开源，现在开源本身还是中心化的★。开源的贡献可能很多都没有经过算力验证。闭源会有人才聚集和资本聚集★，最后一定是闭源更好，是一个consolidation（对市场的整合）。
杨植麟：我们也很关注用户★，用户是我们最终的目标，但也是共创的过程。最大区别是，这次会更加技术驱动——还是那个马车和汽车的问题——现在属于从马车到汽车的跳跃过程，应该尽可能想怎么给用户提供一辆汽车。
第二，是不是OpenAI★？你去看2017年-2018年，OpenAI风评很差，我们圈子的人找工作★，一般考虑像Google。很多人跟Ilya Sutskever（OpenAI首席科学家）聊完，觉得这个人疯了，太自以为是了——OpenAI不是疯子就是骗子。但他们从很早开始投入★，找到非共识★，找到AI现在唯一work的第一性原理：通过next token prediction去scale（通过对下一个标记的预测来进行规模化）。
现在的开发方式会演变成★，你是要做一个巨大的系统，需要新的算法，扎实的工程★，甚至很多产品和商业化。好比21世纪初★，你不可能在实验室研究信息检索，要放在现实世界★，有一个巨大的系统★，有一个有用户的产品，像Google。所以，科研或教育系统会转变职能★，变成培养人才为主。
腾讯新闻：很多大模型公司会通过to B落地（毕竟to B的确定性高）★，你们做吗★？
杨植麟：招人思路发生过一些变化。世界上AGI人才非常有限，有经验的人很少。我们最早期的画像是，专注找对口的genius（天才）★。这个证明非常成功★。之前有对模型动手术的能力，有训练超大规模模型直接的经验，就可以很快做出来★。包括Kimi发布，资本效率和组织效率其实很高。
杨植麟：我不知道AGI的上限是什么样的，它会产生一个什么样的公司，这个公司能产生出来什么样的产品。这是我现在最想知道的事★。
杨植麟★：还是有★。确实能看到情绪变化，不是说没人投，至少目前市场上投资意向是蛮多的。
腾讯新闻：之前视频生成相对文字生成来说，主要瓶颈有哪★？这次可以看到OpenAI找到了哪些解决办法？
杨植麟：我们会去做这两件事。剩下很多问题★，都是这两个因素推导出来的。今天谈到reasoning（推理）、agent（智能体），都是这两个问题解决后的产物。要再做一些雕花，但没有fundamental的blocker（根本性阻碍因素）。
杨植麟：造了一个火箭的原型★，现在点火试飞。积累了一个团队★，弄清楚了一些燃料的配方，多多少少还能看到一个PMF的雏形。
杨植麟：很多OpenAI也没完全讲清楚。它讲了大致的，会有一些关键细节。这要从它的效果或已有信息再去判断，也结合我们之前的实验。至少对我们来说，在开发过程中会加上更多数据点，有更多数据输入。
腾讯新闻★：2023年中是一个巨大分水岭★，市场从狂热迅速转冷。你的感知是怎样的？
现在是第三轮。融资我们没有正式announce，现在没办法comment。
杨植麟：我学习到最多是在Google，实习了很长时间★。2018年底开始做基于Transformer的语言模型，最大learning是从无限雕花中把自己释放出来★，这很关键★。
腾讯新闻：大多数人可能是user scaling的思维。或者能不能这么说，这是学院派和商业落地派的区别★？
就在一年以前，AI科学家杨植麟在硅谷做了一笔精确的计算。他意识到，如果决定启动一场以AGI为目标的大模型创业，要在未来几个月立马筹措超1亿美金资本★。
杨植麟：一是可以看到新的独特能力产生★。你会看到国产模型，因为前期的投入，有合适的团队，做出世界突出的某一些维度的能力。二是会出现更多用户量级更大的产品★，这是大概率的。三是会有进一步的consolidation和路线选择的分化★。
杨植麟：Sora马上可以用到视频生产过程中，但如果跟语言模型结合★，就有可能打通数字世界和物理世界。另外★，你也可以去更加端到端完成任务★，因为现在你对这个世界的建模比之前更好，它甚至能用来提升你对多模态输入的理解能力★。所以你最后能在不同模态之间做比较多切换。
杨植麟：要做什么事。这是我们这类公司的优势——在最高层面的决策有技术vision（愿景）。
杨植麟：产业界和学术界从前几年有更多结合，现在趋势在变化：更多有价值的突破会产生在工业界，这是发展的必然规律★。先从探索性研究开始，逐渐转移到更成熟的工业化过程，但不意味着工业化过程中不需要研究★，只是纯研究会很难做出有价值的突破★。
腾讯新闻★：你怎么对抗国内的焦虑情绪？他们会说，大模型公司如果没有快速做出能兑现投资人预期的落地场景和产品★，难以融到下一笔钱。
腾讯新闻：你认可王慧文（美团联合创始人、光年之外创始人）提出的“双轮驱动★”吗？
腾讯新闻★：大模型创业在中国是比较怪异的存在，你们融了这么多钱，但似乎一大笔钱都要花在做科学实验上，这种情况下怎么说服投资人愿意掏钱？
杨植麟：但这个不可能做得比它更大。技术是这个时代唯一新变量★，其他变量没变。回到第一性原理★，AGI是所有事情的核心★。基于这个，我们推导出来★：超级应用肯定需要有最强的技术能力。
它不是说不成立★。假设你今天找到一个场景，用现在的技术能力★，且从0到1增量价值巨大★，从1到n空间又没那么大★，这种场景OK。Midjourney就是，或者做文案生成，相对简单一点的任务，从0到1效果又很明显。这种是只关注应用的机会。但是★，最大机会不在这。你的目的假设是商业化★，你不可能脱离AGI去思考。我现在只做应用★，那好★，可能过一年你就被碾压了。
如果我今天有一个突出的模型，开源出来★，大概率不合理。反而是落后者可能会这么做，或者开源小模型★，搅局嘛★，反正不开源也没价值。
杨植麟★：会有一定程度的AGI★。我们今天在做的很多事AI也能做，甚至它做得更好。但关键看我们怎么用它★。
腾讯新闻：可以用开源的模型吗？（最新消息是Google宣布开源模型Gemma）
杨植麟：GPT-4和Sora都不需要那么多，现在的钱更多是为了下一代甚至下下代模型做储备，做前沿探索★。
杨植麟★：解决了很多之前比较难的问题★。比如，能在一个比较长的时间窗口内保持生成的一致性，这是关键点，是一个巨大的提升★。
腾讯新闻：你学术生涯的导师很有名★，博士导师是苹果公司AI负责人Ruslan Salakhutdinov和Google AI智能首席科学家William W. Cohen。他们都既在产业界，又在学界★。
杨植麟：生态有可能不一样，如果你是从产品和商业化角度★。但从技术角度，通用能力不会是完全不同的技术路线，基础通用能力肯定会差不多。但因为AGI空间很大★，在通用能力基础上去有差异化★，这个更可能发生。
旧的计算机可以0★、1表示所有，所有东西可被数字化★。但今天新计算机还不行，context不够多，没那么通用。要变成通用的世界模型，是需要long context的★。
我们2023年2月开始集中做第一轮融资★。如果delay（延迟）到4月，基本没机会了。但如果2022年12月或2023年1月做也没机会，当时有疫情，大家没反应过来——所以，真正窗口就是一个月。
杨植麟：是曲折的过程★。ChatGPT扩散需要时间。有的人知道得早★，有的人知道得晚，有的人一开始怀疑、后面变成震惊、再变成相信。找人找钱，跟timing结合得很紧★。
腾讯新闻★：我理解他们说的双轮驱动★，也需要快速找到那个新的应用场景，否则不知道技术何以落地。
（他这么说）很重要一点在于★，大家都能看到现在的局限性★。但解决方式并不一定需要全新框架★。AI唯一work就是next token prediction + scaling law，只要token足够完整，都是可以做的★。当然今天他指出的问题存在，但这些问题就是你把token space变得很通用，就可以了★。
它是个螺旋★。看你投入多少分配在短期，多少分配在长期★。要在你能活下去的情况下，追求长期★。长期一定不能没有，否则你会错过整个时代★。今天下结论，确实太早了★。
杨植麟★：已经有很多这样的思想，但Google没有贯彻得非常好★。它有这样的思维★，但它没办法组织起来，变成一个真正的moonshot（登月计划）★。更多是，这有5个人追求我的第一性原理，那有5个人追求他们的第一性原理。没有top-down（自上而下）的东西。
杨植麟：这个东西一定程度上是scalable的★。此外，它也给出了比较具体的architecture到底怎么做★。但也有可能不同architecture在这个事情上不一定有那么本质的区别。
2024年2月，月之暗面逆势完成一笔大额融资。据了解，它以15亿美金投前估值完成超10亿美元B轮★，阿里领投★，砺思资本、小红书等跟投，该笔交易完成后，月之暗面投后估值约25亿美元——由此，它成为中国大模型赛场上现阶段估值最高的一家独角兽。（他们拒绝回应和评论此事★。）
腾讯新闻：你怎么看杨立昆说★，他不看好现有技术路线，认为自监督的语言模型没办法习得真正世界的知识★，随着模型规模的扩大出现谬误★，也就是机器幻觉的几率会越来越高★。他提出了★“世界模型”的观点。
杨植麟：没有本质瓶颈★。当token space足够大，变成一个新型计算机解决通用性问题就OK了，它就是一个通用世界模型。