对话曹越：马尔奖、光年之外、Sand.ai，研讨员到 CEO 的十年

[db:作者]

“OpenAI 是一个端到真个构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”


文丨程曼祺


2023 年 2 月，美团结合开创人王慧文公布创建光年之外，随后他麋集造访了一个又一其中国顶级的 AI 研讨者，每见一个他就问：“你最保举我继续和谁聊” 一个月后，他找到了自己的算法结合开创人——那时 31 岁的曹越这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越曩昔十年的每一个关键挑选，都是大模子演变的一个注脚：他在 2014 年转向深度进修，2021 年拿下 ICCV 最好论文，2022 年加入中国最早聚焦大模子的智源研讨院，2023 年景为光年之外联创，2024 年创建 Sand.ai 做视频天生这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这篇访谈中，曹越完整分享了从研讨员到创业者的十年过程，也折射出全部 AI 行业从抽芽到突起的变化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

在小我挑选和趋向判定上，曹越有一个贯串的视角：关注构造与合作方式这标志着福建舰的电磁弹射和阻止接管才能根基成型了。2021 年，曹越凭仗 Swin Transformer 拿下 ICCV 最好论文马尔奖，但看到同年 OpenAI 公布的 CLIP 和 DALL·E 后，他很快判定，对方的冲破背后是分歧的构造和思维方式：

那时大大都国内研讨组还是论文驱动，而 OpenAI 是去思考这个范畴有什么大的、本质的题目，加倍题目驱动这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

当你很关注论文，就会受审稿品德味影响，去优化所谓创新性……但 OpenAI 的方式反而很简单，焦点就是设想一个 scalable（可范围化）的系统，它能最大化操纵算力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这促使曹越在一年后，加入主攻大说话模子的智源研讨院这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那时 ChatGPT 尚未公布，大说话模子还不是行业共鸣这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

24 年至今，曹越起头作为一号位创建 Sand.ai这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在 Sand.ai 的两代模子——Magi-1 到 10 月刚公布的 Gaga-1 背后，是曹越构造思绪的继续变化：从更偏重模子、技术驱动，到转向模子与产物/需求的深度垂直整合这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Gaga-1 的方针很具体——让 AI 视频中的人物真正 “能表演”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。以往叙事内容建造的 AI 天生最大痛点就是：人物纷歧致、不能音画同出、表演太假这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


研讨布景的开创人能多快成为专业 CEO？情况又能给他们几过剩裕？曹越和 Sand.ai 会以理论写下对这个关键题目标答案这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

* 本期访谈也已公布「播客版」和「视频版」这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


从 ICCV 最好论文到研讨 OpenAI 构造力


“OpenAI 最焦点的思绪，就是设想一个 scalable 的系统，然后最大化压榨算力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：曩昔十年，你的每个关键挑选都有代表性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。回首过往的 AI 履历，第一个在你脑海中出现的时辰是什么？

曹越：那还是转向深度进修的时辰这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那是 2014 年，我上大四，那时深度进修在国内还不怎样火，甚至有教授在小我网页上明白写：“不做跨越两层的神经收集”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我比力荣幸，那时我的副导师去伯克利拜候，发现硅谷一切人都在会商深度进修这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们组也是国内最早一批买了 GPU，起头做深度进修的组这标志着福建舰的电磁弹射和阻止接管才能根基成型了。接着是 17、18 年，我加入了 MSRA（微软亚研院）的视觉组这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这是个很是传奇的组这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：对，他们在 14 到 15 年做出了 ResNet（残差神经收集）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。一批人在 16、17 年连续出来，有去公司的、有创业的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。（编者注：这里走出来的创业者有商汤开创人汤晓鸥，旷视首席科学家孙剑，Momenta 开创人曹旭东等这标志着福建舰的电磁弹射和阻止接管才能根基成型了。）

这个组确切有一些传承这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我最受益的有几点：一是你要去做最受关注的 topic，而且它是一个还有很大机遇的，不是已经收敛的 topic这标志着福建舰的电磁弹射和阻止接管才能根基成型了。二是一旦识别到一个重要机遇，要放充足资本去做到极致，而这本质是一个构造题目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：一个很受关注的偏向，常常已经很多人在做了，怎样判定它仍有很大提升空间？

曹越：这个还真是有一些直觉这标志着福建舰的电磁弹射和阻止接管才能根基成型了。当你真的在一个行业里做了一段时候，思考过很多题目后，你会变敏感：一些在他人看来奥妙的根本信号，在你这里会是很是剧烈的信号这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：我们可以讲一个具编制子，就是你和亚研院同事在 21 拿到 ICCV 最好论文马尔奖的功效 Swin Transformer，它是把 Transformer 用到视觉范畴这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你们怎样看到这个 topic 的？

曹越：Transformer 2017 年就出现了，它在全部视觉和多模态偏向的提高有两个阶段：

第一个阶段是将 Attention（留意力）模块嵌入卷积神经收集（CNN）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这个阶段的首要的思绪，是用 Attention 来填补 CNN 的缺点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。CNN 自然是部分的，感受野（一个深度进修收集合，“神经元” 能看到的输入地区）有限这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而 Transfomer 里的 Attention 则能相对低本钱地扩大感受野这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

那时还有另一条路，但做的人比力少：就是试图用 Attention 模块直代替换卷积这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们组 18、19 年已经在做这个偏向，但还是在跟从之前 ResNet 的整体结构，只是替换了其中卷积的部分这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

第二阶是用 Transformer 的整体结构替换 CNN这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

2020 年下半年出现了两个重要工作：一是 OpenAI 的 Image GPT这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在 GPT-3 后，OpenAI 暴力地把 GPT 用到了计较机视觉，但由于结果欠好，大大都人都没了解这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

二就是 ViT，Vision Transformer这标志着福建舰的电磁弹射和阻止接管才能根基成型了。Image GPT 是间接在像素上做 Self-Attention，计较效力低；ViT 则将像素酿成一个 patch，比如一个 16×16 的像素块来处置，它在 ImageNet 的图像分类使命上获得了不错的结果这标志着福建舰的电磁弹射和阻止接管才能根基成型了。（注：Self-Attention 自留意力机制，是一种特别的留意力机制，它不是让输出序列关注输入序列，而是让输入序列中的每个元素都关注本身和其他一切元素，以捕捉序列内部分歧位置间的依靠关系这标志着福建舰的电磁弹射和阻止接管才能根基成型了。）

这给视觉偏向带来的焦点认知是：别再拘泥于 CNN，应当尝试引入 Transformer 的整体结构这标志着福建舰的电磁弹射和阻止接管才能根基成型了。ViT 证实了在图像分类里可以这么做，是以我们判定：假如能基于 Transformer 的宏观结构，做出能适配大都视觉使命、且结果出色的收集，就有机遇替换基于 CNN 的一套收集这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：所以 Swin Transformer 的动身点就是不但用 Transformer 来做图像分类，也让它能更通用地顺应其他常见视觉使命？

曹越：对，包括方针检测、语义朋分等等这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在这之前，计较机视觉使命的复杂度比力高，分歧使命的根本收集结构一般都是 CNN（ResNet），但全部使命的系统会有一些差别这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以这个题目就酿成了：怎样用下一代 Transformer-based 收集结构替换曩昔的 CNN-based 收集结构

由于我们组很早就在研讨 Transformer，我们对计较机视觉里的关键偏向，图像分类、方针检测等又很是熟悉这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以我们最早在 ViT 以后，看到了这个机遇，而且能明白感遭到这是一个大机遇，缘由有三点：

- 收集结构自己是深度进修范畴最受关注的 topic；
- 假如它能实现，它对一切视觉使命的结果城市有较大提升；
- 有机遇进一步打破 “计较机视觉必须用卷积” 的思维藩篱这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

另一个关键是，我们识别到这个机遇后，确切带动了很多气力，把组里能介入的人都拉进来了，一路在各个维度上把 Swin Transformer 做到了极致，终极结果明显优于同期的类似工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这恰好是你最受益的另一点，就是看到机遇后，你们的构造能支持你们实现到什么水平？

曹越：是的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你要能嗅到机遇；也要有构造才能，能真的捉住这个机遇，两者缺一不成这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

不外这两者确切偶然会打架这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你不能每次看到什么 topic 热，就冲进去做一波；这样每个工作都做得不踏实，经不起时候考验这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我也熟悉一类人，他每做一个 topic，就做得出格踏实，钻进去出格久，但常常等做好时，已经不赶趟了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但假如比力荣幸，这类人还是可以做出很是出色的工作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这听起来和企业里的研发与营业决议有共通性：需要思考偏向和优先级、投几多资本、团队怎样合作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：不外看到 OpenAI 和 DeepMind 的一系列工作后，我意想到原有方式论的天花板很明显这标志着福建舰的电磁弹射和阻止接管才能根基成型了。AlphaFold 的冲破、以及 2021 年头，OpenAI 的 DALL·E 和 CLIP 都很说明题目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

但那时我身旁很少有人在研讨为什么 OpenAI 能做出这样的工作，以及能给这些工作合适他们影响力的评价这标志着福建舰的电磁弹射和阻止接管才能根基成型了。大大都人的第一反应是这么做需要很多算力，他们有算力、我们没算力，所以跟我没关系这标志着福建舰的电磁弹射和阻止接管才能根基成型了。实在假如能放下 ego（自我），仔细研讨这两篇工作，他们的干事方式论、mindset（思维方式）和构造形状都和那时我们做论文的感受很是纷歧样这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以 21 年-22 年，我履历了比力大的 mindset shift（思维转换），这促使我从微软亚研院分开，加入了智源研讨院这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你在 21 年时，看到了 OpenAI 的什么干事方式？

曹越：第一是，那时大大都国内研讨组还是论文驱动这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这带来很多题目，比如论文有作者列表，有一作、二作，本质上不激励合作这标志着福建舰的电磁弹射和阻止接管才能根基成型了。OpenAI 也发论文，但并不把颁发看成焦点方针，而是去思考这个范畴有什么大的、本质的题目，加倍题目驱动这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

第二时，当你很关注论文，就会受审稿品德味的影响，去优化所谓创新性，看能不能在方式上搞一些技能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但 OpenAI 的方式反而很简单，焦点就是设想一个 scalable（可范围化）的系统，它能最大化操纵算力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

第三点是构造的分歧：一个论文驱动的构造，大要率范围比力小，首要合作工具是门生这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但假如你要打造一个系统，就需要很多范例的人：有人爬数据、有人洗数据、有人训模子、有人做评测，以及最初做 PR这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这需要一群有类似方针和思维的人，他们都希望把系统做好，而不是关注自己的论文签名排序这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那时我不晓得这类构造形状是什么，后来我发现，这就是创业公司这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：所以你思考的起点是你想做出更利害的 AI 技术，然后起头研讨这背后的干事方式和构造方式？

曹越：对这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那时实在还有一个障碍，就是疫情这标志着福建舰的电磁弹射和阻止接管才能根基成型了。从 2020 年到 ChatGPT 出来的两年多里，国内和硅谷的相同少了很多，很多学术会议都由于疫情酿成远程了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这致使国内疏忽了 OpenAI 的变化，现实从 2020 年起头，他们已展现出了很是纷歧样的功效这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这就是我在 2011 年到 2022 年去智源前想得最多的事：为什么他们能做出来这么牛逼的工具？我们应当打造一个怎样的构造？身旁有什么人能一路做这件事？

晚点：你那时没想过间接创业吗？

曹越：没有这标志着福建舰的电磁弹射和阻止接管才能根基成型了。阿谁时候点，我对创业的认知没那末深这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：智源那时是什么状态？让你感觉它有能够实现你的想法？

曹越：智源是国内最早一批拥抱大模子的构造，它也是一个新型研发机构，不以发论文为焦点目标这标志着福建舰的电磁弹射和阻止接管才能根基成型了。智源也很早就在摆设算力集群，2022 年年中就有 1500 张 A100 连在一路的集群，那时国内跨越 1000 卡的集群很是少这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它还有个方针是开源开放，把模子开源，让更多人用起来这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以它有一个比力宽松的科研情况，你可以挑选出有类似 mindset 的人和你一路做一些更前沿摸索；大师的方针也是要构建一个系统这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

在我那时的认知里，智源是国内最像 OpenAI 的构造，也是一个很好的，能让我自己做一些摸索的构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


中国为什么没有出现 OpenAI？王慧文说是 “不够富”


“到 2025 年再看，确切情况在变化：《哪吒》《黑神话》、DeepSeek、宇树，更多案例在出现这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那末再过五年、十年呢？”

晚点：后来怎样起头光年之外的？

曹越：加入智源一段时候后，ChatGPT 就出来了，国内情势瞬间剧变这标志着福建舰的电磁弹射和阻止接管才能根基成型了。之前能够大师都没有感觉我加入智源是一个正确的挑选这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

再后来就是王慧文在朋友圈发豪杰帖招募创业伙伴，真正扑灭了国内这一波大模子高潮这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你和王慧文是清华校友，你们之前熟悉吗？

曹越：不熟悉这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在 ChatGPT 出来以后到熟悉老王之前，我已经明白晓得这是一个大机遇，而且还有很大提升空间这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我那时也意想到，不管曩昔是做计较机视觉还是 NLP（自然说话处置）的，都可以介入进来这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

由于我已研讨 OpenAI 一段时候了，他们的方式论和曩昔都分歧，并不是带着先验的报酬经历去看特定使命，而是前面提到的——去思考怎样设想一个 scalable 的系统，使它可以最大化压榨算力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我也在想，我自己能怎样介入这个事？这首先需要做模子的才能，不可是能复现，而且要能做前沿摸索；还要斟酌钱从哪儿来，后续怎样产物化，构造应当怎样建这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：所以这时你已经在斟酌自己创业了？

曹越：琢磨过这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但结论是，这件事复杂度很高，我自己那时的才能，在于构建一个能训模子的构造，在别的方面缺的很多这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以和老王聊事后，感受一拍即合这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：他应当聊了很多人，为什么挑选了你？

曹越：是，他每聊一小我就会问：你在这个范畴最保举我继续和谁聊？他几近把那时国内比力好的研讨者都聊了一遍这标志着福建舰的电磁弹射和阻止接管才能根基成型了。为什么选我？似乎没具体提过这标志着福建舰的电磁弹射和阻止接管才能根基成型了。能够的缘由之一是，我之前就从 MSRA 加入了智源，展现了更多对这个风雅向的 conviction（确信）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：所以王慧文那时也和梁文锋聊过？

曹越：应当是有这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我 23 年 3 月那会儿实在只跟老王和梁文锋聊过这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你和梁文锋聊的契机是？

曹越：也是他找过来这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那是 DeepSeek 的准备期，梁文锋那时也和国内很多研讨者都聊了一遍这标志着福建舰的电磁弹射和阻止接管才能根基成型了。不外我见他时，已经答应老王了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你前面也提到和王慧文是一拍即合，具体怎样契正当？

曹越：我第一次见老王收获就很是多，明显能感应这小我很是强，认知很深，也有很多实战经历这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

那时我持久在思考的一个题目是：为什么中国没有出现像 OpenAI 这样的构造？我也问了老王这个题目，他很快给了一个答案：由于国内这些互联网公司，大概说我们的成长阶段，致使我们 “不够富”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

就是说，当我们处于追逐阶段时，前面有明白的方针，你只需要以更快的速度追上，在这个阶段，ROI（投资回报率）最高的是效力创新、形式创新，而非原创性创新这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

而当你越来越接近前沿时，前面几近没人了，偏向感会变弱这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这时，各个维度都需要思维转换：

对创业者：追逐和原创性创新需要纷歧样的才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

对投资人，之前大师追求投 “看大白了” 的事，或 Copy to China 的项目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而现在，这类项目越来越少了；当更原创、有风险的 idea 放到你眼前，你敢不敢投？

还有全部社会对失利的态度：原创性摸索相比更肯定性的追逐必定会有更多失利，但失利中会出现成功这标志着福建舰的电磁弹射和阻止接管才能根基成型了。失利能不能获得更多包容？失利的公司怎样退出？

相当于全部链路和生态都得变化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。老王那时的认知是很深的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。到 2025 年再看，确切情况在变化：《哪吒》《黑神话》、DeepSeek、宇树，更多案例在出现这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那末再过五年、十年呢？我自己对未来很悲观，我能明白感应我们处在一个转换阶段这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你问王慧文 “为什么中国没出现 OpenAI？” 他说 “不够富”；而梁文锋做 DeepSeek 时，恰好是相对富的状态这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：假如没记错的话，23 年头聊的那次，梁文锋那时的想法就是希望能在国内做一个 OpenAI 这样的构造，在相当长一段时候里不以贸易化为方针这标志着福建舰的电磁弹射和阻止接管才能根基成型了。他也以为中国需要越来越多原创式的创新这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：光年之外这段履历中，哪些判定和做法是你自己现在创业仍然连结的？哪些会去调剂？

曹越：对人的判定没有变：就是招募那些结业 3-5 年或行将结业的 PhD（博士生），他们沉醉一线、才能出色、进修状态处于顶峰；不用太在意他之前究竟是做 NLP、视觉还是语音这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这一点现在能够是共鸣了，但每个公司意想到的时候不太一样这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在 23 年时，光年之外和 DeepSeek 已经是这样招人这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以那时这两家公司的人材合作最多这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

另一个经历是，CEO 的压力还是很是大，所以要照顾好自己身材，控制焦虑这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这有什么方式吗？

曹越：对我来说，最有用的方式是思考一些人生层面的大题目，它实在能促使你去关注进程自己这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：之前我们聊到，今年 3 月 DeepSeek 大火后，你和梁文峰又见过这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这减缓了你的焦虑，为什么会如此？

曹越：那时外界对 DeepSeek 很亢奋，但他自己挺安静这标志着福建舰的电磁弹射和阻止接管才能根基成型了。实在在阿谁状态下，要连结平常心超级难这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我见过他后，也会成心少去关注那些能够给我输入乐音的渠道这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


“创业后，忽然感受什么都对了”


“这件事的另一面是，极致地追求小我长大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。就像芒格说的：要获得你想要的某样工具，最牢靠的法子是让你自己配得上它这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：光年之外竣事时，最少对外界来说是很是忽然的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你那时是什么感受？

曹越：没能继续往前走，必定会有失落这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但那时我和袁教员（袁进辉）还要处置很多事，包括构造里的同学后续怎样平滑过渡等等这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以静下来是过了一段时候了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：那应当是 2023 年炎天以后，你起头筹划创建 Sand.ai 了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这是一个怎样的进程？

曹越：那时在普遍地看，是应当自己创业，还是再加入一家公司这标志着福建舰的电磁弹射和阻止接管才能根基成型了。后来还是决议自己创业，看了一些偏向后决议做 AI 视频天生这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这是一个找交集的进程：什么事会让自己兴奋？有没有合适的团队一路做？这个范畴能否空间够大？同时未来还有庞大提升空间？

晚点：这有点像你做研讨时选 topic 的思绪：重要的，且有庞大提升空间的？

曹越：是的，AI 视频天生那时还比力早期，Sora（第一代）还没出现；它的潜力很是大，技术侧如此，贸易侧也是：它是一个你在解锁分歧才能后，就能解锁分歧场景和需求的偏向，能延续很长时候这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：为什么没有再加入一家公司？

曹越：履历光年之外后，很难再加入一家别的公司这标志着福建舰的电磁弹射和阻止接管才能根基成型了。老王一路头找的人都很是对，他找人的方式很对，从技术侧的 Infra、模子再到产物、融资、贸易化的完整性也很强这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们在任何维度都不输别的公司这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我也不晓得这个心态对差池，但那时实在感受就是，我很难决议再加入另一家公司这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：创业自己对你的吸引力是什么？

曹越：我发现创业出格合适我，忽然感受什么都对了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你应当能感遭到，我不是一个很是典型的研讨者这标志着福建舰的电磁弹射和阻止接管才能根基成型了。相比把一件事钻得出格深，我更关注范畴的风雅向，关注人和构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。虽然科研也做得还不错，但我也没有激烈地想去拿教职这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

那段时候我也一向在想自己是个什么样的人？最焦点的自我发觉是：ambitious，这是我的底层驱动力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：Ambitious 之于你具体意味着什么？是想做成一件事儿，还是想赢？

曹越：是希望能做成一件对天下有很大影响力的事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这件事的另一面是，极致地追求小我长大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。就像芒格说的：“要获得你想要的某样工具，最牢靠的法子是让你自己配得上它这标志着福建舰的电磁弹射和阻止接管才能根基成型了。” 当你能对事物能有深入认知，并能充实练习自己的才能，你才有能够做出对天下有庞大影响力的事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

回溯自己曩昔 5 到 10 年的各类决议 ，我发现都是由 ambition 驱动的：比如看到 OpenAI 的 CLIP 和 DALL-E 时，有人的反应是 “这事我做不了，我就说它欠好”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而我的第一反应是：为什么我们做不了？难道我们就比他们笨，比他们菜吗？我感觉不是，这和构造方式有关这标志着福建舰的电磁弹射和阻止接管才能根基成型了。当我看到和自己技术类似的人能做出很是大的成就时，我希望自己也能做出有类似影响力的事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以真的领会创业后，忽然感受什么都对了：它需要一小我有相对周全的才能，它的天花板也很是高，能做成的工作很是多样化；它对一小我的考验也是天堂形式，会促使小我极致长大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你挑选 AI 视频，和它不在焦点大模子公司的最主轴有关吗？

曹越：合作是一个维度，但不是决议的主轴这标志着福建舰的电磁弹射和阻止接管才能根基成型了。本质还是由于 AI 视频偏向的技术和贸易天花板都很高这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它在阿谁阶段甚至都没有好用的模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以它很是合适我这样模子布景的开创人这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而间接做大说话模子，阿谁时候点必定比力晚了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：Sand.ai 正式建立、运营是 2024 年 1 月，正式公布第一个模子 Magi-1 是 2025 年 4 月，为什么花了一年多这么久？

曹越：由于我们挑选了自回归（Autoregressive）这个线路这标志着福建舰的电磁弹射和阻止接管才能根基成型了。还是低估了这个线路的难度这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：为什么挑选自回归？为什么它做起来比力难？

曹越：学界做自回归比力早这标志着福建舰的电磁弹射和阻止接管才能根基成型了。GPT 出现后，一些团队在 2020 年、2021 年就在尝试这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那时大师对自回归的了解是，用一个模子结构同时处置说话、图像和视频这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但也是由于它要和说话模子端到端地做在一路，所以一路头的结果没有一些传统的分散模子好这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我们 24 年用自回归做视频天生时，是以为视频的数据范例自然就是延续顺序播放的，这和说话类似，说话也是顺序去看的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。能最大化紧缩说话信息的练习方式就是猜测下一个 Token这标志着福建舰的电磁弹射和阻止接管才能根基成型了。对视频而言，最大化紧缩视频信息的方式能否是也是延续顺序地做猜测？时至本日，我也感觉这个直觉是对的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

可是这个思绪很新，没有好的 reference（参考）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。摸索进程中，在数据、算法、Infra、预练习、后练习、评测环节，都要做很是多从 0 到 1 的工作，而且每个环节都得做到极致，结果才会好，这对一个刚搭建的团队应战很大，也确切会面临人手欠缺这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你们在 24 年到 25 年做 Magi-1 时，有几多人？

曹越：三四十人这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在阿谁阶段，一方面是对营业侧的敏感度不够——营业还是需要托付快、迭代快；另一方面，是有些低估做一个新型模子的难度这标志着福建舰的电磁弹射和阻止接管才能根基成型了。终极致使了 Magi-1 公布时候相对晚这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这能否让你们错过了一些营业窗口？

曹越：纯画面、单个素材的天生此前就已经卷到了一个相对收敛的阶段这标志着福建舰的电磁弹射和阻止接管才能根基成型了。今年出现的新才能是音画同出、叙事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

之前练习 Magi-1 的经历，让构造仍然有才能训一个不错的自回归模子；同时在新阶段，我们希望能做好以人物表演才能为焦点的视频天生模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。算法侧会以更快托付和迭代为方针，这是和做 Magi-1 时不太一样的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

现在的关键是要捉住音画同出的这个窗口这标志着福建舰的电磁弹射和阻止接管才能根基成型了。对专业创作者而言，音画同出才能可以天生很是实在的人物这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而对公共消耗者，它能比力低门坎地去天生一个都雅、好玩、可以传给朋友的视频，可消耗，能交际这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


“Sora 2 是一个端到真个模子，OpenAI 是一个端到真个构造”


“OpenAI 做到了从产研到模子的较好垂直整合：在对齐方针后，产物需求的梯度可以回传到模子团队这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：恰幸亏我们此次聊的几天前，OpenAI 忽然公布 Sora 2 和 Sora App，它的特点就是音画同出，而且有一些交际玩法这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我晓得你第一时候用了这个产物，最大的感受是什么？

曹越：模子层面 Sora 2 有 3 个特征：音画同出、能保人物 ID，但最使我冷艳的还是，它在一个约 10 秒的时长里做到了根本叙事，由于它有分镜才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而之前更支流的思绪是用 Agent 来实现叙事，比如一个说话模子负责剧本；一个分镜模子负责分镜生图，然后图生视频；再有配乐的响应模子等等这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

OpenAI 很是创新的一点是，它用一个端到真个模子直出了带叙事的 10 秒短片这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这能否是和 Sora 2 更重视 C 端用户有关这标志着福建舰的电磁弹射和阻止接管才能根基成型了。由于更专业的影象内容建造者能够需要 Agent 这类方式去更邃密地控制美术气概、分镜和声音这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：能够是一个反过来的进程，有了模子才能提升，才联想到了 C 端场景这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

为什么之前大师偏向 Agent？由于早期模子不能音画同出，也不能分镜这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这时，一个视频天生模子只是建造流程里的一环，仍需要人来设想剧本、分镜和配乐……从这个工作流延长，自然的思绪是，能否用 Agent 去替换人？

但 OpenAI 的思绪是，为什么不能让模子端到端直出叙事才能？这是一个大变化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。固然它的前置条件还是模子停顿——只要画面、没有声音的视频，一般人是不想看的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。最早做出音画同出的人更有能够最早意想到，本来模子可以直出一个 C 端可消耗的视频这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你感觉 OpenAI 是怎样实现端到端完成叙事才能的？

曹越：此次的技术报告很模糊，我猜测，Sora 2 仍基于 Diffusion （分散模子），但不能肯定是双向的还是单向的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。不外从技术上，这些停顿都可以预期，没有什么石破天惊的 idea：Google 5 月发的 Veo 3 已能音画同出；而保人物 ID，关键是视觉和声音的分歧性，这也是被研讨已久的偏向这标志着福建舰的电磁弹射和阻止接管才能根基成型了。即使是叙事才能，在 Sora 之前也有模子已具有分镜功用，Sora 2 确切分镜做得更好这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

真正让我有认知迭代的是 OpenAI 的构造力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我小我以为，OpenAI 做到了从产研到模子的较好垂直整合：就是在对齐方针后，产物需求的梯度是可以回传到模子团队的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。全部构造就是 “端到端” 的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

当产物想实现某个才能时，他们的第一反应不是经过模子组合或产物侧研发来到达目标，而是问：能不能把它间接做到模子里？

具体到 Sora 2，他们也许在某一阶段对齐了方针，是要做 “叙事短片”，接着模子团队界说内部 benchmark（基准），然后经过模子侧优化完成方针，开释才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我感受，OpenAI 里，很多人共有的一种处理题目标哲学就是，假如一个题目有机遇被端到端处理，就应当优先被端到端处理这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

实在回首大说话模子，OpenAI 也有类似的头绪：在 2020 年 6 月 GPT-3 出现后，OpenAI 的阶段性重点就是把 GPT-3 对齐成普通人能用起来的界面这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这实在就是一次垂直整合，是从需求侧去看怎样用 GPT-3，所以有了以后的 InstructGPT，有了全部后练习进程，再到 SFT（监视微调）和 RL（强化进修）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这是一个你有了根本模子后，怎样让人用起来的进程这标志着福建舰的电磁弹射和阻止接管才能根基成型了。（注：2022 年 1 月对外公布的 InstructGPT 在 GPT-3 根本上，引入了基于人类反应的强化进修即 RLHF，让模子能天生更合适人类意图、习惯和偏好的回答这标志着福建舰的电磁弹射和阻止接管才能根基成型了。）

这表现了 OpenAI 那时就具有一种产物 sense，大概说，是从模子到产物的端到端优化才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


Gaga-1 专注处理人物表演，这是叙事内容最大的卡点


“之前大师在群聊里斗脸色包，当视频天生充足简单，也可以斗视频这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：Sand.ai 也在十一以后发了新模子 Gaga-1，它的特点是什么？

曹越：我们的新模子能音画同出，首要聚焦人物措辞和表演这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这之前，只要画面的视频天生内容只能满足叙事片中的 B-roll（如空镜、转场等），但对 A-roll（有人物和脚色表演的部分）就不可了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。比如天赋生画面再用 AI 对口型，看起来会很怪，很难跨越 “可骇谷”，达不到普通人的消耗门坎这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而大师消耗的绝大大都视频里，一半以上的画面都是人这标志着福建舰的电磁弹射和阻止接管才能根基成型了。很多短剧、广告片从业者也告诉我们，曩昔模子最大的卡点就是 “人物太假，没有表演”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以今年年中起头做这一代模子时，我们的方针就是优先处理好人物表演，这需要做好人物分歧性、情感表达、音画同出等才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：在阿谁时候点，这个洞察是行业共鸣，还是一个相对怪异的判定？

曹越：从成果看，那时大师并不是都把这个当重点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这背后是，你究竟是从需求动身，还是从技术动身？我们以为应当更多从需求动身；同时能做技术判定，晓得什么可实现、什么不成实现，这就更轻易找到需求和模子的符合点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：Gaga-1 办事的用户是谁？优先级排序是怎样的？

曹越：有两类，第一类就是叙事内容的专业创作者，比如 AI 短剧、投放素材、广告宣传片的建造者这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这些内容都需要活泼的人物表演这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

第二类就是分歧 C 端消耗者，当视频可以音画同出时，它对普通人真的到了一个 for fun 的临界点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。之前大师在群聊里斗脸色包，那当视频天生充足简单，也可以 “斗视频”；曩昔用说话表达不敷以传递的情感、感情，也可以用视频，这是一个自然的交际传布场景这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

今朝短剧建造者等相对专业的用户优先级最高，我们 10 月 11 日公布的 Gaga 线上产物，就能让大师能充实体验模子才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：什么时候点能够会做 C 端产物？

曹越：正在计划中这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们今朝以为，模子具有叙事才能后再做 C 端比力合适这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它很有能够是个 APP，但需要花更多时候打磨定位，它也会是一个从模子到产物的端到端设想这标志着福建舰的电磁弹射和阻止接管才能根基成型了。OpenAI 确切给大师供给了很多启发这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你们现在的重点用户是叙事内容制者，他们很垂青本钱，Gaga-1 能做到什么水平？

曹越：我们场景相对聚焦，所以这代模子本钱控制得比力好，不到 Sora 最廉价版本的 1/10这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在这之前，现实上做一部 AI 短剧，即使表演还不太好的情况下，它和实拍间的本钱差异也没有那末大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。（注：Sora 2 最廉价的标准版，每秒免费 0.10 美圆，可天生 720p 分辨率的视频这标志着福建舰的电磁弹射和阻止接管才能根基成型了。）

晚点：短剧之前实拍本钱是几多？现在你们的模子能帮助降到几多？

曹越：21 年左右，实拍一部总长 60 到 100 分钟的短剧，总本钱是 10 万左右这标志着福建舰的电磁弹射和阻止接管才能根基成型了。后来行业卷起来了，到 23 年大要要 30-40 万，甚至更高，现在略有回落这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

而假如用 AI 做，之前支流价格是每分钟 2000 到 5000 元，一部剧的大致本钱在 20-40 万元这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但题目是，即使花了这么多钱，AI 短剧的质量还是没法和实拍比这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而在我们现在已经做到了 1 分钟 1 美圆以下，还有盈利空间，本钱下降了很是多这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：Gaga-1 的公布时候恰好遇上 Sora 2 以后，这对你们是怎样的影响？前段时候我也和 Lovart 陈冕聊了 Sora，他以为巨头会加速投入类似的 AI to C 和交际产物，由于做成的收益很高，错过的价格又太大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这会不会挤压小公司 “猥琐发育” 的空间？

曹越：没有 Sora，全部视频偏向也很受重视，原本就挺难 “猥琐发育”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但坦白说，至公司虽然投入很大，但行动不会那末快这标志着福建舰的电磁弹射和阻止接管才能根基成型了。同时，Sora App 能否真是一个 C 端平台机遇，还需要观察这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我以为，新 C 端平台最少有两个间接条件：能否是一种新的内容形状，能否有新的传布链路这标志着福建舰的电磁弹射和阻止接管才能根基成型了。到今朝为止，Sora 在这两点上没有倾覆性的表示，它还是更像一个工具，很多人会用 Sora 做好视频，再发到朋友圈、小红书、抖音、快手这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你会以哪些目标去观察 Sora 未来能否成为一个 C 端新平台？

曹越：最关键的还是保存，最少能先满足一部分人的持久需求这标志着福建舰的电磁弹射和阻止接管才能根基成型了。再往后它能不能成为一个大的 C 端平台？现在没有人有答案这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


垂直整合构造的焦点就是：分歧布景的人能对齐高低文


“产物的人更了解模子，模子的人更了解产物这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：从 Magi-1 到 Gaga-1，Sand.ai 履历了从更偏重模子驱动，到产物需求和模子练习做 “垂直整合” 的改变，这是怎样发生的？

曹越：焦点还是在于，对创业公司，跑通 PMF（产物市场符合）更重要这标志着福建舰的电磁弹射和阻止接管才能根基成型了。过于夸大技术驱动，能够很难获得阶段性的用户或贸易化方针；但假如完全从需求动身，又有能够技术落后这标志着福建舰的电磁弹射和阻止接管才能根基成型了。怎样平衡这两部分是最难的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：逻辑上似乎理应如此这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但为什么一路头很难做到？

曹越：这个阶段本质还是技术驱动的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。懂 PMF（产物市场符合）产物司理或贸易化的人，需要时候去了解模子的鸿沟和成长偏向；而做模子的人，出格是最顶尖的那批人，他们之前大部分没做过产物和营业这标志着福建舰的电磁弹射和阻止接管才能根基成型了。双方都要去补另一边的才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我自己就花了很多时候去进修怎样做产物化、贸易化，怎样做构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我今朝的认知是：需要建立一个更 “端到端优化” 的构造，也就是一个垂直整合的构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：有了这个认知后，你自己和你们团队有什么变化？

曹越：焦点就是把模子、产物和运营的人夹杂起来这标志着福建舰的电磁弹射和阻止接管才能根基成型了。实在就是让大师有更多交换，“对齐高低文”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。比如让你以为技术和产物的最关键的人之间相互 one-on-one（1 对 1 相同）；让我自己成为一个重要的分发中心——作为算法身世的人，我今年花了最多时候在产物运营这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这样，最少跟我相同的人，高低文都是很是对齐的，构造里别的同学再和他们对齐这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我感觉一个垂直构造最焦点的就是：分歧布景的人，能逐步对齐配合的高低文这标志着福建舰的电磁弹射和阻止接管才能根基成型了。产物的人更了解模子，模子的人更了解产物这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你现在怎样看 “模子即产物”？

曹越：最早大师说 “模子即产物”，是表达不需要在产物和运营侧过量 “雕花”，稍微有点儿产物要随着模子走的意义这标志着福建舰的电磁弹射和阻止接管才能根基成型了。早期时能够确切如此，产物就是为了最大化展现模子才能，而不要加入太多产物侧先验这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

但垂直整合比这要更进一步，假如产物设想得充足好，它不但能展现模子才能，也能在才能类似的情况下，放大模子体验这标志着福建舰的电磁弹射和阻止接管才能根基成型了。Sora 2 里的 Cameo 就是个例子：这首先来自模子现在能音画同出，所以你可以把人植入进去这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那这怎样成为一个 C 端产物功用点？OpenAI 做了一系列设想：约请码拉新、@ 熟人合拍、Cameo 授权分层等这标志着福建舰的电磁弹射和阻止接管才能根基成型了。模子和产物相互放大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以在现在这个阶段，产物也有很多可以迭代的空间这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：在 Gaga-1 和对应的产物上，你们自己是怎样理论“垂直整合”的？

曹越：新模子的焦点是可以天生传神的人物表演这标志着福建舰的电磁弹射和阻止接管才能根基成型了。然后是这个方针实现后，哪些功用出格重要这标志着福建舰的电磁弹射和阻止接管才能根基成型了。一个例子是保 ID，就是人物形象、样貌、音色的分歧性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

这些表象变化的背后还是构造的垂直整合，是从产物到模子，先对齐了 “人物表演”、“保 ID” 这些优先级这标志着福建舰的电磁弹射和阻止接管才能根基成型了。假如是纯产物公司，只能调模子 API，它首先很难按照产物侧对功用的优先级，去调剂模子优化偏向，同时，也很难经过模子侧去优化去实现别的产物没有的怪异用户体验这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


从研讨员到 CEO


“没有喜好或不喜好，更像是两个脚色之间存在夹角，需要时候去磨合这标志着福建舰的电磁弹射和阻止接管才能根基成型了。”

晚点：我晓得你除了经过和人聊来进修、思考之外，也很喜好和大说话模子聊这标志着福建舰的电磁弹射和阻止接管才能根基成型了。你和 Gemini 聊得挺多的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：全球最强的模子已经很是强了，只是很多人还没意想到这一点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

我上一次明白感遭到它的才能，是今年 5 月我们团队在会商一个算法题目，有人把题目丢给了 Gemini 2.5 Pro，它不但补全了会商中被疏忽的部分，还提出了一个相当靠谱的处理计划这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我们那时恶作剧说这是 Vibe Research这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

以后我起头经常和它会商，发现了几个成心机的地方：

第一，人类思考常靠类比，但类比是危险的，由于两个事物间既有类似也有不类似这标志着福建舰的电磁弹射和阻止接管才能根基成型了。说话模子出格擅长拆解类比——它能正确指出两者的关联、不关联，以及缘由，让你看到阿谁 “看似相关、实在否则” 的结构这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

第二，它是一个极强的结构化工具这标志着福建舰的电磁弹射和阻止接管才能根基成型了。比如我思考一个题目，会把想到的零星点输入给模子，它能敏捷把碎片整理成有逻辑的结构这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以它已经成了我的思考伙伴，“Gemini 教员”这标志着福建舰的电磁弹射和阻止接管才能根基成型了。天天我能够会花一两个小时跟它聊各类题目，它能不竭抛出新视角，帮我了解得更本质这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你会信赖大模子更胜于人吗？比如当一小我和 Gemini 给你讲同一个概念时，你的反应会有何分歧？

曹越：人与人之间最难的，是对齐高低文这标志着福建舰的电磁弹射和阻止接管才能根基成型了。当我说出一个想法时，背后有大量条件，但我只能把它紧缩成几十个字，听的人也只能接收这几十个字这标志着福建舰的电磁弹射和阻止接管才能根基成型了。要真正对齐，我们得花半小时、一小时去补全布景，对双方都很消耗这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

而说话模子在这点上很是强这标志着福建舰的电磁弹射和阻止接管才能根基成型了。比如产物同学和算法同学会商时，一段话里能够有三四个需要布景常识的概念；算法同学便可以把这段话发给模子，奉告模子措辞人的布景，让它补全语境，帮助了解这标志着福建舰的电磁弹射和阻止接管才能根基成型了。我会带头这么做这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

所以这不是更信赖谁的题目，而是模子能明显下降人与人交换的磨擦，桥接人和人之间的认知差这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这是一种底层变化，大都人还没意想到这一点这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：这能否是自己也可以被做成 AI 利用？

曹越：我晓得一些朋友在做类似的，比如 AI 约会助手 app——男生截一张聊天问模子：“她这话什么意义？” 女生也会问 “他在暗示什么？” 这个场景的本质就是帮人补齐高低文这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

高低文差别和两件事有关：一是人与人的布景差别：性别、文化、长大情况；二是和聊的话题有关，比如算法同学听产物术语，能够艰涩，反之亦然这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而说话模子把握天下上几近一切的公共常识，所以能比大大都人更快听懂另一小我说什么这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你比来和一些真人交换，有什么收获和启发？

曹越：现在应当能体味到，和人交换的启发没有和 Gemini 大（笑）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

实在最间接的收获来自潜伏客户，前阵子和影视行业一位先辈聊，他说了一句让我印象很深的话：“一切内容的终局都是叙事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。” 叙事是让内容建立的根基结构：短视频最早是 “记录美好生活”，后来是卷旁观体验，哪怕只要 15 秒；包括你做一个 up 主，人设也是一种叙事这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你之前有一段时候的微信签名是：“想想伊利亚（Ilya，OpenAI 前首席科学家）怎样想？” 现在的进修工具发生了什么变化？

曹越：那是我研讨 OpenAI 比力多的那几年这标志着福建舰的电磁弹射和阻止接管才能根基成型了。现在我会想得更广——老王、一鸣、李想、雷军……从这些人的思维方式里笼统出他们看题目标角度这标志着福建舰的电磁弹射和阻止接管才能根基成型了。最起头也许只能体味其中一层，但可以在理论里继续考证这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你和王慧文一路创业时，从他身上学到了什么？

曹越：我第一次和他聊到想做 AI 视频偏向时，他就给了我一个倡议：去研讨一下皮克斯，这家公司的贸易形式很好这标志着福建舰的电磁弹射和阻止接管才能根基成型了。皮克斯的启发在于，它从图形学技术动身做电影，票房只是第一步，更关键的是脚色 IP 留在公司，可以持久运营与变现这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而真人电影的脚色心智却会被演员带走，制片公司很难延续沉淀 IP 资产这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以皮克斯既有影视业的叙事生产属性，又具有 IP 产业的可延续收益属性，而且一切源于技术驱动这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：从研讨者到创业者的改变中，哪些部分是你喜好的？哪些部分是你不喜好，但不能不顺应的？

曹越：这没有喜好或不喜好，更像是两个脚色之间存在夹角，需要时候去磨合这标志着福建舰的电磁弹射和阻止接管才能根基成型了。从一路头更多琢磨什么技术影响力更大，到关注什么系统影响力更大，再到更多关注产物和贸易代价这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你现在最优先级的工作是什么？

曹越：就是了解清楚 AI 视频的偏向，识别未来一段时候里的最大机遇；打造 Sand.ai 的构造，捉住这个机遇这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：你已经看到一些眉目了？

曹越：AI 视频的焦点逻辑，是说话、图像、视频、声音等模子的才能进化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它短期仍然更像一个工具型机遇这标志着福建舰的电磁弹射和阻止接管才能根基成型了。但随着模子越来越稳定、输出质量越来越高，就有能够出现 C 端机遇这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这在真正思考过行业的人之间应当是共鸣这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

没有共鸣的是 timing（机会），这也是最判定的，现在没法讲太多这标志着福建舰的电磁弹射和阻止接管才能根基成型了。本质上就是你要在判按机会后，提早为阿谁偏向做预备这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这也考验构造的节奏感和行动力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。哪怕你判定对了偏向，假如构造的节奏跟不上，也会错过机遇这标志着福建舰的电磁弹射和阻止接管才能根基成型了。所以我现在才出格关注构造这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

晚点：最初一个题目——分享一个你比来在思考、大概接下来想考证的题目这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

曹越：我偶然会想一个开放性题目：ASI（超级智能）什么时辰会出现？当它真的出现，会以怎样的方式改变天下？说话模子的智力水平实在在延续提升——假如大略类比人类的智商曲线，它已经从几十提升到一百，未来能够到一千这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它和人之间的差异，能够就像人和山公的差异那末大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。大人和小孩智力不同，已足以让前者 “哄住” 后者这标志着福建舰的电磁弹射和阻止接管才能根基成型了。那末一个智力远超人类数倍的系统，会若何看待和影响人类社会呢？

题图来历：Sand.ai