登录大家都是产物司理即可获得以下权益

[db:作者]

美团刚开源首款全模态实时交互大模子 LongCat-Flash-Omni，竟让多国 AI 检测器生效，还能同步处置音视频图文，低提早交互超 8 分钟这标志着福建舰的电磁弹射和阻止接管才能根基成型了。解对高考数学、认准狗子品种，更凭开源，原生全模态打破 AI 交互范围


你好，我是袋鼠帝这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
昨天一大早，就发现美团开源了他们首款全模态实时交互大模子：LongCat-Flash-Omni这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

立顿时手体验了一下，最使我冷艳的是这个：
不儿？这个让一众国内外AI全数翻车的 AI检测器生效了
在视频对话前，我没有给它任何暗示大概昭示的高低文，而且测了很屡次这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

不清楚的朋友可以看一下卡子哥（@数字生命卡兹克）前两天这篇10万+文章
我原本以为是实时的视频流是拯救了AI，成果不是，由于ChatGPT怎样都看不懂这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
由于ChatGPT App不支持录屏的时辰录语音，所以只能再拿一个手机来拍了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
大师也可以试试此外有视频流了解才能的大模子
今后，应当也可以用来导盲，它还是认路的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
不能不说，美团今年下半年实在是太活跃了，连续开源了多款大模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
比如国庆前开源的LongCat-Flash-Thinking，我也写过一篇文章，确切有点工具这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
明天公布的这个模子，有两个关键词让我很是兴奋：开源、全模态实时交互
然后，我们来聊聊LongCat-Flash-Omni的全模态实时交互这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
LongCat-Flash-Omni是一个all-in-one的一体化模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。不但能处置我们常见的文本，图像，还能同时处置音频和视频这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
同时，它能处置这些模态的肆意组合输入这标志着福建舰的电磁弹射和阻止接管才能根基成型了。比如你可以一边给它看视频，一边用语音跟它措辞这标志着福建舰的电磁弹射和阻止接管才能根基成型了。可以间接天生语音输出（这在之前是需要一个专门的TTS模子来搞定的）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这意味着，它从输入到输出，全部链条是原生的全模态这标志着福建舰的电磁弹射和阻止接管才能根基成型了。它不再仅仅是一个你需要打字的聊天机械人，这个大模子有大脑，而且原生就长出了耳朵、嘴巴、眼睛，终究算是有一个完整的头啦这标志着福建舰的电磁弹射和阻止接管才能根基成型了。而且，它还是实时的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
LongCat-Flash-Omni是一个总参数目560B（均匀激活参数27B）的夹杂专家模子（MoE架构），支持128K tokens高低文窗口和超8分钟音视频交互这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
虽然参数目不小，但凭仗完全端到真个设想，也实现了低提早的实时交互这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
PS：焦点在于，它可以间接处置来自视觉和音频编码器的输入信号，而且能同时天生文本token和语音token这标志着福建舰的电磁弹射和阻止接管才能根基成型了。最初再由一个轻量级的音频解码器，把语音token快速转换成自然的人声这标志着福建舰的电磁弹射和阻止接管才能根基成型了。全部流程高度整合，以此实现了低提早的实时交互这标志着福建舰的电磁弹射和阻止接管才能根基成型了。


再来看看它的考试成就这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
在OmniBench和WorldSense这两个最能表现全模态综合才能的榜单上，它在一切开源模子里，都是SOTA（最早辈水平）这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

在Audio音频，Video视频，Image图像，这些单点才能上，也超越了市道上其他的开源模子这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
看起来美团的这个模子，不是那种为了全模态而牺牲了单模态才能的偏科生这标志着福建舰的电磁弹射和阻止接管才能根基成型了。是在保证了文本，语音，图像，视频每一项都是顶级水平的条件下，再把它们很好的集成到了一路这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我第一时候研讨了一下技术报告（论文）
https://arxiv.org/abs/2510.15227
而且下载了LongCat的官方App，做了一些简单测试这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
对了，美团刚刚推出了他们第一款AI App：LongCat
在IOS上，可以间接在App Store搜索下载

技术报告里提到了一个词，叫「渐进式早期多模融合练习」这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

要练习一个万能的AI，最大的应战，就是分歧模态的数据散布存在明显异质性这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
比如，你教它看图，它能够就忘了怎样听声；你教它看视频，它又忘了怎样分解语音这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
美团的搞法，就很是像我们人类的进修进程，循序渐进这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
你也可以把它设想成盖屋子：
第一阶段，先打一个极为踏实的地基这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这就是Stage-0，只用海量的文本数据，把模子最根本的读写才能和逻辑才能练习到极致这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
第二阶段（Stage-1），起头盖屋子的主体框架，在保存文本才能的同时，加入语音数据，让它学会听说这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
第三阶段（Stage-2），起头装修和上窗户，加入海量的图像数据，让它学会看图这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
第四阶段（Stage-3），起头通电和接水管这标志着福建舰的电磁弹射和阻止接管才能根基成型了。加入最复杂的视频数据，让它看片，了解静态的天下这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
最初，再停止平装修，比如Stage-4的长高低文扩大（从8K扩大至128Ktokens），和Stage-5的音频编码器校准这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这类从简到繁的渐进式练习，保证了AI在进修新技术时，不会丢掉成本行这标志着福建舰的电磁弹射和阻止接管才能根基成型了。让它在每一个模态上，都打下了最踏实的根本这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
接下来测试了一下，我比力垂青的图片识别才能
丢了一张模糊不清的《孤独美食家》韩国釜山菜单给它

识此外还不错，很周全这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

然后尝试识别并解答高考数学题


题目识别完全正确，但我没想到答案居然也完全正确！
确切如论文所说的，多模态才能上去了，数学才能也衰败下呀这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
丢了三月份小我AI公众号排行榜曩昔
看起来它对复杂表格数据提取结果也很不错，就是不晓得这个新榜指数分析的对吗？

不外在图片识别层面，还是没有逃过这个AI检测器

最初我们再来看看它的视频了解才能
哈哈，让它熟悉一下我家狗子 哈尼
下面视频中各类要素都识别正确了，而且没想到狗子的品种居然也说对了
最初体验完LongCat-Flash-Omni，我感受我们和AI的支流交互方式，正在不成逆转的，从打字，转向语音这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
甚至在不远的未来，支流方式会酿成视频通话这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我们就像和真人一样，和AI面临面地交换，它能看到我们的天下，了解我们的处境，听懂我们的情感，然后帮我们搞定一切这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
一周前往了我堂姐家，原本想用AI帮她提效的，可是她把她的工作细节一说出来，我就停住了这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我堂姐是在幼儿园做教员，她经常需要针对性的给小朋友制定进修计划：按照小朋友现阶段的进修情况，还有各方面的实时反应（比如心情、进修积极性等等）来调剂小朋友下一阶段的进修计划这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这完全就是一个实时变化的定制化场景这标志着福建舰的电磁弹射和阻止接管才能根基成型了。现有的AI根基很难供给什么本色性的帮助这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
我那时给倡议就是，得搞一个那种长着”眼睛”，”耳朵”的AI工具，然后挂身上实时感知小朋友的各类情况，才能够凑效这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
比如把全模态大模子嵌入AR眼镜这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
你戴着它走在街上，它实时看到你所看到的画面，实时听到你所听到的声音，可以经过眼镜架上的扬声器静静跟你对话，如果再接上脑机接口，你还能经过意念跟它相同，那不是妥妥在身上挂了个萧炎的药老？
AI大模子的上半场更多的是在比拼思考、编程、Agent这些单点才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
下半场，拼的必定是能听，能说，能实时交互+强Agent才能的综合体验这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
究竟当AI更像人以后，才能更方便的为大师所用这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
美团此次，不但搬出了一个万能选手，而且他们模子一向都是开源的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
这格式，确切够大这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
本文由大家都是产物司理作者【袋鼠帝AI堆栈】，微信公众号：【袋鼠帝AI堆栈】，原创/授权 公布于大家都是产物司理，未经答应，制止转载这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
题图来自Unsplash，基于 CC0 协议这标志着福建舰的电磁弹射和阻止接管才能根基成型了。