“人手一个贾维斯”的愿望，正在被“视频通话”功能带进现实 囧哥:盗可忍糊不可忍！肯德基提供免费高清素材给盗图商家

“人手一个贾维斯”的愿望，正在被“视频通话”功能带进现实 囧哥:盗可忍糊不可忍！肯德基提供免费高清素材给盗图商家， 

“人手一个贾维斯”的愿望，正在被“视频通话”功能带进现实

2011年的iPhone 4s发布会上，Siri以智能语音助手的身份初次亮相，成为整场发布会上最大的亮点。

当时许多人还未曾体验过Siri的服务，但从媒体报道中建立了一个朴实的愿望：就像《钢铁侠》中的贾维斯一样，每个人都将拥有自己的智能助手，可以实时沟通，帮助我们解决各种问题。

即使Siri后来“跌落神坛”，人们对于“贾维斯”的期望始终没有抹灭。AlphaGo、智能音箱、大模型……每一次现象级的创新背后，总有人在讨论：《钢铁侠》中的贾维斯，离我们的生活还有多远？

2024年大概率是愿望成真的一年。

7月末，OpenAI宣布向部分付费用户开放GPT-4o的视频通话版本，能够即时与GPT进行视频交互问答，通过摄像头识别画面，在线解答各种问题，比如实时翻译、解线性方程题等。

8月29日，智谱AI官宣智谱清言APP上线“视频通话”功能，成为首个可以通过文本、音频、图像和视频来进行多模态互动和实时推理的AI助手。目前已经向部分用户开放，并且开放了外部申请权限，将持续迭代并逐步放开规模。

由此产生的一个话题是：为什么头部的大模型厂商都在死磕“视频通话”功能，对用户体验有什么影响，“人手一个贾维斯”的愿望能否照进现实？

01 解锁AI新体验

大模型引发的新一轮技术热潮已经持续了近两年时间，市场上出现了形形色色的AI助手，人机交互却被“束缚”在了对话框中，停留在文本输入的阶段。某些产品推出了语音对话功能，但较高的延迟导致体验不佳，而且无法理解语调起伏、笑声等表达的情感信息，仅仅是用语音替代文本输入。

我们提前一天体验到了智谱清言APP的“视频通话”功能，在内测群里和其他进行了简单交流，发现了一些有趣的应用场景：

第一个场景是作业辅导。

不同于OpenAI发布会上演示的简单方程组解答，有群友直接将智谱清言用于孩子的作业辅导：

比如小学数学的互余角计算，智谱清言迅速理解了视频中题目的语义，并将问题进行了拆解，一步步引导孩子去计算，当孩子给出正确的答案后，智谱清言还在第一时间给出了“太棒了”的鼓励。

而在英语教学的场景中，孩子用笔在纸上圈出了某个单词，智谱清言精准识别到了圈住的词汇，并给出了正确的发音，甚至在孩子的朗读出现错误时，“耐心”地进行了读音矫正，就像是一个坐在孩子身边的“英语老师”。

第二个场景是产品介绍。

有时买到的商品是英文包装，可能看不懂使用说明和注意事项，是否可以用“视频通话”功能填补信息差呢？

我们将摄像头对准了星巴克买来的一款咖啡豆，因为存在折痕，一些英文字母出现了变形，但智谱清言依然准确识别出了商品信息，包括产品名称、配料、产地、风味、品牌等基础内容。

接下来询问了咖啡豆的制作和储存建议，即便是远远超出视频画面中的信息，智谱清言同样给出了确切的答案：做美式超合适，味道正好；保存咖啡豆要放在阴凉干燥的地方，避免受潮或晒太阳......

第三个场景是厨房助手。

因为每天中午都面临“吃什么”的烦恼，于是萌生了一个想法：让智谱清言识别菜品，并给出建议的菜谱和制作方法。

我们同时将白菜、干辣椒、大蒜和生姜放在案板上，然后询问都要哪些食材，可以用来做什么菜。没想到的是，智谱清言准确说出了每一种食材的种类，并给出了辣椒炒白菜的建议。

进一步询问应该怎么做，智谱清言详细给出了锅热加油、姜蒜炒香、加入红辣椒、香味出来后放切好的白菜等一整套流程。而当我们进一步询问“做醋溜白菜还需要哪些食材”时，智谱清言的答案再次让人惊艳：“做醋溜白菜的话，还需要点醋和糖”。

可以看到，上面的几个“小儿戏”并不能难倒智谱清言，比答案更重要的其实是整个问答的过程：不仅能够准确识别摄像头拍摄到的内容，听懂语音指令并准确执行，即使打断它也能迅速给出反应。相较于机械式的一问一答，在体验上越来越接近人与人的自然交流。

02 到底难在哪里

对智谱清言APP的“视频通话”功能做个总结的话，主要解决了三个痛点：

1、新的信息输入模式，不再局限于文字和语音，而是文本、图像、音频和视频等多个模态，AI可以自己“看世界”了；

2、新的对话交流模式，过去的对话交流大多是一问一答式的，合理但不符合真实习惯，现在已经可以做到“随时打断”；

3、新的人机交互场景，简单高于一切，视频和语音带来了近乎零门槛的用户教育，意味着人机交互可能迎来革命性更新。

上面提到的情景，曾不只一次出现在科幻电影中。除了前面提到的《钢铁侠》，《流浪地球》《Her》《银翼杀手2047》等电影中都有类似的桥段。因为最符合人类习惯的交互，从来都不是键盘，而是对话。

要实现“视频通话”功能，到底难在哪里呢？就大模型而言，必须要满足两个方面的能力要求。

首先是多模态能力。

简单来说，模态就是信息输入和输出的表现形式，包括文字、图像、语音、视频等等。为什么多模态能力重要呢？因为人类认识世界的方式本身就是多模态，眼睛、耳朵、嘴巴、手脚等承载了不同的信息感知，AI想要替代人类的工作，帮助人类学习、认识和理解这个世界，前提正是多模态数据处理能力。

其次是模型推理速度。

人类对话的普遍间隔时间是250毫秒，偏离这个间隔越久，交互就越“不自然”，体验也就越“不爽”。目前大模型存在的问题在于：推理时长往往在3秒以上，直接影响了用户体验和业务效率。OpenAI曾公开GPT-4o的语音延迟数据，平均为 320 毫秒，智谱AI尚未公布详细数字，但实际体验和GPT-4o相当。

也就是说，大模型的竞争就是一场开卷考试，追求的目标一致，且路径逐渐清晰，比拼的其实是技术硬实力。

以智谱清言为例，之所以成为国内首个面向C端开放“视频通话”功能的产品，离不开两个核心优势：

一个是时间上的先发优势。早在2021年3月，智谱AI团队就推出了GLM系列大模型，2021年5月推出了推出了将中文文字生成图像的文生图模型CogView，2022年在CogView2的基础上研发了视频生成模型CogVideo……超过国内同行近两个的时间优势，让智谱AI在多模态能力上有着更深的沉淀。

另一个是能力上的领先优势。比如智谱AI联合清华KEG潜心打磨的CogVLM-17B，在多个数据集上获得了SOTA或第二名的成绩；新推出的GLM-4V-Plus，在MVBench、LVBench、OCRBench、MMVET等多个基准测试中的表现超过GPT-4o和Gemini 1.5Pro，达到国际先进水平。

03 “盛宴”刚刚开始

也许在一些人眼中，“视频通话”不过是一项寻常的功能创新，放诸到商业语境里，却有着不可小觑的作用。和每一次风口出现时一样，大模型的概念刚走红时，创业者们一窝蜂地涌入，试图在新一轮的创业潮中搏一个机会。可直到现在，市场上还没有跑出一款真正意义上的杀手级产品。

不少人将ChatGPT的走红视作“AI的iPhone时刻”，可初代iPhone的销量只有700万台，并未改写诺基亚统治市场的格局；让无数开发者从中获利的App Store，则要追溯到2008年发布的iPhone 3G。

初代iPhone的“历史价值”，其实是电容屏和多点触控。

诺基亚和摩托罗拉也曾推出多“大屏”手机，但采用的是电阻屏，需要用触控笔才能操作，导致使用门槛高且场景有限。相比之下，多点触控的电容屏允许用户直接用手指操作、输入和互动，极大地降低了用户的学习成本，赋予了开发者更大的想象空间，进而才有了移动互联网的繁荣。

沿循这样的逻辑，“对话框”就像是电阻屏，“视频通话”功能让大模型的人机交互进化到了电容屏时代。

个中差别并不难解释。

作为一个深度使用大模型能力的普通用户，之前我们的需求主要集中在文本生成、图像生成和视频生成，比如让AI写简单的视频脚本、生成文章配图和视频素材，核心场景并未脱离“工作”的范畴。

体验了智谱清言的“视频通话”功能后，我们深切地感受到：多模态能力和毫秒级的推理速度，在生活中有着无处不在的应用场景，比如出国旅游时打开摄像头将餐厅的菜单翻译成中文、工作面试前让AI扮演面试官提前模拟面试、早上出门时打开视频询问今天的穿着怎么样、吃零食前先让AI识别计算卡路里……对应的生活场景不可计数。

对于开发者而言，“卷模型还是卷应用”的争论有了确切的答案：大模型打破能力上的枷锁后，开发者可以在更多场景中开发有价值的应用。

譬如我们曾走访过一家工业企业，为了解决大型机械设备的维修问题，这家企业采用了AR眼镜+远程工程师的模式，即由当地工作人员戴着AR眼镜采集实时数据，后端的维修工程师进行远程指导，在一定程度上节约了工程师的差旅和时间成本，但培养一个工程师的时间成本近乎无解。

现在无疑有了新的解法：这家企业可以将工程师的经验和知识用于训练专有大模型，然后通过“视频通话”功能为现场员工赋能，在AI的指导下一步步解决问题，每个人都能拥有资深工程师的能力。

把思维再发散一些的话，几乎所有的场景，都可以利用“视频通话”能力重新做一遍，包括但不限于作业辅导、英语家教、景区导览、数字客服等等，等待开发者的不再是同质化竞争的局面，而是深入一个场景做深做实。

当想象力不再被制约的时候，就是价值加速变现的拐点，也是大模型盛宴开场的积极信号。

04 写在最后

年初的一场演讲上，智谱AI CEO张鹏曾断言：2024年一定是AGI元年，而多模态是AGI的一个起点。

2024年已经过去三分之二，回头再来审视张鹏的判断，正一步步被验证。同时也意味着，大模型行业的演进正走在一条可预见的道路上，不断在图文的基础上融合听觉、视觉等模态的认知能力，加速迈向AGI时代。

声明：个人原创，仅供参考


囧哥:盗可忍糊不可忍！肯德基提供免费高清素材给盗图商家

【每日日常】

居家办公让我明白一个道理：如果我只靠我的自律，我会活不下去。

【没品段子】

1、

缓解腰椎疼痛的唯一方式：躺平，对待这操蛋的人生也是（@要cool）

——腰间盘突出，问医生每天应该做些什么医生说多躺，然后每天顺理成章的躺平（@ Tsuk10-0）

——持续性躺平，偶尔诈尸（@卧龙食品官博）

2、

发工资其实不应该叫发工资，因为一发工资我就转给房东转给银行还信用卡，这是转发工资。（@打工我会饿死）

——那不是工资那是我每个月的精神损失费（@想名字是个很打脑壳的事）

——我是不赚差价的中间商（@THEOOOING）

3、

根本不用过愚人节，你平时也在被男人或者女人骗。（@英乔法师）

4、

马了很多文章，最后都没看，请叫我白马王子。（@柳三便）

——上了很多年学，却啥都不会，请叫我白学公主。（@毕业之前不改名了吧）

5、

奶酪越多，奶酪孔越多。奶酪孔越多，奶酪就越少。所以，奶酪越多，奶酪越少。（@吼山未来）

——时间越多，浪费的时间越多。浪费的时间越多，时间就越少。所以，时间越多，时间越少。（@赶趟少女）

——同理可得“熬的夜越多，熬的夜就越少”（@萧不语）

【每日囧闻】

真的有够高调——

【男子和家人吵架后举报自己酒驾：只想“静静”】近日，四川广安。警方接到报警电话，一男子“高调”举报自己酒驾，并径直将车开到派出所。经询问，男子自称因跟家里人吵了架，想进看守所里“静静”，以此来解决这些事情。目前，该男子已被公安机关依法采取刑事强制措施，案件正在进一步办理中。

狠人，

狠起来连自己都不放过

我知道你吵架的原因了

是因为你想静静

静静是谁？如实招来

这里是派出所OK？

不是你的反省室

学以致用——

【12岁女生为偷玩手机画模型躲监控，爸爸被气乐：学画画钱没白花】3月29日，辽宁抚顺12岁的小欣因疫情居家上网课，妈妈怕她上课之余独自在房间偷偷玩手机，因此在学习桌的上方安装了监控，要求小欣在非上课时间把手机放在监控范围内。学了几年画画的小欣灵机一动，将习题纸制成了一个手机模型摆放在桌上，本想为了偷玩手机而“捉弄”监控，却未料到这一展示画画功底的“才艺”也被监控记录下来。

画画看来学的不错

能以假乱真了

懂了

下次避开监控再画

不过有一说一

装监控真的够窒息的

《格局打开》——

【因无法接受店家盗图分辨率低肯德基提供免费素材给盗图商家】近日，有博主爆料称，肯德基官方公开了一个免费的素材下载网站，提供了自家多款商品的高清图片。官方的解释是“我们注意到，许多店家都在使用我们的炸鸡照片来销售他们的产品。但我们不能接受的是他们用的图片分辨率实在是太低，所以主动开放了这个高清、无失真、并且时刻准备好被借用的网站。”

学到了

这就是，放长线，告大鱼

肯德基：

你们不但模仿不了我的味道

也模仿不了我的图片

肯老头的这波操作

算不算在大气层

还耍小聪明？——

【湖北一小偷怕留指纹随身带女士丝袜】据报道：近日，湖北十堰。男子曾“七进宫”，这才出狱没几天就又“重操旧业”，在盗窃8000余元现金和价值3万元的首饰后被警方抓获。民警还在男子随身携带的作案工具中，发现了一条为了防止偷窃时留下指纹的女士丝袜。目前，男子已被依法刑事拘留，案件正在侦查之中。

七进宫？？？

古代大臣上朝都没你这么勤快

刘备拜访诸葛亮也才“三顾茅庐”

你这是进去拜谁呢？

还耍小聪明用丝袜？

丝袜要是会说话，都要说一句“晦气”

不至于此——

【女子为吃15元霸王餐拔头发放碗里，店主：只有2个男员工，都是短头发】近日，河南南阳。店主曹先生发视频，一女子为吃霸王餐拔头发扔进碗里。曹先生称，当时店里只有两名男员工，女子碗里的头发是长头发，感觉有些怀疑，就调出监控，发现这一幕，一碗粉15元钱，感觉不至于这样做。

你说她扣吧

她也没有“一毛不拔”

还是拔了一毛

你说她不扣吧

她敢去店里吃饭，却又不舍得花15元

其他店主看了这条新闻之后

连夜把厨师和服务员都换成光头

提前打好女婿牌——

【笑不活了！男子旅游误入老年团后逐渐疯狂】3月26日，四川成都，一男子误入夕阳红老年旅游团，每天6:30就得起床跟团，本以为会崩溃的男子，与大爷大妈相处两天后，从崩溃的边缘逐渐转变疯狂，与大爷大妈们开始唱歌、跳舞、玩游戏等等互动，逗笑网友，网友表示，你去带夕阳红，等我退休来找你！

我觉得

你倒是已经融入进去了

说不定玩着玩着，老婆也有着落了

嬢嬢们抢着给他介绍对象

幸亏你有点那个社交牛逼症

不然要闷死

【囧你个图】

《精神食品》（@独角兽）

当医学生的医术被质疑时，莫慌，尝试着换个发型（@人间奇趣大赏）

上个网课被眼镜片出卖了（@超级无敌小学生）

当别人需要你帮助时 vs 当你需要别人帮助时（@朱较瘦）

这影子是葫芦娃本娃吧？（@一起神回复）

笑死了，按位就座（@撩妹翻车现场）

中国文化博大精深（@别再下头啦）

《仕途壮志》（@欢声笑语bot）

有些委屈真的可以溢出屏幕（@冷笑话精选）

比如“定时炸弹永远在最后一秒拆除”（@小野妹子学吐槽）

【我要上墙】

【上期话题】

你买过或者交过哪些“智商税”？

草说：草（一种植物）

一定是到现在都还没穿上去

请把“我不信”打在公屏上

真是旱的旱死，涝的涝死

所以变成前女友了是吗

这孩子，瞎说什么大实话

【今日话题】

今天是愚人节，每人都来撒一个慌吧，我先来：我爱上班

【囧哥每日鸡汤】

混一天和努力一天看不出任何差别，三天看不到任何变化，七天可以说也看不到任何距离，但是一个月后会看到话题不同，三个月后会看到气场不同，半年后会看到一定距离，一年后会看到人生道路不同。

永远不要在该吃苦的年纪选择安逸，不要在需要你尽全力的时候去偷懒，在看到别人在拼命努力时又觉得焦虑恐慌，走自己的路为自己的梦想去奋斗，凭时间赢来的东西，时间会为之作证。[db:内容]?