网易首页 > 网易号 > 正文 申请入驻

根据图片识人、识物,钉钉AI升级多模态能力

0
分享至


多模态、长文本与RPA(机器人流程自动化)技术,在AI应用的落地上又有新进展。

3月28日,钉钉AI助理迎来重要升级,正式上线图片理解、文档速读和工作流等产品能力。此次升级后,钉钉AI助理将拥有更强的视觉推理能力和长文本速读能力。在AI助理对话框,用户发送长文件、在线文档、网页链接、视频内容,即可进行多轮交互和智能问答。

资料显示,基于通义千问Qwen-VL-Max视觉理解模型,钉钉AI助理能够准确描述和识别图片信息,并进行信息推理、扩展创作、文字提取和翻译等;在收到用户发来的视频后,AI助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要,对于最高2GB的视频内容,仅需3分钟即可完成智能解读。

唤醒这些功能也并不复杂:用户在钉钉IM消息框或点击魔法棒按钮即可进入AI助理对话框。

从初步测试来看,钉钉新版AI助理,已经具备较为成熟的图片识别和智能对话能力。

如下图(左)所示,根据我们提供的照片,钉钉AI助理几乎瞬间认出了小猫的品种,并对该品种猫咪的特征和照片背景进行了简单描述;在没有任何文字提醒,以及照片内没有文字提示的情况下,钉钉AI助理准确识别了拍摄于上海迪士尼的城堡照片(如下图右)。


钉钉实测图片(下同)

多模态能力的加入,让AI助理更具实用性,例如翻译信息、提取文字等。

我们随手拍摄并上传了一张耳塞外包装(纯英文说明)图片。在识别产品品牌、功能等常规信息之外,钉钉AI助理在外包装明显破损的情况下,对英文说明进行了简单分析和翻译,并提取了关键词。令人感到意外的是,在密集的英文印刷中,AI识别出了模糊的NRR信息(降噪等级),并提示用户对此进行关注。


对于表情包和网络梗图,钉钉AI助理也展示出一定的识别和推理能力。


综合来看,基于通义千问Qwen-VL-Max视觉理解模型,钉钉AI助理能做的事情明显变多了。

公开资料显示,Qwen-VL-Max整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中超过业界所有开源模型,在文档分析(DocVQA)、中文图像相关(MM-Bench-CN)等任务上超越GPT-4V,位于世界第一梯队水平。

不过,AI助理也不是全能的。从实测来看,未来它仍有大量提升空间。例如对影视剧中穿戴墨镜的人物,以及身着古装服饰的人物,钉钉AI有时无法精准识别。此外,对于“一个月才几百块,你玩什么命啊”这样较为晦涩的网梗,AI的理解能力也有待继续完善。


更新后,AI助理强化了文档速读和视频速读能力:用户上传相关的文件和视频,即可得到一份内容总结。


值得一提的是,根据不同需要,AI助理能生成各细分领域的助手,用户还能通过链接等形式和他人分享。例如“我的歌曲助手”:用户只需输入音乐和唱法风格等“诉求”,在约5分钟左右的时间里,AI就会自动生成歌曲,并发送至指定邮箱——初步来看,这些歌曲和音乐其实都有不错的完成度。


据公开资料,此次更新后,钉钉对“工作流”玩法也进行了升级。用户可以通过工作流,对AI执行任务的流程进行拆解和编排,主动接管完成相应操作,并打通外部系统数据和API能力,例如搭建能自动写脚本并生成视频的创作AI助理等。为降低用户的使用门槛,钉钉官方还将提供多种工作流模板。

本文系观察者网独家稿件,未经授权,不得转载。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
奔驰最大降幅50% 雅阁最大降幅39%|本周新车降价排行榜

奔驰最大降幅50% 雅阁最大降幅39%|本周新车降价排行榜

道哥说车
2024-06-14 10:50:27
影片中“强奸片段”的假戏真做了,这到底是艺术还是故意伤害?

影片中“强奸片段”的假戏真做了,这到底是艺术还是故意伤害?

综艺拼盘汇
2024-06-15 18:20:56
网传某高校劳务派遣人员管理办法,基本工资2570元/月,岗位津贴最高4038元

网传某高校劳务派遣人员管理办法,基本工资2570元/月,岗位津贴最高4038元

可达鸭面面观
2024-06-14 16:25:01
穆帅陪弗爵看欧洲杯,曝其欲800万签曼联一人!旧将承认怀念狂人

穆帅陪弗爵看欧洲杯,曝其欲800万签曼联一人!旧将承认怀念狂人

罗米的曼联博客
2024-06-15 11:35:14
0:3惨败,欧洲杯大战,西班牙“非常规”大胜,黄健翔:太沮丧了

0:3惨败,欧洲杯大战,西班牙“非常规”大胜,黄健翔:太沮丧了

话体坛
2024-06-16 02:31:15
A股:大家做好心理准备,股市,将会重演16年的历史

A股:大家做好心理准备,股市,将会重演16年的历史

生活中的栗子
2024-06-14 15:25:46
姜萍被重点高中家长吐槽:凭啥我儿子做不到,她中专女却能做到?

姜萍被重点高中家长吐槽:凭啥我儿子做不到,她中专女却能做到?

熙熙说教
2024-06-14 17:11:08
张天爱自拍大秀“凶器”,身材气质绝佳!曾和娜扎联手锤渣男?

张天爱自拍大秀“凶器”,身材气质绝佳!曾和娜扎联手锤渣男?

狐飞火
2024-06-15 00:40:03
18强赛最大变数诞生!力压沙特进二档,有望时隔40年再进世界杯!

18强赛最大变数诞生!力压沙特进二档,有望时隔40年再进世界杯!

绿茵舞着
2024-06-16 02:51:31
4个奥运冠军3个出事!中国梦之队名声扫地,功勋教练被终身禁赛

4个奥运冠军3个出事!中国梦之队名声扫地,功勋教练被终身禁赛

体坛知识分子
2024-06-12 06:20:03
塔图姆嘲讽湖人詹姆斯:绿军只挂总冠军旗帜 季中赛夺冠没有意义

塔图姆嘲讽湖人詹姆斯:绿军只挂总冠军旗帜 季中赛夺冠没有意义

篮球话题团
2024-06-15 01:05:18
秒杀人类!日本三菱电机0.305秒复原魔方刷新世界纪录上央视新闻

秒杀人类!日本三菱电机0.305秒复原魔方刷新世界纪录上央视新闻

机器人大讲堂
2024-06-13 17:51:55
吴艳妮人气堪比奥运冠军!长发披肩没化大浓妆 网友称赞:格局大

吴艳妮人气堪比奥运冠军!长发披肩没化大浓妆 网友称赞:格局大

念洲
2024-05-29 11:59:28
阿玛尼公开选“男模”!满屏都是190高颜值帅哥,网友:有眼福了

阿玛尼公开选“男模”!满屏都是190高颜值帅哥,网友:有眼福了

咖啡店的老板娘
2024-06-15 22:19:44
回顾男子新车跑20万公里,成功跑报废,4S店:买完车就没有熄过火

回顾男子新车跑20万公里,成功跑报废,4S店:买完车就没有熄过火

琪琪故事记
2024-06-14 09:09:07
沈阳一大学生减重后“猝死”:代表学校备战拳击赛,39天减了近20斤

沈阳一大学生减重后“猝死”:代表学校备战拳击赛,39天减了近20斤

奔流新闻
2024-06-15 15:29:32
劳塔罗:感谢梅西把点球让给我,他在场上场下都是一位绅士

劳塔罗:感谢梅西把点球让给我,他在场上场下都是一位绅士

懂球帝
2024-06-15 10:51:12
俄乌大战再现重大转折!车臣精锐突袭乌境,三天拿下苏梅州重镇

俄乌大战再现重大转折!车臣精锐突袭乌境,三天拿下苏梅州重镇

美人茶话会
2024-06-16 05:21:37
中医鬼才倪海厦竟然还活着,传言在日本?

中医鬼才倪海厦竟然还活着,传言在日本?

心灵短笛
2024-06-14 10:49:06
1988年,于凤至晚年在美国别墅里的珍贵留影

1988年,于凤至晚年在美国别墅里的珍贵留影

视点历史
2024-06-15 18:11:58
2024-06-16 06:52:49
观察者网
观察者网
智库与专业新闻的完美结合
94118文章数 1841564关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

欧洲杯-23秒丢球破纪录 意大利2-1逆转阿尔巴尼亚

头条要闻

欧洲杯-23秒丢球破纪录 意大利2-1逆转阿尔巴尼亚

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

教育
旅游
家居
手机
时尚

教育要闻

情侣高考后办订婚宴后续,当事人回应原因,网友:升学宴还办吗?

旅游要闻

如何文艺消夏?乌镇10大活动开启古镇消夏节

家居要闻

空谷来音 朴素留白的侘寂之美

手机要闻

小米澎湃OS再次公布进展通报:多项问题优化中,且全是内置应用!

艳压四方的刘亦菲,也没能赢她

无障碍浏览 进入关怀版