网易首页 > 网易号 > 正文 申请入驻

腾讯混元大模型升级:新增“文生图”,代码能力大幅提升

0
分享至

10月26日,腾讯宣布,腾讯混元大模型迎来全新升级,并正式对外开放“文生图”功能,展示了其在图像自动生成领域的领先能力。升级后的腾讯混元中文能力整体超过GPT3.5,代码能力大幅提升20%,达到业界领先水平。

作为实用级的通用大模型,腾讯混元大模型的应用场景丰富多样。目前,超过180个腾讯内部业务已接入腾讯混元,包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。最近,QQ浏览器还基于腾讯混元推出了“PDF阅读助手”,具备智能摘要、智能问答和多轮提问等功能。

目前,已有来自零售、教育、金融、医疗、传媒、交通、政务等多个行业的客户,通过腾讯云调用腾讯混元大模型API,应用领域涉及智能问答、内容创作、数据分析、代码助手等多个场景。今年9月首批通过备案后,腾讯混元大模型也已经面向C端用户陆续开放体验,用户通过小程序或网页端,就能与腾讯混元对话。

此次,腾讯自研的面向垂直领域的7B和13B模型也首次亮相,同等效果下仅需较少的tokens,训练效率更高。模型实测中英文效果整体优于国内外开源模型,能够以更高的性价比和效率支持应用落地,满足各种垂直场景和业务需求,助力腾讯全面拥抱大模型。

据了解,腾讯掌握从模型算法到机器学习框架再到AI基础设施的全链路自研技术,这为大模型的快速迭代提供了有利条件。自首次公开亮相以来,腾讯混元大模型进入了加速升级的轨道。在自研算法的支持下,模型稳定性和可靠性稳步提升。

腾讯混元文生图惊艳亮相,广告场景应用效果明显

文生图是AIGC领域的核心技术之一,也是体现通用大模型能力的试金石,对模型算法、训练平台、算力设施都有较高的要求。

腾讯最早在广告场景进行AI自动生成图像的探索,在此过程中积累了深厚的研发能力。据介绍,相比其他大模型,腾讯混元的文生图应用,在人像真实感、场景真实感上有比较明显的优势,同时,在中国风景、动漫游戏等场景等生成上有较好的表现。

在业界公认难度较高的人脸画像生成上,腾讯混元也交出了令人满意的作品。比如,输入提示词“生成可爱的亚洲 4 岁女孩穿着棉质连衣裙,大眼睛,古代中国,摄影风格,汉服”,腾讯混元大模型生成如下:

可以看到,腾讯混元大模型可以很好地理解提示词中提到的“棉质连衣裙”、“汉服”等内容,同时在风格上,也通过建筑和风景等衬托,很好的展示了“古代中国”的风格要求。

另外一个例子中,输入提示词“ 一个城市CBD办公楼,现代化设计,高层建筑,玻璃幕墙,近景拍摄,摄影风格,摄影照片”,腾讯混元大模型交出了如下作品:

更简单一些,输入提示词“轻舟已过万重山,水墨画风格”就可以得到下面的图片:

大模型文生图的难点体现在对提示词的语义理解、生成内容的合理性以及生成图片的效果。针对这三个技术难点,腾讯进行了专项的技术研究,提出了一系列原创算法,来保证生成图片的可用性和画质。

在语义理解方面,腾讯混元采用了中英文双语细粒度的模型。模型同时建模中英文实现双语理解,并通过优化算法提升了模型对细节的感知能力与生成效果,有效避免多文化差异下的理解错误。

在内容合理性方面,AI生成人体结构和手部经常容易变形。混元文生图通过增强算法模型的图像二维空间位置感知能力,并将人体骨架和人手结构等先验信息引入到生成过程中,让生成的图像结构更合理,减少错误率。

在画面质感方面,混元文生图基于多模型融合的方法,提升生成质感。经过模型算法的优化之后,混元文生图的人像模型,包含发丝、皱纹等细节的效果提升了30%,场景模型,包含草木、波纹等细节的效果提升了25%。

prompt:生成一幅照片:桂林漓江的山水,江上有一艘小船

作为“从实践中来,到实践中去”的大模型,腾讯混元文生图能力,目前已经被用于素材创作、商品合成、游戏出图等多项业务中,此外在广告业务下的多轮测评中,腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和26%,均高于同类模型。

代码能力行业领先,腾讯内部已经用大模型“写”代码

过去一个月,腾讯混元大模型不仅各项能力均有升级,代码、数学能力也大幅提升。经过对32种主流语言代码文件、各类计算机书籍和博客的学习增训,腾讯混元代码处理水平提升超过20%,代码处理效果胜出ChatGPT 6.34%,在HumanEval公开测试集指标上全面超过Starcoder、Codellama等业界头部开源代码大模型。

只需输入简单的指令如“帮我用前端语言实现一个贪吃蛇”,腾讯混元便能自动生成可运行的代码,快速制作出一个贪吃蛇小游戏。此外,腾讯混元还支持Python、C++、Java、Javascript等多种语言的指令生成,比如输入“用Python画红色的心形线”,腾讯混元会提供代码库选择、安装命令、绘制代码等具体操作步骤的指引。

Prompt:用Python画红色的心形线

腾讯内部目前已经有多个开发平台接入了腾讯混元大模型,工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。

比如,在IDE编程场景中,腾讯工蜂Copilot通过接入混元大模型,可根据注释生成对应代码,或基于上下文智能补全代码,大大提高了编程效率。混元大模型还可以帮助用户进行代码漏洞检测和修复,保障软件开发过程中的安全性。

腾讯混元大模型持续升级背后,离不开腾讯自研一站式机器学习平台Angel的支撑。自研AngelPTM训练框架可提供高效的分布式训练解决方案,具备业界领先的内存利用率和训练吞吐效率,训练速度相比业界主流框架提升1 倍;自研AngelHCF训练框架,具备从蒸馏、微调、压缩到模型加速的完整能力,支持多种模型并行,保证模型的最小化部署及最大化吞吐,推理速度相比业界主流框架FasterTransformer快1.3倍。

从2021年开始,腾讯先后推出千亿和万亿参数的NLP稀疏大模型,打破CLUE三大榜单纪录,实现在中文理解能力上的新突破。2023年9月混元大模型的亮相,代表腾讯在大模型理解和生成通路上的融合打通。随着文生图功能的出现,腾讯混元大模型加入了对图像的处理能力,模态进一步丰富。

大模型多模态交互能力被认为是通往通用人工智能的必由之路,也是不断扩充大模型能力象限的一个重要方向。据介绍,腾讯混元大模型正在不断强化图片、视频、音频等各类模态的处理能力,相关成果也将很快面向外界推出。

雷峰网

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
云朵的“危机公关”失败背后:一步错步步错,3个雷区她全部踩中

云朵的“危机公关”失败背后:一步错步步错,3个雷区她全部踩中

火之文
2024-10-31 16:34:26
唉,广州最大车企亏钱卖车,怒搬乡下

唉,广州最大车企亏钱卖车,怒搬乡下

说财猫
2024-10-31 21:18:58
上海人注意!全市已经转雨,部分区域大雨!台风即将登陆!瑞金医院发布提醒→

上海人注意!全市已经转雨,部分区域大雨!台风即将登陆!瑞金医院发布提醒→

鲁中晨报
2024-10-31 11:02:14
上赛季西汉姆联拒绝阿莫林的真正原因曝光!这点让曼联深感担忧

上赛季西汉姆联拒绝阿莫林的真正原因曝光!这点让曼联深感担忧

夜白侃球
2024-10-31 21:18:53
一名法国人下注 2800 万美元,打赌特朗普11 月 5 日赢得总统大选

一名法国人下注 2800 万美元,打赌特朗普11 月 5 日赢得总统大选

林樾读书
2024-10-31 07:30:03
如果她是你的语文老师,你能语文考满分吗?

如果她是你的语文老师,你能语文考满分吗?

人情皆文史
2024-10-01 22:53:55
中方反制出乎预料,欧盟没想到,订单暴跌30%,冯德莱恩自欺欺人

中方反制出乎预料,欧盟没想到,订单暴跌30%,冯德莱恩自欺欺人

娱乐的小灶
2024-10-31 18:47:47
如果特朗普赢了。。。

如果特朗普赢了。。。

西楼饮月
2024-10-31 14:10:43
上海被宁波双杀+四连败!沃特斯+教练纯恶心人,防守+篮板被暴虐

上海被宁波双杀+四连败!沃特斯+教练纯恶心人,防守+篮板被暴虐

篮球资讯达人
2024-10-31 21:44:33
上海楼市冰火九重天,上海楼市陆家嘴房价从109000元跌至105000元

上海楼市冰火九重天,上海楼市陆家嘴房价从109000元跌至105000元

有事问彭叔
2024-11-01 01:30:47
延长A股交易时间!今日凌晨的四大消息冲击来袭(11.1)!

延长A股交易时间!今日凌晨的四大消息冲击来袭(11.1)!

风口招财猪
2024-11-01 00:47:51
哪个瞬间让你觉得女朋友不简单?网友:被警察带走的那天 我惊呆了

哪个瞬间让你觉得女朋友不简单?网友:被警察带走的那天 我惊呆了

滑稽斑马呀
2024-09-25 13:50:01
火力全开!劳塔罗创纪录 3天2赛轰7球 国米近7场6胜1平保持不败

火力全开!劳塔罗创纪录 3天2赛轰7球 国米近7场6胜1平保持不败

狂言体育
2024-10-31 05:36:21
首尔主帅:林加德是超级球星,现在他几乎成为了韩国人

首尔主帅:林加德是超级球星,现在他几乎成为了韩国人

懂球帝
2024-10-31 17:31:43
崔永熙:国家仇恨我们永世都不能忘,但在篮球上真的尊重河村勇辉

崔永熙:国家仇恨我们永世都不能忘,但在篮球上真的尊重河村勇辉

懂球帝
2024-10-31 14:39:41
古天乐最新亮相,面容僵硬像铜人,凶神恶煞不好惹,医美毁了这脸

古天乐最新亮相,面容僵硬像铜人,凶神恶煞不好惹,医美毁了这脸

西瓜爱娱娱
2024-10-30 09:56:07
执法办案搞“远洋捕捞”?公安部:严禁超权限超范围冻结资金

执法办案搞“远洋捕捞”?公安部:严禁超权限超范围冻结资金

南方都市报
2024-10-31 11:10:41
中国第2人!郑钦文16ACE力克大满贯冠军,赛季47胜超李娜创历史

中国第2人!郑钦文16ACE力克大满贯冠军,赛季47胜超李娜创历史

曹老师评球
2024-10-27 14:09:16
赵露思宣传新剧“矮”上热搜!网友:身高太灾难!队伍都凹进去了

赵露思宣传新剧“矮”上热搜!网友:身高太灾难!队伍都凹进去了

小娱乐悠悠
2024-10-31 10:03:38
突然决定离队!再见了,西热力江!CBA又一个倒下的主帅……

突然决定离队!再见了,西热力江!CBA又一个倒下的主帅……

篮球实战宝典
2024-11-01 05:20:30
2024-11-01 07:46:44
雷峰网
雷峰网
关注智能与未来!
65131文章数 655392关注度
往期回顾 全部

科技要闻

华为前三季利润下滑 任正非:我们还在挣扎

头条要闻

耿爽:美代表或又要就乌问题甩锅中国 我索性主动出击

头条要闻

耿爽:美代表或又要就乌问题甩锅中国 我索性主动出击

体育要闻

中国篮球,告别姚明时代

娱乐要闻

黄圣依再次选择不离引发炒作质疑

财经要闻

阿斯利康骗保案余波未止 多位药企高管被查

汽车要闻

腾势Z9 内饰官图首发 怀档设计/广州车展亮相

态度原创

家居
旅游
房产
本地
公开课

家居要闻

回归自然 去繁求简开阔空间

旅游要闻

台湾“首来族”,四川145个景区对你们免除门票

房产要闻

最新!销售额破千亿,面积激增22万㎡!海南楼市还是猛!

本地新闻

云游中国|我与这座城市 合得来 不怕肥

公开课

AI如何揭开大自然和宇宙的奥秘

无障碍浏览 进入关怀版