网易首页 > 网易科技 > 网易科技 > 正文

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

0
分享至

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

【网易智能讯2月5日消息】下一部手机的摄像头会有多好?想知道的话,最好留意制造商对人工智能的看法。

除了炒作和吹牛,过去的几年里摄影技术取得了惊人的进步,且进步不会减慢,而最大的飞跃源自人工智能,而非传感器或镜头,这很大程度上要归功于人工智能让摄像头更精准地捕捉景象。

2015年Google Photos发布之际,清楚地展示了人工智能和摄影技术混合后强悍的功能。在此之前,谷歌这家搜索巨头多年来一直使用机器学习对Google+中的图片进行分类,但其现今推出了照片应用程序包括面向消费者的人工智能功能,这是大多数人无法想象的,数千张无标签的照片储存在手机里,杂乱无章的图库一夜之间转换成可搜索的数据库。突然间,或是说看似突然,谷歌知道了你家猫的长相。

谷歌取得的突破基于2013年收购DNN搜索的前期工作,该技术可以建立一个受人类标记数据训练的深度神经网络,称之为监督学习,这个过程包括对网络进行数百万张图像训练,以便它可以通过像素寻找视觉线索,帮助识别分类,随着时间的推移,该算法在识别方面越来越出色,拿熊猫举例,曾用来正确识别熊猫的模式都会被纳入,具体来说,它可以习得黑色皮毛和白色皮毛之间的分布关系,熊猫与荷斯坦奶牛的毛色区别,经过进一步的训练,该算法可以用来检索更抽象的术语,如“动物”或者“早餐”,也许检索出来的并非是常见的视觉图像,但仍可一眼认出图像主体。

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

训练这样的算法需要耗费大量的时间和处理能力,不过在数据中心完成任务后就可以在低功耗的移动设备上运行,并且不费事,繁重的工作已经完成,因此一旦你的照片上传到云端,谷歌就可以用自己的模型来分析和标记图库,Google Photos发布约一年后,苹果公司宣布了一项在神经网络上接受过类似训练的照片搜索功能,但作为公司对隐私承诺的一部分,实际分类在每个设备的处理器上单独进行,不需要传送数据,而这通常需要一两天时间在设置好的后台进行。

智能照片管理软件是一回儿事,但首先要说的是人工智能和机器学习对图像的捕获方式产生了更大的影响,毫无疑问,镜头会继续变快,传感器也总能变大一点,但涉及将光学系统塞进轻薄的移动设备,我们已经快接近物理限制,尽管如此,现在的手机在某些情况下能拍出比许多专业相机设备更好的照片,这并不罕见,至少在后期处理之前是这样,传统相机无法与同样配备高级摄影的硬件片上系统竞争,其包括一个中央处理器、一个图像信号处理器,以及一个越来越多的神经处理单元(NPU)。

这是计算摄影,一个广义的术语,涵盖方方面面,譬如手机肖像模式的假景深效果,以及有助于提升Google Pixel高清图像质量的算法,并非所有计算摄影都涉及人工智能,但人工智能必定是其中一个重要组成部分。

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

苹果利用此项技术来驱动其手机的双镜头肖像模式,苹果手机的图像信号处理器依靠机器学习,通过一个摄像头识别人像,另一个摄像头创建深度图以分离拍摄主体和模糊背景,2016年此功能首次亮相时,通过机器学习识别人像的技能并不是什么新鲜事,因为图片处理软件已经在做这个了,但以智能手机摄像头所需的速度实时识别则是一项重大突破。

然而,谷歌默认的拍摄模式HDR+使用了一种更复杂的算法,将几个曝光不足的帧合并为一个,正如谷歌计算摄影负责人马克·勒沃伊(Marc Levoy)所说,机器学习意味着系统只会随着时间越来越好。就像Google Photos,谷歌已经将其人工智能训练在一庞大的标签照片数据集上,进一步辅助相机曝光,尤其是Pixel 2生成的基线图像质量非常好,The Verge网站在专业工作中也会使用到,效果非常满意。

不过谷歌的优势从来没有像几个月前推出夜视系统那样突出,新版Pixel将长曝光缝合在一起,使用机器学习算法计算更精确的白平衡和颜色,坦白说,效果令人惊艳,因为算法的设计以最新的硬件为依托,该功能在Pixel 3上效果最好,不过谷歌为各种Pixel版本的手机都推出了夜视功能,即使是缺乏光学图像稳定性的原始图像也可以处理,这说明了软件在移动摄影领域比相机硬件更重要。

也就是说,硬件仍有进步的空间,特别是在人工智能的支持下,据了解,华为和荣耀的新款手机第一个使用了索尼IMX586图像传感器,这是一个比多数竞争对手都大的传感器,有4800万像素,是目前任何手机上看到的最高分辨率,但这也意味着要在一个很小的空间里塞进许多微小的像素,图像质量往往会成问题。然而,在测试中荣耀的“人工智能超清”模式擅长最大限度地利用分辨率,去除传感器异常的滤镜,呈现额外的细节,这也会产生巨大的照片,放大看需要几日时间。

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

图像信号处理器在一段时间内对手机相机的性能非常重要,但随着计算摄影技术的发展,NPU可能会发挥更大的作用,华为第一个宣布采取专用人工智能硬件的片上系统Kirin 970,尽管苹果的A11 Bionic最终率先到达了用户端,全球最大的安卓处理器供应商高通公司尚未将机器学习作为主要的焦点,谷歌方面开发了自己的芯片,Pixel Visual Core,帮助完成与人工智能相关的成像任务。

与此同时,最新的苹果A12 Bionic配备8核的神经引擎,在苹果的机器学习框架Core ML中运行任务,比A11快九倍,并且实现首次直接连接到图像处理器。苹果公司表示,这能让相机更好地解析焦平面,例如生成更真实的景深。

由于片上系统对处理器的要求非常高,对于提高设备机器学习的效率和性能而言,它将越来越重要,别忘了,Google Photos的算法是在具有强大GPU和张量计算核心的计算机上训练,然后再放进照片库,可以说大部分工作都可以“提前”完成,不过在移动设备上实时进行机器学习计算的能力仍然是最前沿的科技。

谷歌已经展示了一些可以减轻处理负担的工作,令人印象深刻,神经引擎在这一年里也越来越快。即使是在计算摄影的早期阶段,围绕机器学习而设计的手机摄像头也能带来真正的好处。事实上,过去几年人工智能炒作浪潮带来的所有可能性和应用中,今天运用最实际的领域可以说就是摄影。

相机是任何手机的基本功能,而人工智能是我们改进它的最佳手段。

(选自:The Verge作者:Sam Byford编译:网易智能参与:Katrina)

关注网易智能公众号(smartman163),为你解读AI领域大公司大事件,新观点新应用。

相关推荐
热点推荐
“让开,让我来!”女子为男子做心肺复苏术,网友:女中豪杰

“让开,让我来!”女子为男子做心肺复苏术,网友:女中豪杰

大境科技防溺达人
2022-08-09 13:11:19
【来台400年!蔡正元爆家族传统:不论政权如何变动始终坚守】

【来台400年!蔡正元爆家族传统:不论政权如何变动始终坚守】

海峡导报社
2022-08-09 15:59:53
2-2,爆大冷!欧冠6冠王倒下,2场0胜,瓜迪奥拉笑了,有望拿冠军

2-2,爆大冷!欧冠6冠王倒下,2场0胜,瓜迪奥拉笑了,有望拿冠军

如风侃球
2022-08-09 23:49:13
蔡英文真怕了!专机从松山机场起飞尝试出岛,结果哪里都飞不出去

蔡英文真怕了!专机从松山机场起飞尝试出岛,结果哪里都飞不出去

秦安战略07
2022-08-10 09:01:57
王健林的团队基本上都是男的,现在大老板基本上都用的是男助理

王健林的团队基本上都是男的,现在大老板基本上都用的是男助理

世界图影
2022-08-10 02:25:48
四川枪杀案后续:孩子父亲已经回国,澄清了一个事实

四川枪杀案后续:孩子父亲已经回国,澄清了一个事实

江山皆叹惋
2022-08-09 14:16:30
由于乌克兰的袭击,俄罗斯军人的家属开始大规模离开赫尔松

由于乌克兰的袭击,俄罗斯军人的家属开始大规模离开赫尔松

桂系007
2022-08-10 03:46:36
疯狂!44000人见证高拉特首秀

疯狂!44000人见证高拉特首秀

广州未赢够
2022-08-09 13:28:42
暑假留校不回家,挺无奈!

暑假留校不回家,挺无奈!

三峡好人
2022-08-10 06:30:02
1950年,黄永胜带3000港币到香港玩,回来对林彪说:香港不如广州

1950年,黄永胜带3000港币到香港玩,回来对林彪说:香港不如广州

聪聪扒历史
2022-08-09 15:46:49
炸了!头部金融机构男领导和男员工公费开房!原配愤怒举报!

炸了!头部金融机构男领导和男员工公费开房!原配愤怒举报!

温州之狼
2022-08-09 22:17:30
背锅!名记爆料杜兰特不满蔡崇信,认为不够努力,纳什并非主因

背锅!名记爆料杜兰特不满蔡崇信,认为不够努力,纳什并非主因

天涯沦落人
2022-08-10 09:46:38
攻击台湾的黑客是国际组织,自称中文不好,网友:好可惜!

攻击台湾的黑客是国际组织,自称中文不好,网友:好可惜!

Summer的圈子
2022-08-09 21:59:59
川普被抄家!美国开启了一个危险的先例

川普被抄家!美国开启了一个危险的先例

旁观者世界
2022-08-10 00:09:58
印度再次不讲“武德”

印度再次不讲“武德”

钛媒体APP
2022-08-09 10:21:16
什么叫“拭目以待”! 佩洛西全家损失惨重, 她根本就不是对手

什么叫“拭目以待”! 佩洛西全家损失惨重, 她根本就不是对手

小莫厨记
2022-08-06 16:13:35
突破第一岛链有多难?专家:或将全军覆没,日本就是潜在威胁

突破第一岛链有多难?专家:或将全军覆没,日本就是潜在威胁

话痨小李
2022-08-08 19:13:53
台空军开始扛不住了

台空军开始扛不住了

环球时报新闻
2022-08-08 09:08:11
美国纽约中餐厅门口惊现活春宫!黑人男女激情运动!报警也没用

美国纽约中餐厅门口惊现活春宫!黑人男女激情运动!报警也没用

午夜西飞
2022-08-10 00:02:29
后续来了!网红“小胖科学家”虐狗事件后续来了!

后续来了!网红“小胖科学家”虐狗事件后续来了!

咪咕星人
2022-08-09 20:06:43
2022-08-10 10:22:44

科技要闻

拜登签署“芯片法案” 美芯片股集体崩了

头条要闻

台湾当局在演习"被武统" 台年轻人在等房价崩

头条要闻

台湾当局在演习"被武统" 台年轻人在等房价崩

体育要闻

足协公信力丢失 还怎么查“假球”案

娱乐要闻

黎明4岁女儿罕见露面 妈妈陪伴学滑冰

财经要闻

汽车要闻

极氪009外观首发 "光之泉"前脸比大劳的亮多了

态度原创

亲子
健康
房产
公开课
军事航空

亲子要闻

这才是“生育下降”的原因

警惕“夺命”蜱虫!

房产要闻

剥离房地产!海南龙头企业挂牌清仓地产股权!

公开课

日本专家鉴定瓷碗价值千万,中国大妈:我做的

军事要闻

克里米亚俄军用机场发生大爆炸

进入关怀模式
×