网易首页 > 网易号 > 正文 申请入驻

用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风

0
分享至

作者丨晓查

如何用iPhone给林肯拍大头照?除了肉身穿越回19世纪以外,你还可以试试这款“穿越相机”。


照相技术发明100多年以来,有无数历史名人留下了黑白照片。然而因为时代不同、技术不同以及岁月的侵蚀,这些历史照片逐渐失真。

能不能用现代相机的风格把他们都恢复原貌呢?

现在,来自华盛顿大学、UC伯克利、谷歌的最新论文Time-Travel Rephotography,将这些照片里的历史人物真实地展现在屏幕上。

比如,居里夫人、爱迪生、林徽因……


放大瑕疵的老照片如何恢复

从黑白照片乃至画像恢复人脸并不是什么新鲜事,比如最近恢复兵马俑、古代帝王的视频在社交网络大热。


但是从古老照片恢复人脸要复杂得多。

我们先看一张著名作家卡夫卡的还原照。Zhang等人恢复的照片粗看起来皮肤上有很多瑕疵,而“穿越相机”恢复的照片似乎自带“磨皮”。


那么是前一张恢复照片更加真实吗?

事实并非如此,卡夫卡脸上的瑕疵是当年底片技术导致的。如果只是简单给黑白照片填色,那么就不能充分表征旧胶片的特性和老化过程。


最早诞生玻璃感光底片只对蓝光紫外光敏感,1873年推出的新感光乳胶也只对绿光和蓝光敏感。

由于他们都缺乏对红光的敏感性,造成了人物脸上的雀斑和皱纹被放大,嘴唇变黑。

所以我们今天来看林肯的原始照片,会发现林肯脸上呈现出很多夸张的皱纹:


1907年,对红蓝绿都敏感的全色底片诞生。所以1913年采用新技术拍摄的潘克斯特(时年55岁),脸部皮肤要干净和平整得多:


因此,恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题,还要考虑不同老照片对颜色的感光差异。

而这款“穿越相机”相比之前的方法,在人物的还原上避免了当时技术造成的失真。

从StyleGAN2出发

对于1873年之前的照片,作者使用了蓝光敏感模型,对于1873年至1907年的照片,手动在蓝光敏感和正色底片之间选择,然后在1907年以后拍摄的照片,则在所有模型中手动选择。

作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中,从而在统一的框架中实现所有这些效果。

作者使用其他彩色样本图像作为参考,它们与黑白图像具有相似的面部特征,但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距,他们还设计了特别适合于老照片的重建损失。

模型的结构如下:


1、同级编码器

以低分辨率灰度参考图像I作为输入,生成具有真实颜色和相似面部特征的同级图像Is。

2、同级颜色和细节转换

为了进一步限制颜色和皮肤细节,使其与同级图像匹配,模型引入了颜色转换损失Lcolor强制StyleGAN2的ToRGB层输出与同级图像的相似性。

3、老照片的重建损失

为了进一步减小输入图像和现代人像之间的感知身份差距,作者特别设计了适合于老照片的重建损失Lrecon,它对老照片的缺陷具有鲁棒性。

4、潜在编码优化

将之前的所有损失函数叠加起来,以此进行优化,生成最终图像Î。

据作者介绍,生成这样一张1024×1024的照片,需要在英伟达Titan X上运行10分钟。

与其他几种恢复老照片的方法相比,“穿越相机”的效果显然有着更真实的观感。


不过,“穿越相机”现在还存在着一些缺点。

首先是对在恢复人物发型与配饰方面存在着错误,或者会丢失细节。


另外,生成照片也非常依赖于统计图像的选择,如果选择了和原照片不一样的种族或性别,会造成黑人变白人、女人变男人。


作者简介

这篇文章作者包括华盛顿大学、UC伯克利与谷歌等学校与机构的6名学者。

其中第一作者是毕业上海交大ACM班校友罗璇,她现就读于华盛顿大学。


她今年还有一篇“水淹食堂”的CV论文,因为惊艳的效果引起了不小的轰动。


从交大毕业后,罗璇选择进入华盛顿大学研究“虚拟视觉”,又先后在迪士尼、谷歌等知名企业实习。

作者在项目主页中表示,“穿越相机”的代码将会很快开源。不过根据“水淹食堂”这篇论文开源的节奏,我们恐怕还要等上两三个月了。

论文地址:

https://arxiv.org/abs/2012.12261

项目地址:

https://time-travel-rephotography.github.io/

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

本文经授权转载自量子位(ID:QbitAI),如需二次转载请联系原作者

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
首个歼20航空旅亮相,全球目光齐聚东方,一细节突然发生变化

首个歼20航空旅亮相,全球目光齐聚东方,一细节突然发生变化

乔木的小小筑
2022-05-19 10:11:51
史无前例大暴跌!一夜蒸发三万亿!好戏才刚刚开始!

史无前例大暴跌!一夜蒸发三万亿!好戏才刚刚开始!

商业模式桑博士
2022-05-21 08:07:29
2001年南充特大杀人轮奸大案,罪恶滔天,无恶不作

2001年南充特大杀人轮奸大案,罪恶滔天,无恶不作

回眸娱乐大咖
2022-05-20 13:39:41
为什么印度的大米和中国的不一样,不但粒粒分明,还能用手抓?

为什么印度的大米和中国的不一样,不但粒粒分明,还能用手抓?

舌尖下de美食
2022-05-19 22:35:20
53岁唐文龙近照曝光,满脸络腮胡不修边幅,在隔离酒店打拳!

53岁唐文龙近照曝光,满脸络腮胡不修边幅,在隔离酒店打拳!

壹周娱
2022-05-19 21:31:26
长沙LV售假最新消息!高管抵达长沙处理:尽快联系总部,再给回复

长沙LV售假最新消息!高管抵达长沙处理:尽快联系总部,再给回复

三湘都市报
2022-05-20 17:28:26
勇士公布加里-佩顿二世和伊戈达拉康复情况

勇士公布加里-佩顿二世和伊戈达拉康复情况

OnFire
2022-05-21 07:49:03
父亲去世,儿子在棺材塞进10根金条,村里人挖出后,看呆了

父亲去世,儿子在棺材塞进10根金条,村里人挖出后,看呆了

小灵故事通
2022-05-19 09:31:38
3-0大胜夜!穆帅又得罪意甲,他放全世界鸽子,下赛季小鞋穿定了

3-0大胜夜!穆帅又得罪意甲,他放全世界鸽子,下赛季小鞋穿定了

体育知多少
2022-05-21 06:51:42
宁波“海后”吊打罗志祥,赶超绿地女,被未婚夫曝同时交往超10人

宁波“海后”吊打罗志祥,赶超绿地女,被未婚夫曝同时交往超10人

时间的尘粒
2022-05-20 15:58:32
拒放行2500万吨小麦,俄给欧洲上了生动一课,英愤慨称咋还能还击

拒放行2500万吨小麦,俄给欧洲上了生动一课,英愤慨称咋还能还击

凡视前沿
2022-05-19 21:55:04
哥哥得胃癌找弟弟借10万,弟当场让哥打欠条,回家打开钱袋愣了

哥哥得胃癌找弟弟借10万,弟当场让哥打欠条,回家打开钱袋愣了

小灵故事通
2022-05-19 09:15:13
保定“杀人魔”吴建臣:3年残害24名女子,养着被害者女儿当玩具

保定“杀人魔”吴建臣:3年残害24名女子,养着被害者女儿当玩具

胖虎说故事
2022-05-20 13:45:55
下周A股重要看点:政策面密集利好驱动!4板块将迎上半年最大行情

下周A股重要看点:政策面密集利好驱动!4板块将迎上半年最大行情

旌扬财经视角
2022-05-21 11:10:25
俄抓到“超值大鱼”后,乌方突然提出一个罕见要求,普京挑明态度

俄抓到“超值大鱼”后,乌方突然提出一个罕见要求,普京挑明态度

东方之星号
2022-05-20 17:14:04
确保安全!北京东城对涉疫一家3口轨迹进行管控!相关院落封闭管理

确保安全!北京东城对涉疫一家3口轨迹进行管控!相关院落封闭管理

民声天下
2022-05-21 12:30:37
孙正义再投140亿!“第2个阿里”即将诞生?估值千亿,押宝我国!

孙正义再投140亿!“第2个阿里”即将诞生?估值千亿,押宝我国!

文灏谈科技
2022-05-21 02:57:04
刚刚,成功

刚刚,成功

机械公民
2022-05-21 09:14:30
管不住裤裆的郑州女大学生,你害了全校五千人

管不住裤裆的郑州女大学生,你害了全校五千人

偷得浮生很忙
2022-05-21 12:55:04
世界上唯一不属于中国的2只大熊猫:永远无法回到祖国,让人心疼

世界上唯一不属于中国的2只大熊猫:永远无法回到祖国,让人心疼

科普鉴赏官
2022-05-20 10:07:27
2022-05-21 15:08:49
果壳
果壳
科技有意思
20951文章数 4121243关注度
往期回顾 全部

艺术要闻

卓凡:2022央美毕设 站在元宇宙看当下

头条要闻

喊价3999万元茅台再次流拍 六人报名无人出价

头条要闻

喊价3999万元茅台再次流拍 六人报名无人出价

体育要闻

身高1米88的最美女足门将成短视频大V

娱乐要闻

许晴被传封杀后露面 一脸素颜斑点明显

财经要闻

科技要闻

马斯克向爆料空姐发出挑战:说出我的私密伤疤或文身

汽车要闻

DSMA平台首款SUV 东风风神皓极今晚盲订

态度原创

房产
时尚
旅游
本地
艺术

房产要闻

从广州各区一季度GDP,我们可以读到这些机会

张天爱瘦上热搜王心凌美出圈 浪姐3女星们状态极佳

旅游要闻

日本南部的自然"仙境" 森林中的动人景致

本地新闻

Uzi B站直播中 “我害羞”

艺术要闻

卓凡:2022央美毕设 站在元宇宙看当下

进入关怀模式