网易首页 > 网易科技 > 科学探索 > 正文

用iPhone给林徽因拍照会是啥样?满满的现代风

0
分享至

(原标题:用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风)

如何用iPhone给林肯拍大头照?除了肉身穿越回19世纪以外,你还可以试试这款“穿越相机”。

照相技术发明100多年以来,有无数历史名人留下了黑白照片。然而因为时代不同、技术不同以及岁月的侵蚀,这些历史照片逐渐失真。

能不能用现代相机的风格把他们都恢复原貌呢?

现在,来自华盛顿大学、UC伯克利、谷歌的最新论文Time-Travel Rephotography,将这些照片里的历史人物真实地展现在屏幕上。

比如,居里夫人、爱迪生、林徽因……

放大瑕疵的老照片如何恢复

从黑白照片乃至画像恢复人脸并不是什么新鲜事,比如最近恢复兵马俑、古代帝王的视频在社交网络大热。

但是从古老照片恢复人脸要复杂得多。

我们先看一张著名作家卡夫卡的还原照。Zhang等人恢复的照片粗看起来皮肤上有很多瑕疵,而“穿越相机”恢复的照片似乎自带“磨皮”。

那么是前一张恢复照片更加真实吗?

事实并非如此,卡夫卡脸上的瑕疵是当年底片技术导致的。如果只是简单给黑白照片填色,那么就不能充分表征旧胶片的特性和老化过程。

最早诞生玻璃感光底片只对蓝光紫外光敏感,1873年推出的新感光乳胶也只对绿光和蓝光敏感。

由于他们都缺乏对红光的敏感性,造成了人物脸上的雀斑和皱纹被放大,嘴唇变黑。

所以我们今天来看林肯的原始照片,会发现林肯脸上呈现出很多夸张的皱纹:

1907年,对红蓝绿都敏感的全色底片诞生。所以1913年采用新技术拍摄的潘克斯特(时年55岁),脸部皮肤要干净和平整得多:

因此,恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题,还要考虑不同老照片对颜色的感光差异。

而这款“穿越相机”相比之前的方法,在人物的还原上避免了当时技术造成的失真。

从StyleGAN2出发

对于1873年之前的照片,作者使用了蓝光敏感模型,对于1873年至1907年的照片,手动在蓝光敏感和正色底片之间选择,然后在1907年以后拍摄的照片,则在所有模型中手动选择。

作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中,从而在统一的框架中实现所有这些效果。

作者使用其他彩色样本图像作为参考,它们与黑白图像具有相似的面部特征,但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距,他们还设计了特别适合于老照片的重建损失。

模型的结构如下:

1、同级编码器

以低分辨率灰度参考图像I作为输入,生成具有真实颜色和相似面部特征的同级图像Is。

2、同级颜色和细节转换

为了进一步限制颜色和皮肤细节,使其与同级图像匹配,模型引入了颜色转换损失Lcolor强制StyleGAN2的ToRGB层输出与同级图像的相似性。

3、老照片的重建损失

为了进一步减小输入图像和现代人像之间的感知身份差距,作者特别设计了适合于老照片的重建损失Lrecon,它对老照片的缺陷具有鲁棒性。

4、潜在编码优化

将之前的所有损失函数叠加起来,以此进行优化,生成最终图像Î。

据作者介绍,生成这样一张1024×1024的照片,需要在英伟达Titan X上运行10分钟。

与其他几种恢复老照片的方法相比,“穿越相机”的效果显然有着更真实的观感。

不过,“穿越相机”现在还存在着一些缺点。

首先是对在恢复人物发行与配饰方面存在着错误,或者会丢失细节。

另外,生成照片也非常依赖于统计图像的选择,如果选择了和原照片不一样的种族或性别,会造成黑人变白人、女人变男人。

作者简介

这篇文章作者包括华盛顿大学、UC伯克利与谷歌等学校与机构的6名学者。

其中第一作者是毕业上海交大ACM班校友罗璇,她现就读于华盛顿大学。

她今年还有一篇“水淹食堂”的CV论文,因为惊艳的效果引起了不小的轰动。

从交大毕业后,罗璇选择进入华盛顿大学研究“虚拟视觉”,又先后在迪士尼、谷歌等知名企业实习。

作者在项目主页中表示,“穿越相机”的代码将会很快开源。不过根据“水淹食堂”这篇论文开源的节奏,我们恐怕还要等上两三个月了。

相关推荐
热点推荐
达成20冠成就!国米冠军庆祝惊现中国国旗,见证中国价值输出!

达成20冠成就!国米冠军庆祝惊现中国国旗,见证中国价值输出!

小豆豆赛事
2024-04-29 15:41:27
努尔基奇季后赛胜率15%历史最低!追梦:希望那位大兄弟获得帮助

努尔基奇季后赛胜率15%历史最低!追梦:希望那位大兄弟获得帮助

直播吧
2024-04-30 09:59:18
特罗萨德赛后疑似将球衣送给一名热刺球迷,引发双方球迷热议

特罗萨德赛后疑似将球衣送给一名热刺球迷,引发双方球迷热议

懂球帝
2024-04-30 10:31:12
老一辈看人的眼光有多毒,网友:不听老人言,吃亏在眼前

老一辈看人的眼光有多毒,网友:不听老人言,吃亏在眼前

户外阿崭
2024-04-17 14:01:18
2005年,傅冬菊在北京医院悄然离世,作为北平起义功臣却一生低调

2005年,傅冬菊在北京医院悄然离世,作为北平起义功臣却一生低调

静霞历史说
2024-04-05 20:50:04
张成泽处决前8天:被禁足,仅2名情妇陪伴,每天上书金正恩表忠心

张成泽处决前8天:被禁足,仅2名情妇陪伴,每天上书金正恩表忠心

古今档案
2023-12-09 16:05:40
跑完高速,才知道宝马与雷克萨斯的差别,车主不冷静了:买错了!

跑完高速,才知道宝马与雷克萨斯的差别,车主不冷静了:买错了!

户外小阿隋
2024-04-30 07:05:03
你碰到过哪些在某方面天赋极高的人?网友:那个小孩惊呆了众人

你碰到过哪些在某方面天赋极高的人?网友:那个小孩惊呆了众人

小鬼头体育
2024-03-31 23:48:52
江苏5天迎来4名挂职副市长,来自同一个地方

江苏5天迎来4名挂职副市长,来自同一个地方

美食阿鳕
2024-04-29 20:48:26
张元英日常随拍 元气满满

张元英日常随拍 元气满满

娱乐八卦木木子
2024-04-24 15:16:29
14147公里!中国最长航线诞生:深圳直飞墨西哥城。

14147公里!中国最长航线诞生:深圳直飞墨西哥城。

爱钓鱼的阿
2024-04-29 23:12:21
郑州首次将心肺复苏纳入中招体育考试,有家长反映考试设备不准致考生失分过多,教育局回应

郑州首次将心肺复苏纳入中招体育考试,有家长反映考试设备不准致考生失分过多,教育局回应

红星新闻
2024-04-29 22:50:45
绝境詹多强:面临淘汰战场均33+10+7 19次30+多数据历史第一

绝境詹多强:面临淘汰战场均33+10+7 19次30+多数据历史第一

醉卧浮生
2024-04-30 09:32:48
40岁单身妈妈在家寂寞,儿子同学来做客,殊不知竟是陷阱

40岁单身妈妈在家寂寞,儿子同学来做客,殊不知竟是陷阱

初遇你
2023-10-10 17:52:42
当柯南中的园子放下刘海的那一刻,我就知道小兰这次输得很彻底

当柯南中的园子放下刘海的那一刻,我就知道小兰这次输得很彻底

祝晓塬
2024-04-27 13:49:39
马斯克来华后,把印度网友整破防了,韩网友谈论中印之间的差距

马斯克来华后,把印度网友整破防了,韩网友谈论中印之间的差距

陈博世财经
2024-04-29 20:18:11
花990万拍下迈巴赫的男子一夜涨粉36万,直播邀请粉丝试驾体验

花990万拍下迈巴赫的男子一夜涨粉36万,直播邀请粉丝试驾体验

极目新闻
2024-04-29 11:18:33
最新:乌克兰接收土耳其武器引热议!

最新:乌克兰接收土耳其武器引热议!

项鹏飞
2024-04-27 17:28:59
坚持的力量!莱斯特城提前一轮锁定英冠冠军 37岁瓦尔迪汗马功劳

坚持的力量!莱斯特城提前一轮锁定英冠冠军 37岁瓦尔迪汗马功劳

体育大生意
2024-04-30 10:04:44
罗永浩吐槽车企CEO北京车展亲密互动很假:雷军王传福等是竞争对手!网友:难道不能把矛头对准外部吗

罗永浩吐槽车企CEO北京车展亲密互动很假:雷军王传福等是竞争对手!网友:难道不能把矛头对准外部吗

和讯网
2024-04-29 16:32:00
2024-04-30 10:48:49

科技要闻

特斯拉股价飙涨15% 马斯克中国行大获成功

头条要闻

家属为87岁老人在别墅中装私家电梯 老人踩空掉落身亡

头条要闻

家属为87岁老人在别墅中装私家电梯 老人踩空掉落身亡

体育要闻

上海男篮:年轻人,学费总是要交的

娱乐要闻

黄子韬被曝求婚徐艺洋 大量亲密照曝光

财经要闻

建信人寿巨亏40亿 部分产品退保率93%

汽车要闻

越野老炮最爱 哈弗新H9新增2.4T柴油机

态度原创

家居
本地
时尚
游戏
公开课

家居要闻

光影之间 空间暖意打造生活律动

本地新闻

食味印象 | 潍坊:碳水脑袋的人间乐园

40、50岁女人想要优雅?穿衣简单不穿花,谁见了都会夸美

《马克思佩恩1、2》重制版今年夏季全面进入制作

公开课

父亲年龄越大孩子越不聪明?

无障碍浏览 进入关怀版
×