网易首页 > 网易科技 > IT业界 > 正文

视频专访:危夷晨介绍微软视频研发技术

0
分享至

Flash align=middle src=http://swf.news.163.com/flvplayer081029/~false~v_4P1R628B~v.2008.163.com/img/snapshot/8/B/v_4P1R628B_m~.swf width=482 height=435 type=application/x-shockwave-flash allowFullScreen="true" allowScriptAccess="always" bgcolor="#ffffff" quality="high">

演示正文

嘉宾:大家好,我是微软亚洲研究院的视觉计算组的副研究员危夷晨,在这里我做一个展示,关于我们组开发的一系列视频编辑技术,我们叫数字效果。包括四个内容,分别是关于视频的修补、视频的浏览、往视频里添加新的问题、把视频里的问题从备录里分割出来。演示会以一系列视频播放作为主要内容,我会一边播放一边讲解。

首先是关于视频的修补,在视频里多个主体,如果我们希望把前面那个正在移动的人去掉的话,我们先把这块区域从视频里抹掉,然后利用视频修补技术把这个空白的区域填补起来,来合成一个新的视频。

第二个是关于视频浏览,我们把多个视频合在一起,从里面提取最主要的部分,合成一个新的视频,这样可以有效的缩短浏览视频的时间,提高效率。这里是把两个视频合在一起。

这个是关于从视频里分割出前景正在移动的物体,然后我们可以把这个物体添加到新的背景上合成一段新的视频。

这个技术也可以应用到网络摄像机的情况下,在进行网络视频聊天时我们可以把前景分割出来置换成一个新的背景,也可以应用到其他的视频上。

这是一个所谓的视频超链接的技术,通过跟踪视频里我们感兴趣的东西,比如这个人穿着的这件衣服,我们可以把这个物体和一个网页关联起来,当用户在浏览这个网页时,点击这个物体,就会跳到相应的网页。这是一个往视频里添加三维物体的效果,像这个小孩,我们可以给她增加一些面具、胡子等三维虚拟物体,增加趣味性。

这个是基于人脸跟踪和检测的技术。

这一段是关于我们好几个工作的概述,下面我会稍微详细的介绍其中一项技术,就是关于往视频里添加一些三维虚拟物体我们是怎么实现的。

这是一个人脸跟踪和检测的结果,我们可以看到,首先通过人脸检测技术我们判断在什么地方有个人脸,然后利用人脸跟踪技术我们会重新构造出这个人脸的三维模型,这个视频里的网格是我们重新塑造出的三维模型,这个工作是由我们组的研究员王强完成的。

这个结果就是前景分割技术,我们可以通过前景和背景的颜色对比,自动的把前景正在移动的物体从背景里分割出来。

基于这个人脸跟踪和前景背景分割技术,我们可以把它们综合起来应用于网络聊天,比如当你在用MSN通过网络摄像头聊天时,可以增加一个特殊效果,这个工作可以作为一个MSN插件,就可以下载并且安装使用了,可以试一试。

在这里,聊天的人可以通过点击选择不同的图标给自己的脸增加一些特殊效果,比如戴上眼镜,增加一些小胡子,或是戴上不同的面具。

这个小插件在我们研究院的主页上有下载,如果你有兴趣的话可以自己去试一试。

这样一个视频编辑技术同样可以应用到其他的视频上,比如已经存在的电影片断,我可以给它增加一些新的效果,希望大家能够喜欢我们的技术。

谢谢。

网易科技专访微软亚洲研究院危夷晨 访谈全文:

网易科技:网易的各位网友大家好,今天我们在探寻微软的亚洲研究院,现在我们邀请到的研究员是危夷晨先生作客访谈。

危夷晨:大家好。

网易科技:刚才我们看到您作的演示,非常精采,我们也很有兴趣,您是什么时候开始加入微软亚洲研究院的?

危夷晨:我是在2006年9月,两年之前加入的。

网易科技:您加入微软这两年有什么样的工作感受和体会呢?

危夷晨:实际在加入之前我曾经在这里做过大概半年的访问学者,当时我就觉得这个研究院的环境和气氛非常好,所以毕业之后,可以说没有怎么考虑吧,就毅然加入了研究院。

网易科技:您觉得这里的氛围是最吸引您的地方?

危夷晨:对,对于希望能够从事研究工作的人来讲,我觉得这可能是国内非常合适的地方。

网易科技:刚才看到了您做的这个项目,有多少人参加这个项目呢?

危夷晨:实际这不是一个项目,是一系列关于视频编辑的项目,参与刚才演示结果的人,实际包括了我们组的大部分的人,像我演示的关于视频上增加物体、移除、修补、浏览,参与到这个项目中所有工作的人大概有六七个吧。

网易科技:这个技术大概研发了多长时间?

危夷晨:每一项的时间不太一样,里面最老的技术可能是关于视频物体的分割、三维人脸的跟踪,这些技术的研发可能要追溯到三四年之前。

网易科技:之前发布的时候有没有暂时遇到过无法解决的困难?

危夷晨:这样的情况几乎每天都有。

网易科技:怎么解决的呢?

危夷晨:在做研究的过程中碰到你暂时觉得非常难的技术问题,不知道怎么解决,这种情况非常普遍、正常,可以说是家常便饭,以至于说怎么解决,我们也只能通过不停的思考、去读其他文献、跟其他的人去讨论、交流,想尽一切办法,或者说是绕过这个问题,或者是搞清楚这个问题到底难在什么地方,去解决它。这种情况很正常。

网易科技:刚才看您演示时,包括移动物体的分割,还有人脸视频捕捉技术都非常好玩,未来这些技术主要会应用在专业影视制作方面吗?

危夷晨:我想这些技术无论是在专业领域还是在业余领域,都应该有它的用途,比如你看在一些专业领域,比如电影的效果编辑,很多时候你需要把物体在背景中分割出来贴到一定的背景上,这是所谓的蓝屏技术,实际上在电影里已经广泛应用了。在做电视转播时,我们可能需要把主持人的画面分割出来,把他和一些新的背景结合起来,这部分也有很长的历史,我们所做的工作实际是希望把这个技术做得比较简单好用一些,扩大它应用的范围,使得那种业余视频爱好者也能够用我们的技术做出一些他们自己的效果,不需要特别专业的设备和知识就能够对视频进行一些更好的编辑和应用。

网易科技:现在这个项目的研发处于什么阶段?接近尾声了?按百分比来讲完成了多少呢?

危夷晨:实际对于研究项目来讲,很难确定一个具体的百分比,因为我们知道,研究项目永远都不知道能做到什么程度,所以我不能很清楚的说我们已经完成了多少。可以这么讲,实际视频的处理和分析是非常难的一个问题,我们所展示的技术仅仅是一个最基本的入门技术,应该说前路还非常漫长。

网易科技:从研发人员的角度而言,您觉得这些技术就是研发给普通电脑用户、视频爱好者使用的对吗?

危夷晨:可以这么说,比如MSN数字效果的那个插件,我们就是希望做到非常简单好用,下一个插件安到你的MSN里,马上就可以用,你不需要学习,也不需要掌握任何关键的技术就可以直接用,这也是我们的初衷

网易科技:关于项目我们还是想了解,今天我们在看微软时发现了很多很好玩的设施,在门口有一个休息椅,还有台球等,这些硬件设施,作为研发人员,你会经常去玩吗?

危夷晨:会经常去玩。

网易科技:您对目前研究院的硬件设施满意吗?

危夷晨:我觉得挺好的,实际上在我以前加入这里之前,我没有想到公司对休息和娱乐的条件和环境会有这么好。

网易科技:好的,非常感谢您。

相关推荐
热点推荐
特斯拉在泰国推出Model 3和Model Y 看到售价我笑了

特斯拉在泰国推出Model 3和Model Y 看到售价我笑了

智车情报局
2022-12-07 17:15:10
刚刚!张兰澄清实锤放猛料!几句话又让大S这几天的努力白费了

刚刚!张兰澄清实锤放猛料!几句话又让大S这几天的努力白费了

世事娱乐
2022-12-07 18:35:40
“我是中国人民解放军陆军少将,你们谁敢抓我!”,一直到被抓的这一刻,他还沉浸在自己的“大校”美梦中!

“我是中国人民解放军陆军少将,你们谁敢抓我!”,一直到被抓的这一刻,他还沉浸在自己的“大校”美梦中!

少山军事
2022-12-03 22:11:37
二战德军设立“慰安所”,玩法千奇百怪,日本人都自愧不如

二战德军设立“慰安所”,玩法千奇百怪,日本人都自愧不如

小站的小站
2022-12-07 08:45:39
访华才结束蒙古就暴乱,事情存在三大疑点,中方已拿出自身态度

访华才结束蒙古就暴乱,事情存在三大疑点,中方已拿出自身态度

非常点评
2022-12-07 15:08:42
北理工未护短,公布方岱宁教授处理结果,女主身份公开引热议

北理工未护短,公布方岱宁教授处理结果,女主身份公开引热议

育学笔谈
2022-12-07 18:00:10
那一刻,不服老的C罗 与自己 和解了...

那一刻,不服老的C罗 与自己 和解了...

大飞老师爱运动
2022-12-08 02:51:55
苏纳克指责中国防疫政策,对着外国记者的面,赵立坚提出3个反问

苏纳克指责中国防疫政策,对着外国记者的面,赵立坚提出3个反问

海峡新讯
2022-12-06 23:57:57
人民日报传出好消息,建议今年不能禁放鞭炮,过年终于可以热闹了

人民日报传出好消息,建议今年不能禁放鞭炮,过年终于可以热闹了

吴学华看天下
2022-12-06 14:42:21
除特殊场所外 不再查验核酸证明、健康码、行程码

除特殊场所外 不再查验核酸证明、健康码、行程码

新京报
2022-12-07 16:03:03
鹈鹕正式报价吉米巴特勒,6换1诚意满满,热火会拒绝吗?

鹈鹕正式报价吉米巴特勒,6换1诚意满满,热火会拒绝吗?

赛车世界杂谈
2022-12-07 18:30:26
权杖交接仪式?没首发的C罗,其实除了面子啥都赢了

权杖交接仪式?没首发的C罗,其实除了面子啥都赢了

低调的体育王者
2022-12-08 02:18:38
人民币石油,中沙到底谁更着急?沙特的心思,连美国都看出来了

人民币石油,中沙到底谁更着急?沙特的心思,连美国都看出来了

石江月防务观察
2022-12-07 16:12:54
太可怕了!父亲被围殴致死1年,女子实名举报后失联,官方回应了

太可怕了!父亲被围殴致死1年,女子实名举报后失联,官方回应了

温柔的大马猴
2022-12-07 23:23:43
疫情要是突然退去,小区里的这三种人其实是最失落的。

疫情要是突然退去,小区里的这三种人其实是最失落的。

阿黄凭时事
2022-12-02 14:36:54
“他用药物控制我,强迫与我发生不正当关系。”

“他用药物控制我,强迫与我发生不正当关系。”

旧日兮
2022-11-28 09:12:03
北京恢复堂食了

北京恢复堂食了

中国新闻周刊
2022-12-07 19:40:56
拿完中国好处就翻脸,印尼军方枪口对准中国,呼吁美军介入南海

拿完中国好处就翻脸,印尼军方枪口对准中国,呼吁美军介入南海

强国新武器
2022-12-07 10:50:24
航天女英雄刘洋的丈夫,比她还优秀!一表人才,身份显赫

航天女英雄刘洋的丈夫,比她还优秀!一表人才,身份显赫

机械公民
2022-12-05 07:04:31
马云卸任,南存辉接任!

马云卸任,南存辉接任!

温州商报
2022-12-07 21:31:28
2022-12-08 03:40:49

科技要闻

媒体:马斯克决定任命朱晓彤为特斯拉全球CEO

头条要闻

台湾花莲县海域发生5.1级地震,震源深度30千米

头条要闻

台湾花莲县海域发生5.1级地震,震源深度30千米

体育要闻

记者:努诺-门德斯、达尼洛-佩雷拉明日将返回巴黎进行治疗

娱乐要闻

蔡卓妍与男友恋爱5年 笑称考虑生子

财经要闻

汽车要闻

全新AMG S63 E PERFORMANCE全球首发

态度原创

艺术
房产
本地
时尚
公开课

艺术要闻

大雪|故宫藏画里的苍松:拔地干霄势,清阴覆绿苔

房产要闻

11月上海新房成交量大涨,二手房两类产品很难卖

本地新闻

卡塔尔王室抓马起来,甄嬛都活不到大结局

冬天是最适合穿这件时髦单品的季节

公开课

日本葡萄580元一斤,中国引进后:8块8

进入关怀模式
×