网易首页 > 网易号 > 正文 申请入驻

Kornia开源可微分计算机视觉库,基于Pytorch,GitHub 3000星

0
分享至

机器之心发布

机器之心编辑部

OpenCV 创始人 Gary Bradski 等人近期发表了一篇 Kornia 的综述。Kornia 是一个基于 PyTorch 的可微分的计算机视觉库,实现了可微的基础计算机视觉算子和可微的数据增广。该项目在 Github 上已经收获了 3k 星。

无论在深度学习还是传统的视觉处理方案中,最常用图像处理库就是 OpenCV 和 PIL 了。然而,因为 OpenCV 和 PIL 都是不可微的,所以这些处理都只可以作为图像的预处理而无法通过观察梯度的变化来对这些算子进行优化 (gradient-based optimization)。因此,Kornia 便应运而生。

论文链接:https://arxiv.org/pdf/2009.10521.pdf

项目链接:https://github.com/kornia/kornia

文档链接:https://kornia.readthedocs.io/en/latest/index.html

Kornia 是一个基于 PyTorch 的可微分的计算机视觉 (differentiable computer vision) 开源库,在 Github 上已经有了 3000 星。为了兼顾传统视觉处理与深度学习的需求,Kornia 实现了:

可微的基础计算机视觉算子。

可微的数据增广(differentiable data augmentation)。

由于 Kornia 是基于 PyTorch 的,它同时会具备如下特性:

可微分性。所有算子的梯度都可以通过 PyTorch 的 AutoGrad 计算,并使用 PyTorch 的优化器(如:Adam)来优化。

GPU/TPU 加速。除 CPU 外,Kornia 可以在 GPU 甚至 TPU 中进行运算。

批数据处理。同时处理大量数据来提高运行效率。

1.Kornia 可微计算机视觉

为了解决不同计算机视觉领域的问题,比如颜色转换、底层图像处理、图像几何变换、特征检测等,Kornia 设计了如下图的模块。

值得一提的是,Kornia 不仅仅是将 OpenCV 的功能用 PyTorch 重新实现,它同时也将一些传统视觉中不可微的操作可微化,譬如说裁切 (crop) 操作便是通过透视变换 (Perspective transform) 与仿射变换 (Affine transform) 实现的。

基于可微性,Kornia 中传统的视觉方法也可以通过梯度下降的方法来进行优化。比如使用梯度下降的方法来实现图像深度估计 (Depth Estimation):

详细代码可以参考 https://github.com/kornia/kornia-examples/blob/master/depth_estimation.ipynb

亦或是使用梯度下降的方法来实现图像配准 (Image Registration):

详细代码可以参考 https://github.com/kornia/kornia-examples/blob/master/homography.ipynb

2.Kornia 可微数据增广

深度学习中最常用的优化方法便是基于梯度的优化,但常用的数据增广库(如 TorchVision,Albumentations)并不具备可微性。为了更好地与深度学习相结合,Kornia 参考了 TorchVision 的 API 并实现了可微的数据增广(DDA, Differentiable Data Augmentation)。目前,开发团队也在持续开发更多的可微分的 2D 图像与 3D Volume 的数据增广,如下图所示(RGB 3D Volume 很少见,实现与否将由社区驱动)。

由于 Kornia 是基于 PyTorch 开发而来的,那么数据增广的逻辑便自然而然地整合进了 PyTorch 的网络中,就像使用卷积层,池化层一样。相似的,我们可以任意定义、保存、载入 Kornia 增广模块,并在任意设备(CPU/GPU/TPU)上运算。尤其在训练中,如果你的 CPU 已经开始超负荷运行了,那么 Kornia 将会更大地提升你的训练速度与 GPU 利用率。

同时, Kornia 的数据增广方法也可以轻松地通过梯度来进行优化。下面的例子展示了如何使用 ColorJitter 来更新图像与增广参数,其中我们通过 nn.Parameter 定义了亮度 (brightness)、饱和度 (saturation)、对比度 (contrast)这三个可微的参数,以及通过 torch.tensor 定义色相 (hue)这一不可微的参数。从结果中,我们可以看到被大学习率(learning rate=1e+5)更新的图像以及三个可微参数的变化。

3. 后话

可微的数据增广乃至于计算机视觉在近几年的社区中不断被更多的人关注。近期的工作,例如 Faster AutoAugment,便是基于 Kornia 的可微性而来的针对自动数据增广策略的优化方法。开发团队表示,他们也希望自己的工作可以更多地应用于各种有潜力的项目。未来,他们将会加入更多的数据增广操作、梯度估计方法,以及增加对 JIT 的支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
汪小菲晒钻戒宣布求婚成功:送女友Mandy价值百万的豪车

汪小菲晒钻戒宣布求婚成功:送女友Mandy价值百万的豪车

素素娱乐
2024-03-28 22:15:19
普京“贴身侍卫”叛逃西方,曾随普京出访超180次,掌握重要机密

普京“贴身侍卫”叛逃西方,曾随普京出访超180次,掌握重要机密

爆角追踪
2024-03-28 07:14:21
浙商创投创始合伙人华晔宇被情人举报后续:情人一审被判敲诈勒索获刑3年

浙商创投创始合伙人华晔宇被情人举报后续:情人一审被判敲诈勒索获刑3年

经济观察报
2024-03-28 16:01:14
山雨欲来!北、上、深率先出手

山雨欲来!北、上、深率先出手

刘晓博说楼市
2024-03-28 10:08:56
3月26日,Angelababy,还真被网友说中了!

3月26日,Angelababy,还真被网友说中了!

元气少女侃娱乐
2024-03-26 12:55:16
戴尔要跑路了!一万多人被裁,中国区被曝裁员非常多

戴尔要跑路了!一万多人被裁,中国区被曝裁员非常多

爆角追踪
2024-03-28 16:46:09
日本首次在冲绳部署导弹针对中国?国防部答澎湃

日本首次在冲绳部署导弹针对中国?国防部答澎湃

澎湃新闻
2024-03-28 16:54:27
当年说出“不是你撞的,干嘛去扶”的法官,18年后,他过得怎样?

当年说出“不是你撞的,干嘛去扶”的法官,18年后,他过得怎样?

大佬日志
2024-03-26 08:00:10
律师立功!曝李铁最开始被查是9位数 翻供后变7764万 留住一条命

律师立功!曝李铁最开始被查是9位数 翻供后变7764万 留住一条命

体坛扒客
2024-03-28 22:37:58
小米SU7发布会现场,雷总公布价格后,各汽车厂商创始人表情火了

小米SU7发布会现场,雷总公布价格后,各汽车厂商创始人表情火了

杂谈哥闲谈
2024-03-28 23:28:31
女教师字体过于“幼态”,家长表示没眼看,我家孩子写得都比这好

女教师字体过于“幼态”,家长表示没眼看,我家孩子写得都比这好

红丽说教育
2024-03-28 14:19:26
广东神秘“短命村”:村民多数活不过40岁,专家一语道破真相!

广东神秘“短命村”:村民多数活不过40岁,专家一语道破真相!

财宝
2024-03-28 09:38:32
12-1!亚洲第3爆发,下轮打平=出线!放水给国足拿1分:携手晋级

12-1!亚洲第3爆发,下轮打平=出线!放水给国足拿1分:携手晋级

侃球熊弟
2024-03-28 21:19:38
最高层专门会见,别想了,风向就是转了

最高层专门会见,别想了,风向就是转了

视知产研院
2024-03-28 23:03:40
上海警方刑拘6人!黄圣依、杨子最新回应

上海警方刑拘6人!黄圣依、杨子最新回应

新民晚报
2024-03-29 09:25:50
今天有一组数据把我吓到了:中国的职业主播数量已经有1508万人。

今天有一组数据把我吓到了:中国的职业主播数量已经有1508万人。

琼瑶史事
2024-03-29 00:19:21
何小鹏亲自开小米SU7赶赴发布会:这车卖便宜了就不对

何小鹏亲自开小米SU7赶赴发布会:这车卖便宜了就不对

手机中国
2024-03-28 17:09:28
老奶奶捡到刺猬,小心照顾一宿送给兽医,兽医懵了:这也不是刺猬啊?

老奶奶捡到刺猬,小心照顾一宿送给兽医,兽医懵了:这也不是刺猬啊?

英国那些事儿
2024-03-29 00:01:50
新加坡队长:如果亚洲球员有本事,像武磊去西班牙能得到更好待遇

新加坡队长:如果亚洲球员有本事,像武磊去西班牙能得到更好待遇

直播吧
2024-03-28 19:17:22
“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

阿胡
2024-03-28 15:30:23
2024-03-29 09:48:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
8835文章数 141870关注度
往期回顾 全部

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

牛弹琴:菲方行动逼近临界点 中国向其释放强烈信号

头条要闻

牛弹琴:菲方行动逼近临界点 中国向其释放强烈信号

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

展车撞人 投诉飙升 极氪该掰谁的手腕?

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

教育
本地
旅游
健康
公开课

教育要闻

2024 英国毕业生就业市场报告出炉!这个专业毕业起薪50万!附留学生在英求职指南

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

旅游要闻

在广西不洗澡,是不是犯了天条啊?

早防早筛,远离肝硬化

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版