网易首页 > 网易号 > 正文 申请入驻

PyTorch那些事儿(五):Transforms—图像处理与增强

0
分享至

正文共: 26893字 32图 预计阅读时间: 68分钟

计算机视觉任务中,对图像的变换(Image Transform)往往是必不可少的操作,例如在迁移学习中,需要对图像尺寸进行变换以使用预训练网络的输入层,又如对数据进行增强以丰富训练数据。

作为深度学习领域的主流框架,pytorch中提供了丰富的图像变换API。这些API实现了常用的图像数据增强操作,可以灵活组合使用。主要特点:

  • 丰富的数据增强操作,包括Crop、Flip、Color变换等

  • 支持PIL Image和Tensor

  • 可以链式组合使用

  • 提供了方便的功能函数接口

本文将对pytorch中torchvision.transforms提供的丰富多样的图像变换API进行整理介绍。为了方便理解记忆以及后续使用过程中查找,我把pytorch中提供的transform分为6大类:

  1. 几何变换:改变图像几何形状和结构的变换,如裁剪、旋转、缩放等。主要用于提升模型对角度、尺寸的鲁棒性。

  2. 色彩变换:改变图像颜色的变换,如调整亮度、对比度、饱和度等。主要用于增强模型对颜色变化的鲁棒性。

  3. 图像格式与数值转换:在PIL Image和Tensor间进行转换。对图像像素值进行正则化等操作。

  4. 图像增强组合:将多个变换组合使用,如RandomApply等。这是Transforms的精髓所在。

  5. 自动搜索学习数据增强策略:一些通过强化学习等方案学习而来的增强方法。

为方便下文展示各种图像变换API的效果,我们借助matplotlib定义一个名为show_image函数来展示图片,如下所示:

import torch
import numpy as np
from torchvision import transforms
from torchvision.io import read_image
import matplotlib as mpl
import matplotlib.pyplot as plt
def show_image(img_lst, **imshow_kwargs):
img_lst: 保存图像和标题的list,形如:[(image1, title1),(image2, title2)]。image可以使Pillow.Image对象,也可以是torch.Tensor。
imshow_kwargs: 需要传递给plt.imshow的参数
fig, axs =plt.subplots(1,len(img_lst), constrained_layout=True, figsize=(2*len(img_lst),2), squeeze=False)
for i, (img, title) in enumerate(img_lst):
if isinstance(img, torch.Tensor): # 如果是torch.Tensor类型,就必须转换成Pillow.Image类型,才能进行展示
img = transforms.ToPILImage()(img)
axs[0, i].imshow(np.asarray(img), **imshow_kwargs)
axs[0, i].set_title(title)
plt.show()
1 加载图片 1.1 PIL库

对于存储在磁盘中的图片文件,使用Pillow库提供的Image类对象进行打开是一种十分常用的方法,如果你还没有安装,你可以通过以下命令方便下文进行:

pip install Pillow
from PIL import Image

我们通过Pillow中提供的方法,打开一张图片,并通过show_image()方法进行展示,下文中各种图像变换,我们都将以此图片为例,进行演示:

raw_img = (Image.open('fruit.jpeg'), '原始图片')
show_image([raw_img])
1.2 pytorch中提供的图像加载方法

pytorch的torchvision.io模块本身也提供有加载图像数据的方法:read_image。该方法直接将图片加载为Tensor类型数据。

from torchvision.io import read_image
raw_img2 = read_image('fruit.jpeg')
raw_img2.shape
torch.Size([3, 448, 596])
type(raw_img2)
torch.Tensor

我们也通过之前定义的show_image()方法进行展示,注意,show_image()方法之所以能展示Tensor类型数据为图像,是因为show_image()方法内将Tensor转为PIL图像了。

show_image([(raw_img2, 'read_image()')])

好了,知道怎么打开与展示图像之后,我们就可以开始介绍本篇中的主角——pytorch中的那些transform们。

2 几何变换

几何变换是指对图像的大小、形状、角度等几何形态和结构进行调整,常用于数据增强,有助于提高模型的泛化能力。一般在图像分类/检测等任务中,会频繁使用这些几何变换,防止过拟合和提高鲁棒性。

需要注意,这些变换大多数会在内部调用PIL来处理图像,因此输入需要是PIL Image格式。几何变换主要分为以下几类:

1. 大小变换。生成不同分辨率和尺寸的图像,增强模型对大小变化的鲁棒性。

  • Resize调整图像大小。

2. 空间变换。可以增强模型对关键特征的学习,防止过拟合背景信息。

  • RandomCrop随机裁剪图像区域。

  • CenterCrop中心裁剪图像。

  • RandomResizedCrop随机裁剪并resize。

  • FiveCrop与TenCrop从图像的四个角以及中心进行多次裁切

3. 形变变换。可以模拟弹性物体运动时的形变,增强模型对形变的鲁棒性。

  • ElasticTransform给图像添加随机形变。

4. 仿射变换。可以从不同视角获取图像,增强模型对视角变化的鲁棒性。

  • RandomRotation随机旋转图像。

  • RandomAffine进行随机仿射变换。

  • RandomPerspective进行透视变换。

5. 翻转变换。增加图像方向的多样性,防止过拟合某一方向。

  • RandomHorizontalFlip随机水平翻转。

  • RandomVerticalFlip随机垂直翻转。

6. 填充变换。可以防止信息丢失,也可用于模型输入大小不匹配。

  • Pad在图像边缘填充特定像素,扩大图像。

2.1 Resize

按给定尺寸对图像进行缩放,Resize主要参数size可以为int型,此时,原始图像短边将缩放至size像素,长边将缩放至:size×长边÷短边����×长边÷短边 。以上述原始图片为例,假设输入size=300,原始图像短边高是448像素,长边宽是596像素,所以缩放后,长边宽为:300×596÷448=399像素300×596÷448=399像素;当size为序列时,size=(h, w),原始图像将高和宽分别缩放至h和w。除了size参数外,Resize还有其他参数,可以参考[官方文档

raw_img = read_image('data/fruit.jpeg')

transform1 = transforms.Resize(size=300)
transform2 = transforms.Resize(size=(300, 300))
transform3 = transforms.Resize(size=(800, 800))
tran_img1 = transform1(raw_img)
tran_img2 = transform2(raw_img)
tran_img3 = transform3(raw_img)
print(f'size=300,缩放后图像宽高为:{tran_img1.shape}')
print(f'size=(300, 300),缩放后图像宽高为:{tran_img2.shape}')
show_image([
(raw_img, '原始图像'),
(tran_img1, 'size=300'), # 对PIL.Image类型图片进行裁切
(tran_img2, 'size=(300, 300)'), # 对torch.Tensor类型图片进行裁切
(tran_img3, 'size=(800, 800)') # 对torch.Tensor类型图片进行裁切
])

size=300,缩放后图像宽高为:torch.Size([3, 300, 399])
size=(300, 300),缩放后图像宽高为:torch.Size([3, 300, 300])
2.2 RandomCrop

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

环球网资讯
2026-11-21 16:38:05
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

大众网
2026-11-21 12:23:05
长安大学回应“14日面试13日出结果”

长安大学回应“14日面试13日出结果”

界面新闻
2026-11-21 20:15:09
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
就在今天!哈登创造了80年NBA纪录

就在今天!哈登创造了80年NBA纪录

篮球大视野
2026-11-21 12:00:04
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

大风新闻
2026-11-21 09:33:02
奥斯卡影后当众承认隆胸:是全新的,全C罩杯

奥斯卡影后当众承认隆胸:是全新的,全C罩杯

热搜摘要官
2026-11-20 20:07:43
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

趋势清风侠
2026-11-21 08:44:23
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
突发!黄仁勋掀桌了

突发!黄仁勋掀桌了

小鱼爱鱼乐
2026-11-21 16:08:24
网传零跑A10后备箱被几箱啤酒压穿 官方回应明确了

网传零跑A10后备箱被几箱啤酒压穿 官方回应明确了

快科技
2026-11-21 09:12:08
长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

人生录
2026-11-21 00:05:14
A股关键时刻,重磅政策终于落地!大利好来了

A股关键时刻,重磅政策终于落地!大利好来了

星图金融研究院
2026-11-21 15:07:29
火箭主帅怒批球员:打得这么烂,你一场球都赢不了

火箭主帅怒批球员:打得这么烂,你一场球都赢不了

体坛周报
2026-11-21 17:34:09
2026-11-21 20:27:00
Ai学习的老章 incentive-icons
Ai学习的老章
Ai学习的老章
3592文章数 11224关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
手机
旅游
公开课
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版