在 Proxmox 上设置原生 ZFS 时,安装过程中会问你不少问题,尤其是与其他文件系统相比。它想知道你要使用哪些磁盘、你希望采用哪种 RAID 级别、压缩方式、池名称等等。它没有提到的是,你刚刚创建的这个文件系统将会占用系统内存的很大一部分,而这是设计使然。它占用的内存量取决于一个文件中的一行内容,除非你通读文档,否则可能根本不会看到这一行。
ZFS 的实际工作原理
什么是 ARC,以及它如何影响你的内存
ZFS 有些不同寻常,因为它同时是文件系统和卷管理器。它将存储池、冗余部分、校验和以及写时复制这些部分作为一个集成系统来处理,而不是像例如在单独的 RAID 层之上运行另一个文件系统那样。正是这种紧密集成让大多数人真正喜欢它,而这些特性的另一个效果是,它带来了一个专用缓存层,而不是依赖内核的缓存。
那个缓存称为自适应替换缓存,即 ARC。它驻留在你的系统内存中,保存最近读取的数据,因此后续读取不必过多访问磁盘。它完全在 ZFS 内核模块内部进行管理,而名称中的“自适应”部分指的是它如何决定哪些内容留在缓存中。它不是简单地丢弃最近最少访问的内容,而是试图在频繁访问的数据和最近访问过的数据之间保持平衡,而这是两个截然不同的类别。另外,按照 ZFS 的经典做法,元数据也会与文件内容一起被缓存,这也正是为什么一个装满小文件的池比一个装有一堆大文件的池更能从 ARC 中受益。
现在,就 Proxmox 而言,这个注意事项很重要:ARC 的内存使用量不会作为 Linux 页缓存的一部分被报告,而是会被报告为普通内存使用量。一个完全健康的 ZFS 主机,在它正完全按照设计目的运行时,看起来却可能像是内存即将耗尽。ARC 缓存也是可回收的,因为当其他程序需要内存时,ZFS 会把它归还,但它是按照自己的规则来归还的。
默认的 ARC 行为已经改变
取决于你的 Proxmox 版本
这里就可能有点奇怪了,而这取决于你何时开始搭建家庭实验室。ARC 是 ZFS 模块的属性,而不是任何一个单独存储池的属性。它是一个缓存池,由一台机器上所有与 ZFS 相关的内容共享。这也意味着,如果你像我一样在安装后创建了存储池,那么无论这个池是什么样子,它都从同一个缓存中取用。
这个上限由安装程序决定:从 Proxmox 8.1 开始,安装程序会按系统物理内存的 10% 来算,最多不超过 16 GB。这个值会以字节数值直接写入 /etc/modprobe.d/zfs.conf;即使你没把 ZFS 选作根文件系统,这个值也会被写入。早期版本的 Proxmox 只有在你选择 ZFS 时才会写入,但现在它会预先写入这个值,以防你之后决定创建池。
8.1 之前的版本完全没有这种行为,但即便如此,你可能会以为它会在你创建池之前提示你输入 ARC 值。然而,由于 zfs.conf 文件从未被创建,它就会回退到 OpenZFS 自身的默认值,而这个默认值曾经是物理内存的一半。后来这种情况发生了变化,OpenZFS 采用了一个公式,让 ARC 取“除 1 GB 外的全部内存”或“内存的八分之五”中的较大值,而在大多数机器上前者会胜出。
把这些都放一块儿看,一台没设 ARC 上限的主机从 Proxmox 8 升级到 9 的情景就显得现实得多,实际上不少用户就正好是这种情况。
我的 ARC 缓存大概设成了 1.55 GB,因为我最初安装 Proxmox 时,我的实验环境只有 16 GB 物理内存。尽管我已经拿两块企业级 SAS 盘组了一个 8 TB 的镜像,并把内存增加到 32 GB,但那个值一直没变。上限这么低,碰上重复访问时确实会拖我的性能,比如小块读取和元数据,这些交给内存处理本来会更合适。这其实跟我说的正好相反,但道理还是一样,而且你设的 ARC 值不光会影响存储性能。
它对虚拟机干的这些事,可能把性能拖垮
你要由着它,ARC 能变成吃内存大户
ARC 设置不对劲,最先露馅的通常不是虚拟机挂掉,而很可能是内存图表。你主机显示内存占用到了 90%,可虚拟机个个都显示自己没占那么多内存。在 Proxmox VE 9 上,至少现在常规内存占用信息下面就能直接看到 ARC 统计,但在老版本里,你还得多翻找几下。
如果你的虚拟机开了内存气球(ballooning,也就是最小内存低于最大值),系统会拿主机内存占用跟目标值比,然后从虚拟机里抽内存,直到主机降到目标线以下。如果系统给 ARC 分了很多内存,你可以用命令 pvenode config set --ballooning-target 来轻松缓解这个问题,值填百分比。要是你没先做这一步就启动大型虚拟机,并且主机又没开 swap,那 ARC 一收缩,内核缓冲内存峰值的余地就更小,性能就要遭殃。
读文档是有好处的
这些内容在 Proxmox Wiki 和 OpenZFS 的 man 手册页里都有详细说明,但等你选择根文件系统或首次设置 ZFS 池时,并不会有人跟你解释这些。如果你想自己确认一下 ARC 到底是什么情况,可以运行 cat /etc/modprobe.d/zfs.conf 和 arc_summary,这两个命令都会告诉你,ZFS 在底层到底是怎么用你的内存的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.