【服务器数据恢复】FreeNAS+ESXi虚拟化环境下UFS2故障的数据恢复

一、服务器数据恢复环境
本次需要进行数据恢复的设备为一台服务器，该服务器通过FreeNAS提供iSCSI块存储服务，并借助另外两台服务器构建虚拟化系统。在FreeNAS层面采用的是UFS2文件系统，整个服务器创建了一个文件并挂载给ESXi5.0系统。在这个虚拟化系统中，共有5台虚拟机。其中一台虚拟机采用ASP.net和PHP混合构架，使用SqlServer2005和MySQL5.1两个数据库；另一台虚拟机为FreeBSD系统，使用MySQL数据库；还有一台虚拟机存储的是代码数据。这三台虚拟机的数据是本次服务器数据恢复的重点。

北亚企安数据恢复—FreeNAS数据恢复

二、服务器故障
该服务器在正常运行过程中意外断电，重启后虚拟化系统无法连接服务器。经检查，发现FreeNAS中的UFS2文件系统出现问题。服务器管理员对文件系统进行了修复，但ESXI系统无法识别原有数据和文件系统。在此情况下，管理员联系北亚数据恢复中心要求恢复服务器数据。
三、服务器数据恢复过程
1、应用构架层次分析
本案例应用构架：FreeNAS（UFS2文件系统–>一个大的稀疏模式的文件）–>ESXi5.0（VMFS文件系统层）->单台虚拟机的虚拟磁盘（windows-NTFS文件系统/FreeBSD-UFS2文件系统）。
2、FreeNAS层镜像与分析
对FreeNAS层进行镜像操作，随后分析整个存储，发现仅有一个名为iscsidata的大文件。北亚企安数据恢复工程师通过UFS2文件系统的二进制结构，定位到iscsidata文件的Inode数据，发现此文件已被重建，inode指针指向的数据量极少。若FreeNAS层的问题无法解决，后续的VMFS层分析将无法开展。
3、UFS2文件系统重要结构收集
收集UFS2文件系统的重要结构参数：
块大小：16KB
Segment大小：2KB
柱面组大小：188176KB
UFS2一个数据指针占8字节，一个块可存储2048个数据指针。一个二级指针块可存储2048*2048*16KB=64GB数据，一个三级指针块可存储64GB*2048=128TB数据。
若能找到iscsidata文件的三级指针块，即可解决FreeNAS层问题。但由于iscsidata文件已重建，过程和大小与原始情况一致，推测部分指针块已被覆盖。原始iscsidata文件的inode和新建的iscsidata文件的inode处于同一位置，经搜索未发现其他有用的inode。因此，北亚企安数据恢复工程师只能编写程序收集有用的指针块。

北亚企安数据恢复—FreeNAS数据恢复

4、指针块分析
由于iscsidata文件采用稀疏模式，收集条件只能放宽，最终收集到大量三级指针块和二级指针块。对收集到的所有三级指针块进行分析，均为无效块，未发现iscsidata文件使用的三级指针块。服务器数据恢复工程师推测在新建iscsidata文件时被新数据覆盖（新的iscsidata文件在挂载到ESXi5.0后有个VMFS格式化过程，而ESXi5.0使用GUID Partition Table分区，GUID Partition Table分区会在磁盘最后写入冗余的GUID Partition Table头和分区表信息数据，从而使用了iscsidata文件的三级指针块）。
因此，北亚企安数据恢复工程师只能对收集到的二级指针块进行分析，对大量二级指针块指向的数据进行DUMP，然后从磁盘中的数据定位到二级指针，得到大量DUMP数据。

北亚企安数据恢复—FreeNAS数据恢复

5、VMFS层分析
由于VMFS已被重格式化，原始UFS2的指针丢失，导致VMFS元文件基本不可用，缺乏重要参考信息。所幸虚拟机均无快照，数据仍可恢复。通过单台虚拟机层（windows(NTFS)和FreeBSD(UFS2)系统的文件系统结构），向上定位到VMFS层，再通过VMFS层定位到DUMP出的单个64GB文件，经过多次组合，北亚企安数据恢复工程师成功完全恢复了这三台重要虚拟机的虚拟磁盘。将恢复出的网页数据和数据库数据上传到新构建的系统中，应用正常拉起，数据完整无误。
6、经过用户方的仔细检测后，确认3台重要虚拟机中的数据成功恢复，认可本次数据恢复结果。本次服务器数据恢复工作完成。

北亚企安数据恢复—FreeNAS数据恢复