分布式数据恢复—Ceph+TiDB数据恢复报告

一、Ceph故障表现
故障情况：客户设备为Ceph分布式存储系统，采用RBD（RADOS Block Device）作为块存储服务。Ceph集群由多个OSD（Object Storage Daemon）节点组成，数据通过CRUSH算法分布存储在多个物理节点上。在系统运行过程中，由于误操作执行了初始化重置命令，导致Ceph集群的元数据信息被重置，存储池（Pool）配置丢失，RBD卷的映射关系被破坏，整个存储系统中的数据无法正常访问。目标需要恢复的RBD卷中存储了一台虚拟机的完整磁盘镜像，该虚拟机内部运行TiDB分布式数据库系统，包含重要的业务数据。
恢复概率预判：
由于是初始化重置操作导致的元数据丢失，底层物理数据块可能仍然完整保留在OSD节点上。Ceph采用对象存储架构，数据以对象形式存储在OSD中，每个对象包含数据本身和元数据信息。如果底层物理存储介质未发生物理损坏，通过底层扫描和元数据重建，理论上可以恢复RBD卷数据。恢复难度取决于Ceph版本、存储池配置参数、对象大小设置等因素。由于Ceph分布式存储的复杂性，需要深入分析CRUSH映射规则、PG（Placement Group）分布、对象存储结构等，恢复工作可能会耗费较长时间。
虚拟机恢复后，还需要对TiDB数据库进行解析，提取库表记录数据，整个恢复过程需要分阶段进行。
二、Ceph存储系统架构概述
Ceph是一个开源的分布式存储系统，采用去中心化架构设计。核心组件包括：
1、MON（Monitor）：负责维护集群状态映射，包括OSD Map、PG Map、CRUSH Map等元数据信息。
2、OSD（Object Storage Daemon）：负责实际的数据存储，每个OSD管理本地存储设备，将数据以对象形式存储。
3、MDS（Metadata Server）：用于CephFS文件系统，RBD场景下不涉及。
4、RBD（RADOS Block Device）：提供块设备接口，将RADOS对象组合成连续的块设备。
Ceph数据存储机制：
- 数据写入时，通过CRUSH算法计算数据应该存储在哪些OSD上，实现数据的均匀分布。
- 每个RBD镜像被切分成多个对象（Object），对象大小通常为4MB，可通过参数调整。
- 对象通过PG（Placement Group）进行管理，PG是逻辑概念，用于数据分布和副本管理。
- 每个PG根据副本数（通常为3副本）将数据分布到不同的OSD上。
RBD卷结构：
- RBD卷的元数据信息存储在RADOS对象中，包括卷的大小、格式版本、特性标志等。
- RBD卷的数据对象命名规则遵循特定模式，可通过对象名称模式识别和重组。
三、Ceph恢复过程
1、环境准备与数据备份
A、确认Ceph集群状态，停止所有可能对存储进行写入的操作，避免数据被覆盖。
B、识别Ceph集群中的所有OSD节点，记录每个节点的物理位置、存储设备信息、OSD编号等。
C、北亚企安数据恢复工程师对每个OSD节点上的存储设备进行只读模式挂载或底层镜像备份，确保原始数据安全。
D、备份Ceph集群的配置文件，包括ceph.conf、CRUSH Map等，用于后续分析参考。
E、记录Ceph集群的版本信息、存储池配置参数（如pg_num、pgp_num、副本数等），这些信息对恢复至关重要。
2、Ceph元数据分析与重建
A、北亚企安数据恢复工程师分析Ceph Monitor节点上的日志和状态信息，尝试提取部分元数据信息。
B、分析CRUSH Map结构，了解数据分布规则，包括故障域设置、权重分配等。
C、根据已知的存储池配置信息，重建PG到OSD的映射关系。
D、分析OSD节点上的对象存储结构，识别对象命名规则和存储格式。
E、通过扫描OSD节点，查找可能保留的元数据对象，尝试重建部分元数据信息。

北亚企安数据恢复—Ceph数据恢复

北亚企安数据恢复—Ceph数据恢复

3、RBD卷识别与定位
A、根据用户方提供的RBD卷名称、大小等信息，北亚企安数据恢复工程师在OSD节点上搜索相关的元数据对象。
B、分析RBD卷的对象命名模式，RBD对象通常以特定前缀命名，如rbd_data、rbd_header等。
C、通过扫描所有OSD节点，查找符合RBD卷特征的对象集合。
D、根据对象的时间戳、大小分布等特征，识别目标RBD卷的数据对象。
E、验证识别出的对象集合的完整性，确认是否包含完整的RBD卷数据。

北亚企安数据恢复—Ceph数据恢复

4、RBD卷数据重组
A、根据RBD卷的元数据信息，确定卷的大小、对象大小、对象数量等参数。
B、按照RBD对象编号顺序，将分散在多个OSD上的对象数据进行重组。
C、处理可能的对象缺失情况，如果存在副本，尝试从其他OSD节点恢复缺失对象。
D、重组RBD卷的头部元数据对象，包含卷的配置信息和快照信息。
E、将重组后的RBD卷数据导出为原始镜像文件，进行完整性校验。

北亚企安数据恢复—Ceph数据恢复

北亚企安数据恢复—Ceph数据恢复

5、OCFS2文件系统解析与虚拟机磁盘镜像导出
A、对恢复出的RBD卷镜像文件进行文件系统类型识别，确认镜像文件内部使用OCFS2（Oracle Cluster File System 2）文件系统。
B、OCFS2是专为集群环境设计的高性能文件系统，支持多节点并发访问，具有日志记录、扩展属性、配额管理等特性。分析OCFS2文件系统的超级块结构，获取文件系统的基本参数信息，包括块大小、集群大小、节点数量等。
C、解析OCFS2文件系统的目录结构，OCFS2采用B+树结构管理目录项，需要解析目录索引节点和目录项信息。
D、解析OCFS2文件系统的文件分配机制，OCFS2使用扩展分配（Extent Allocation）方式管理文件数据块，需要解析扩展树结构定位文件数据。
E、读取OCFS2文件系统中的虚拟机磁盘镜像文件，OCFS2文件系统可能包含多个文件，需要识别目标虚拟机磁盘镜像文件（可能是qcow2、raw等格式）。
F、北亚企安数据恢复工程师对OCFS2文件系统进行完整性校验，检查文件系统日志的一致性，修复可能存在的元数据错误。
G、从OCFS2文件系统中导出虚拟机磁盘镜像文件，确保导出的镜像文件完整且可正常访问。
H、验证导出的虚拟机磁盘镜像文件的完整性，确认镜像文件格式和大小符合预期。

北亚企安数据恢复—Ceph数据恢复

6、XFS文件系统解析与TiDB数据库文件提取
A、北亚企安数据恢复工程师对导出的虚拟机磁盘镜像进行分区识别，确定虚拟机磁盘的分区布局和文件系统类型。
B、确认虚拟机磁盘镜像中使用XFS文件系统，XFS是高性能日志文件系统，具有优秀的扩展性和并发性能，适合存储大型文件。
C、分析XFS文件系统的超级块结构，获取文件系统的基本参数，包括块大小、分配组（AG）数量、日志大小等。XFS采用分配组（Allocation Group）机制，将文件系统划分为多个独立的分配组，每个分配组管理自己的inode和数据块。
D、解析XFS文件系统的目录结构，XFS使用B+树结构管理目录，需要解析目录块和目录项信息，定位TiDB相关的数据目录。
E、解析XFS文件系统的inode结构，XFS的inode包含文件的元数据信息，如文件大小、权限、时间戳等，以及指向数据块的指针。
F、解析XFS文件系统的扩展分配机制，XFS使用扩展（Extent）方式管理文件数据，通过扩展树（B+树）快速定位文件数据块位置。
G、在XFS文件系统中定位TiDB相关的数据目录，通常包括TiDB Server、TiKV、PD等组件的配置目录和数据目录。
H、提取TiDB数据库相关的所有文件，包括TiKV的数据文件（RocksDB格式的SST文件、WAL日志等）、PD的元数据文件、TiDB的配置文件等。
I、北亚企安数据恢复工程师对提取的TiDB数据库文件进行完整性校验，检查文件大小、文件头信息等，确认文件是否完整。
J、尝试将TiDB数据库文件导入测试环境中，验证数据库文件是否可以正常使用。经校验北亚企安数据恢复工程师发现TiDB数据库文件存在损坏，无法通过正常方式启动和使用，需要进入下一步进行底层数据解析和记录抽取。

北亚企安数据恢复—Ceph数据恢复

7、TiDB数据库架构分析
TiDB是分布式关系型数据库，采用计算存储分离架构：
- TiDB Server：负责SQL解析、查询优化、事务处理等计算层功能。
- TiKV：分布式键值存储引擎，负责数据存储，采用Raft协议保证一致性。
- PD（Placement Driver）：集群管理组件，负责元数据管理、调度、时间戳分配等。
TiDB数据存储机制：
- 数据以Region为单位进行分片存储，每个Region包含一定范围的键值数据。
- 数据以Key-Value形式存储在TiKV中，Key包含表ID、行ID等信息。
- 元数据信息存储在PD中，包括表结构、索引信息、Region分布等。
- TiDB支持MVCC（多版本并发控制），数据可能包含多个版本。
8、TiDB数据文件识别
A、在虚拟机文件系统中定位TiDB相关的数据目录，通常包括TiDB、TiKV、PD的数据目录。
B、识别TiDB的数据文件格式，TiKV数据以RocksDB格式存储，包含SST文件、WAL日志等。
C、分析PD的元数据存储，PD通常使用etcd存储元数据信息。
D、识别TiDB的配置文件，了解集群配置、数据目录路径、端口信息等。
E、收集TiDB的日志文件，分析数据库运行状态和可能的错误信息。
9、TiDB数据库解析
A、分析TiDB的数据文件结构，理解RocksDB的存储格式和键值编码规则。
B、解析PD的元数据信息，重建数据库的元数据，包括数据库列表、表结构、索引定义等。
C、解析TiKV的Region数据，识别每个Region的键值范围和数据内容。
D、根据TiDB的编码规则，将键值数据解析为表记录格式，包括行数据、列数据等。
E、处理TiDB的MVCC版本信息，提取最新版本的数据记录。

北亚企安数据恢复—Ceph数据恢复

北亚企安数据恢复—Ceph数据恢复

10、TiDB库表数据提取
A、根据解析出的元数据信息，列出所有数据库和表的结构定义。
B、对每个表的数据进行解析，按照表结构定义将键值数据转换为行记录。
C、处理表的主键、唯一索引等约束信息，确保数据完整性。
D、提取表的列数据，包括各种数据类型（整数、字符串、时间、二进制等）的正确解析。
E、处理大对象数据（如BLOB、TEXT类型），确保完整提取。
11、数据导出与验证
A、将解析出的TiDB数据导出为标准SQL格式或CSV格式，便于后续导入。
B、按照数据库、表的层次结构组织导出数据，保持数据的逻辑关系。
C、对导出的数据进行完整性校验，包括记录数量、数据类型、约束检查等。
D、生成数据恢复报告，详细记录恢复的数据量、表数量、可能的数据缺失情况等。
E、提供数据导入脚本或工具，协助客户将恢复的数据导入到新的TiDB集群中。

北亚企安数据恢复—Ceph数据恢复

12、数据验证
A、由用户主导对恢复的虚拟机数据进行详细验证，确认虚拟机可以正常启动。
B、验证TiDB数据库数据的完整性和正确性，包括表结构、记录数量、数据内容等。
C、对关键业务数据进行抽样验证，确保数据的准确性和一致性。
D、若验证有问题，则重复上述相关操作步骤，进行补充恢复。
E、提供数据恢复的详细文档和技术支持，协助客户完成数据迁移和系统重建。
四、Ceph恢复结果
Ceph分布式存储系统重置后，所有数据丢失，但元信息并没有被彻底清除，可以通过扫描元信息找回丢失的数据。但由于系统没有第一时间停机，包括还可能存在的缓冲写入，导致还是有部分元信息彻底丢失或数据被破坏，恢复出的数据并不是完全正确可用的，因此还需要对其中的TiDB进行解析，提取数据库表记录。
北亚企安数据恢复工程师通过结合TiDB中的SST类型的静态数据文件和raftlog同步日志，对数据文件和日志文件中的数据进行解析合并，成功恢复出了95%以上的数据。