VM如何共享物理SCSI设备？

在虚拟化环境中，高效、可靠地访问存储设备是核心需求之一，当虚拟机（VM）需要直接或高性能地使用物理存储设备（如硬盘、SSD、磁带库，尤其是共享存储如SAN LUN）时，SCSI总线共享（SCSI Bus Sharing） 配置就变得至关重要，理解其“物理”层面的含义和运作机制，对于构建稳定、高性能的虚拟化架构意义重大。

核心概念：SCSI总线与“物理”共享

1. SCSI总线： 在虚拟化上下文中，SCSI总线并非指物理服务器主板上的真实SCSI接口，而是Hypervisor（如VMware vSphere/ESXi, Microsoft Hyper-V）在软件层面模拟出来的一个虚拟通道，这个虚拟总线负责在虚拟机与其虚拟磁盘（VMDK, VHDX等）或直通的物理设备之间传输SCSI命令和数据。
2. “物理”共享（Physical Sharing）： 这里的“物理”并非指虚拟机直接接触物理硬件（虽然物理模式RDM与之相关，见下文），而是指多个虚拟机能够通过它们各自虚拟SCSI控制器上的不同SCSI ID，访问连接到同一个虚拟SCSI总线上的同一个物理存储设备（或代表它的对象），关键在于共享同一个后端物理资源。
3. 共享模式： 虚拟SCSI总线通常支持三种共享模式：
   • 无 (None)： 默认模式，虚拟磁盘仅供该虚拟机独占使用,其他虚拟机无法访问。
   • 虚拟 (Virtual)： 允许同一台ESXi主机上的多个虚拟机共享访问同一个虚拟磁盘文件（VMDK）。 这是最常见的用于实现集群场景（如Windows故障转移集群WSFC、Oracle RAC）的配置，虚拟机看到的是同一个VMDK文件,但Hypervisor管理底层对物理存储的并发访问。
   • 物理 (Physical)： 允许虚拟机访问一个原始物理设备（Raw Device Mapping – RDM 物理模式）。 RDM是一个指向SAN LUN（逻辑单元号）的映射文件，当设置为“物理”共享时，同一集群中的不同虚拟机（通常在不同主机上）可以通过它们各自的RDM访问同一个SAN LUN。 这是实现跨主机共享物理存储（如SAN LUN）给集群中多个VM的关键配置。

为什么需要SCSI总线共享（尤其是“物理”共享）？

主要应用于需要多个虚拟机并发访问同一块底层物理存储的高可用性（HA）或集群场景：

1. Windows Server故障转移集群 (WSFC)： 集群节点（运行在不同ESXi主机上的虚拟机）需要共享访问同一个仲裁磁盘和/或数据磁盘（通常是SAN LUN），配置RDM为“物理”共享模式是实现此目标的推荐方式（尤其在VMware环境中）。
2. Oracle Real Application Clusters (RAC)： RAC节点（虚拟机）需要并发读写共享的存储（如OCR, Voting Disk, Datafiles所在的ASM磁盘组对应的LUN），同样依赖“物理”共享模式的RDM或特定配置的共享VMDK（需Oracle认证支持）。
3. 其他集群化应用： 如某些高可用的数据库（SQL Server Always On AG有时也需要共享磁盘，尽管AG通常优先用非共享存储）、文件服务器集群等,只要应用架构要求多个节点同时读写同一块物理磁盘。
4. 虚拟机直接访问物理设备： 即使不用于集群，使用RDM（物理模式）允许虚拟机绕过文件系统层直接管理物理设备，可能在某些特定性能或兼容性场景（如需要SCSI-3 Persistent Reservations的备份软件）中有用。

“物理”共享的关键：原始设备映射 (RDM – Physical Mode)

• RDM是什么？ 它是一个小的映射文件（.vmdk），存放在VMFS或NFS数据存储中，这个文件不包含实际数据，而是作为一个指针或代理，指向后端的一个原始物理LUN（通常是SAN LUN）。
• 物理模式 (Physical Compatibility Mode)：
  • 虚拟机发出的几乎所有SCSI命令（包括特定于设备的命令和预留命令） 都会直接传递到底层的物理LUN。
  • 虚拟机操作系统和应用程序感知到的是近乎原生的物理设备特性。
  • 启用“物理”共享模式正是作用于这种物理模式的RDM上。
• 如何实现共享？ 当为同一个SAN LUN创建多个RDM（物理模式）文件，并分别附加给集群中不同主机上的不同虚拟机，并将这些RDM磁盘的SCSI总线共享模式设置为物理 (Physical) 时，Hypervisor就知道这些虚拟机需要并发访问同一个物理设备，Hypervisor会协调虚拟机之间的SCSI命令传递，并确保关键的SCSI预留/释放命令能正确执行,以维持集群的协调性。

重要机制：SCSI预留 (SCSI Reservations)

在共享物理存储（SAN）的环境中，防止多个主机同时写入导致数据损坏至关重要，SCSI协议定义了SCSI预留（Reservation） 机制：

1. 作用： 一个主机（或虚拟机）可以对一个LUN发起SCSI预留（通常使用SCSI-3 Persistent Reservations），相当于获得一个“锁”,表明它拥有对该LUN的独占写入权或管理权。
2. 在虚拟化“物理”共享中的角色：
   • 当集群中的一个节点（虚拟机）需要访问共享磁盘（通过RDM物理模式）时，它（或其集群软件）会尝试对该LUN发起SCSI预留。
   • 如果预留成功,该节点获得访问权。
   • 其他节点尝试访问时，如果检测到预留存在，其I/O可能会被阻止或排队。
   • 当节点故障或正常释放时，预留会被清除,其他节点可以竞争获得新的预留。
3. Hypervisor的角色： Hypervisor（如vSphere）的存储堆栈会处理虚拟机发出的SCSI预留命令，并将其正确地转发给底层的物理HBA和存储阵列，配置正确的“物理”共享模式是确保预留命令能被有效传递和执行的基础。

配置注意事项与最佳实践（强调稳定与可靠）

1. 严格遵循厂商指南： VMware、Microsoft、存储阵列厂商（如Dell EMC, NetApp, HPE）以及集群应用（WSFC, Oracle RAC）都有详细的、经过验证的配置指南。务必严格遵循这些官方文档，这是确保兼容性、稳定性和获得支持的前提。
2. 仅用于集群场景： 不要在非集群的普通虚拟机上随意启用“物理”或“虚拟”共享，这会导致数据损坏风险,因为多个非协调的VM同时写入同一磁盘。
3. 首选“物理”模式RDM用于跨主机集群： 对于WSFC、Oracle RAC等需要跨ESXi主机访问共享LUN的场景，物理模式的RDM配合“物理”总线共享是VMware官方推荐且支持的方式。
4. 理解“虚拟”共享的局限性： “虚拟”共享（共享VMDK）通常仅限于同一ESXi主机上的虚拟机，虽然某些高级配置可能支持跨主机，但其依赖Hypervisor内部的锁机制，在主机故障时行为可能不如基于SAN SCSI预留的“物理”模式RDM可靠，跨主机集群强烈建议使用物理模式RDM。
5. SCSI控制器类型： 通常使用LSI Logic SAS或VMware Paravirtual (PVSCSI) 控制器，PVSCSI通常性能更优且更节省CPU，但需确认操作系统和集群应用支持,避免使用旧式的BusLogic或IDE控制器。
6. 唯一SCSI ID： 在同一个虚拟SCSI总线上，分配给每个共享磁盘（无论是RDM还是共享VMDK）的SCSI ID必须是唯一的。
7. 存储阵列兼容性： 确保后端存储阵列完全支持SCSI-3 Persistent Reservations，并且其多路径软件与Hypervisor兼容，在阵列端正确配置LUN的访问权限（如正确的LUN Masking/Zoning）。
8. 虚拟机配置位置： 共享磁盘（RDM或共享VMDK）的虚拟机配置文件 (.vmx) 必须存放在所有访问它的主机都能可靠访问的共享存储（如VMFS或vSAN）上。
9. 备份策略： 备份包含RDM指针文件的虚拟机配置非常重要，对于RDM物理模式指向的LUN的数据备份，通常需要在虚拟机内部使用支持集群感知的备份代理进行，或者在存储阵列层面进行快照和复制。避免在Hypervisor层直接对RDM物理模式磁盘进行基于快照的备份,因为这可能破坏SCSI预留或导致数据不一致。
10. 监控与排错： 密切监控集群状态、存储性能以及SCSI预留相关的日志（在Hypervisor、虚拟机OS和存储阵列端）,了解常见的SCSI预留冲突错误信息。

虚拟机SCSI总线共享的“物理”模式，核心在于通过原始设备映射（RDM物理模式）和虚拟SCSI控制器的配置，使多个虚拟机（通常位于不同物理主机上）能够安全、协调地并发访问同一个后端物理存储设备（SAN LUN），这主要服务于高可用集群（如WSFC, Oracle RAC）的需求,依赖于底层的SCSI预留机制来保证数据一致性。

配置和使用此功能具有较高的复杂性，且配置不当极易导致严重的数据损坏或集群故障。

• 强烈建议仅由经验丰富的虚拟化和存储管理员操作。
• 必须严格遵循VMware、Microsoft、存储阵列厂商以及集群应用供应商的官方部署和配置指南。
• 仅将其应用于明确需要共享物理磁盘的集群场景。

正确理解和应用SCSI总线共享（特别是“物理”模式），是构建健壮、高性能的虚拟化集群基础设施的关键一环,能够有效支撑关键业务应用的高可用性需求。

引用与推荐资源 (For Further Reading & Verification):

• VMware官方文档：
  • VMware vSphere 产品文档 – 搜索 “原始设备映射 (RDM)”, “SCSI 总线共享”, “配置原始设备映射”, “在 vSphere 中设置 Windows 故障转移群集”, “Oracle RAC on VMware 指南”。 (示例链接格式：https://docs.vmware.com/cn/VMware-vSphere/index.html – 请访问VMware官方文档门户获取最新版本对应链接)
• Microsoft官方文档：
  • Microsoft Docs – “在 Hyper-V 上规划 Windows Server 故障转移群集”, “使用共享 VHDX 的 Hyper-V 来宾群集”。 (示例链接格式：https://docs.microsoft.com/zh-cn/windows-server/failover-clustering/ – 请访问Microsoft Docs获取最新指南)
• 存储阵列厂商文档： 查阅您所使用的SAN/NAS存储设备（如Dell EMC PowerStore/PowerMax/Unity, NetApp ONTAP, HPE Nimble/Primera/3PAR）VMware集成”、”RDM支持”、”SCSI预留”、”多路径配置”的官方最佳实践和兼容性指南。
• Oracle官方文档： Oracle Support – “Oracle RAC on VMware Best Practices” (文档ID通常如 249212.1 等，需登录My Oracle Support查看)。