SAN-OBS存储网络体系的设计及其联接层的实现

　　1.1 对存储技术的巨大需求

　　当今网络时代的快速发展，对存储技术的变革有着巨大的需求。主要表现为：

　　（1） 存 储 容量急剧膨胀，对网络存储技术提出了严峻的挑战。多媒体信息的普遍使用，Intenret的普及，宽带的增长，将来的空间影像和虚拟现实的普遍应用以及更加广泛的商业应用（包括ERP、电子商务、数据仓库、数据市场等），都在产生空前的数据量。

　　（2） 数 据 就绪时间的延展。今天的网络数据需要保证每周7天，每天24小时处于就绪状态。存储单元的可用性要求远高于处理单元和传输部件。需要进一步发展高可用性的技术（主要包括有冗余纠错、数据备份、集群、容灾、灾难恢复等）。

　　（3） 数 据 存储的结构也产生了变化。在网络互联时代，数据是跨系统、跨部门，甚至面向全世界。数据的存取只应该受到安全机制的管理，而不应该受到地域空间的约束。系统之间的数据移动和共享的需要巨增。

　　（4） 需 要 提供一种可扩展的存储网络结构和软件结构，来保证存储体系的可动态扩展性，因为存储的特点就是数据量的动态单调性增长。

　　（5） 数 据 备份和恢复的性能要求提高。网络存储系统的用户群巨大，产生了极高的I/O率。高宽带应用将使流媒体成为主流，产生了极高的数据率。高性能技术一方面提高了硬盘的数据传输率和I/O率，更通过存储设备的高速互联实现越来越大规模的并行。

　　1.2 存储体系结构发展中存在的主要困难

　　当前主要的企业级网络存储模式有NAS（网络连接存储，NetworkA ttachedS torage）和SAN（存储区域网络，Storage Area Network）。以下简要的分析它们各自的特点：

　　1.2.1 网络连接存储

　　NA（网络连接存储）即将存储设备连接到现有的网络上，提供数据和文件服务。图1为NAS的存储模型。

　　NA S 存 储体系的优势：

　　（1） N AS 部件为网络中的主服务器承担了数据存储任务，将主服务器从数据存储功能中解放出来，消除了网络中的带宽瓶颈。

　　（2） N AS 将存储设备通过标准的网络拓扑结构连接人现有网络，与客户间的通信是使用NFS（NetworkF ileSystem）协议和CIFS（Common Internet File System）协议，采用一个面向用户设计的、专门用于数据存储的瘦操作系统和优化的文件系统，内置了与网络连接所需的协议，整个系统的管理和设置较为简单。

　　（3） N AS 是真正即插即用的产品，可以非常方便地安装在网络上。即使NAS出现了故障，网络上与主服务器相关的其他操作也不会受到影响；而且即使主服务器出现了故障，客户端仍然能够向NAS发送请求并检索数据。

　　（4） 通 过 设置NAS，可以实现不同平台的客户端（如NT,UNIX）之间共享数据。因为文件系统位于存储端，NAS采用的标准文件共享协议为异构网络的不同服务器用户提供数据访问服务。

　　（5） N AS 价格较低、便于管理。

　　NA S存 储 体系的缺陷：

　　（1） N AS 的可扩展性有限，局限了数据量的增加。

　　（2） 在 N AS中，数据传输是通过现有局域网实现的，这给用户局域网带宽造成了沉重的负担，因为局域网只适合短暂的突发数据传输。

　　1.2.2 存储区域网络

　　SAN（存储区域网络）即通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络，提供企业级的数据存储服务。图2为SAN的存储模型。

　　SAN存储体系的优势：

　　（1） S AN 是一项将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身是一个存储网络，由于该网络承担了原本在主网络中实现的数据存储，从而提高了SAN的性能，降低了网络中的交通阻塞。

　　（2） S AN 方式易于集成，并可扩展，能改善数据可用性及网络性能。利用SAN，不仅可以提供更大容量的存储数据，而且地域上可以分散，并缓解了大量数据传输对于局域网的影响。

　　（3） S AN 的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在哪里，服务器都可直接存取所需的数据。

　　（4） S AN 是独立于服务器网络系统之外几乎拥有无限存储的高速存储网络，以光纤通道和SCSI的应用协议作为存储访问协议，将存储子系统网络化。光纤通道技术具有带宽高、误码率低和距离长等特点，特别适合于海量数据传输领域，所以被应用于主机和存储器间的连接通道和组网技术中。

　　SAN存储体系的缺陷：

　　（1） 异 构 平台信息共享困难。因为SAN使用了开放模型协议，所以使得SAN中异构存储环境成为可能，但是因为SAN提供的是“块”级服务，这样就使得异构平台之间的信息共享的实现比较困难。

　　（2） S AN 的管理和安全保障机制的复杂度高。

　　1.3 网络存储的进一步需

　　（1）现在需要一种具有SAN的高速，易于扩展的优势，也要具有NAS的易于实现文件级跨平台共享的性能，兼取二者的优势1[11,（2） 需 要 提高安全机制，降低管理复杂度。作为数据保护和存储管理的平台，存储网络的体系结构的研究被提升到战略高度。

　　2 SAN-OBS存储体系的提出

　　2.1 O BS（O bject-BasedS torage）体系结构的发展

　　OBS基于对象有存储，它将底层的存储管理功能下移到存储设备自身，使存储设备实现自管理（SelfM anagement），建立了一个基于对象的界面。OBS结构不以存储块或文件作为存储单位，而是以对象（object）为存储单位。一个对象可以是单一的数据库记录或数据表，也可以是整个数据库，可以是一个文件，也可以是文件的一部分。在存储设备之上加人一个智能管理层。

　　有关 O SD 的工作是由SNIA（ StorageN etworkingI ndustry Association）的OSDT echnicalW orkingG orup（TWG）来负责。有关OSD标准的建立当前是由InternationalCo mmitteefo rIn formationT echnologyS tandards的一个技术委员会T10来负责。

　　图3为OBS体系的结构模型

　　OBS体系结构的优势在于：

　　（1） 高 存 储管理的性能，实现存储子系统的自管理和策略自驱动（例如：备份，恢复等）；

　　（2） 设 备 和数据的共享的直接实现，尤其是跨系统平台的共享；

　　（3） 高 存 储的性能（包括Hints,Qo S,D ifferentiatedServices‘等）；

　　（4） 高 可 扩展性，不仅仅是指容量，还包括性能、元数据管理空闲块定位等；近年 来 ， 有若干致力于OBS的研究，包括卡耐基麦隆大学的NASD （Network-AttachedSecure Disks）计划（网络方式），SNIA的OBSD计划（存储方式），Intel公司的Scalable Native Disks计划（IPC方不幸 的 是 ，因为受限于当时的网络传输环境，它们都存在着共同的问题：

　　（1） 需要建立新的附加标准和协议，这存在着很大的潜在困难。

　　（2） 不能扩展到数据中心之外，这必将导致昂贵并且扩展性有限的方案。

　　（3） 需要新的特定的网络设备（适配器、交换机等）。

　　（4） 性能有限（这违背了OBS的根本目标）。

　　但是 ， 随 着网络传输环境的飞跃，新的协议的出现（iSCSI,V I/FC,TOE等），OBS将得到重生，它将能够真正地实现一个高性能、安全、可共享的存储方案。

　　2.2 SAN-OBS存储网络体系的提出

　　鉴于网络和计算机数据处理如此飞速的发展，对存储技术提出了如此迫切的需求，以及上面所提到的存储技术发展的困难和复杂性，这里将提出一种存储体系结构SAN-OBS，将SAN （Storage Area Network）体系结构和OBS（Object-Based Storage）体系结构相联接，构成一个新的综合存储体系。将复杂的“块”级管理下移到存储子系统一端，成为OBSD（Object-Based Storage Device）提供的功能函数，而OBSD向上提供基于对象的服务，这样避免了传统的分布管理的复杂性。数据抽象性由“块”（block）上升到“对象”（object）。这样对存储设备的读、写、安全机制等管理功能，可以通过对OBSD的功能函数的调用来实现，大大简化了文件服务器的管理工作，使SAN的跨平台共享和安全机制得到良好的实现，并且更充分的体现了它在性能、可扩展性、可用性等方面的优势。以求实现一个高效率、跨平台共享、有较高安全性、易于管理的网络存储体系。图4说明几种主要的存储体系结构以及它们所提供的不同级别服务的对比：

　　3 SAN-OBS存储网络体系的设计

　　3.1 SAN-OBS体系结构模型

　　将SAN和OBS相结合的体系结构中，数据并不需要经过一个服务器，由此在这样的网络存储设置中，文件服务器的角色被降低，只是进行元数据、安全机制和缓冲cache的管理，而存储服务器（storage manager）成为一个独立于file server/manager的网络部件。各部件的主要功能如图5所示。

　　File System Clients:提供访问file server的途径，维护一个内存cache，用于缓存客户端应用程序得到的数据。

　　它接收由用户程序发出的文件系统申请，在写时发送数据到storage manager，在读数据时当file manager中的cache未命中时，向storage manager发读申请，接收来自于storage manager或其它clients的回应，它也可以回应file manager的命令，在客户端之间传递数据。

　　File M an ager/Server:管理元数据和缓冲区数据的一致性，也可以将管理工作分摊到多个服务器上，以提高可扩展性。这里的文件控制信息主要包括两方面：cache的一致性状态和文件结构的元数据。File manager通过这两方面的管理，也可以在各个client之间实现cache的互用的协作。

　　Sto rag e M anager:存储、管理数据和本地设备的元数据块。它对Filem anager的申请作出回应，和发起本次I/O操作的。lient之间进行数据传递。实现了存储设备的智能管理，包括存储设备上数据块“block”的定位，空闲块的分配，存储设备上数据的读、写、同步、安全机制等管理工作【37o S torageM anage:和存储设备一起可看作OBSD（Object-Based Storage Device），向外界提供基于对象的服务。

　　3.2 SAN-OBS体系的存储功能的分布

　　如图6所示，SAN-OBS体系最大的特点就是将大部分复杂的“块”级管理工作下移到存储子系统一端，也就是OBSD一端，使Server端的数据抽象由“block”上升到更高一级的“object"，大大降低了Server端管理的复杂度，数据可直接在。lient和OBSD之间传递，消除了Server处通常会出现的瓶颈。

　　3.3 元数据管理

　　对于网络中相关SAN对象的搜索和管理，可以通过不同的途径：一种是通过物理的光纤通道，利用工业标准接口（例如，由Fibre Alliance定义的接口）和生产商定义的接口（例如，在Brocade Fabric Operating System （Br-Fos）中的APIs），另一种是通过IP的网络，利用SNMP.

　　可以 利 用 Veritas公司的SANpointC ontrol来实现SAN的自动资源搜索管理以及分区和LUN安全机制。

　　在sal.co nf中加人相关对象的属性。

　　相关的数据，在网络中的各服务器中将有保持一致的副本，这里将元数据导为XML文件。因为在网络中的不同节点上，要了解SAN的分布联接状况以及各SAN对象的属性，必须要和完全配置的SAN相联，并且要安装服务器端的所有部件。而把SAN数据导出为XML文件，可通过在某节点上导人该XML文件，就可以了解整个SAN当前的联接状况和各对象的属性。

　　3.4 安全机制

　　为了避免受特定的文件系统或特定的服务器应用所限，OSD的安全机制将提供一个更广范围的认证和访问控制策略，它定义加密机制和数字签名机制来实现信息保护，以及认证、授权、完整性、审计、分隔等由客户通过policy/storage manager来定出的一系列策略，同时也保持一定的灵活性。随着加密算法和一些实现方法的发展，这些加密和数字签名函数也会不断变化。OSD标准的第一版用的数字签名机制是加锁的安全哈希函数HMACSHA-1，加密函数是Triple-DES.[5]

　　对于一 个网络存储体系，安全机制是很重要和不可缺少的。一个完整可用的SAN-OBS环境，会具有以下几个功能：

　　（1 ）应 用 客户身份认证；

　　（2） 根 据 系统授权和信息对每个操作申请作检测；

　　（3） 保 证 在传送过程中每个操作的完整性不会改变；

　　（4） 提 供 数据，访问模式和应用客户的信息保密；

　　（5） 确 认 非法行为的来源；

　　（6） 通 过 对服务器质量最小的影响来避免非法的行为。

　　4结论

      分析了当前网络存储技术面临的巨大需求和挑战，NAS和SAN各自的优势和缺陷以及OBS的特点，从而提出一种综合的存储网络体系SAN-OBS。实现一种综合各自优势的高性能、易于跨平台共享、易于管理和实现、有较高安全性的存储网络体系。