当前位置:首页 >> 信息与通信 >>

NetApp 技术简介


第1章 NetApp 技术简介 章
1.1 NetApp RAID 技术介绍
NetApp 可以提供 WAFL Optimized intelligent RAID 4(增强型 RAID 4) 、 双校验盘 RAID DP 、SyncMirror 和组合型 RAID 等多种技术手段,不仅满足传 统 RAID 的四种需求目标—安全、经济、效率、扩充,另外对资料安

全还提供更 多层不影响资料服务的线上防护机制: 硬盘区块验证系统 (Block-level checksum),当有一颗硬盘故障时, RAID 系统可保护资料不会流失,但是硬盘无故障时,如果某个硬盘的 区块 (Block) 资料有错误时,RAID 将无法侦测与更正,此时读取的的 资料将会错误。WAFL 内建硬盘区块验证系统 (Block-level checksum) 功能, RAID 所写入资料的 Block 都会加写 checksum 在每颗硬盘上, 在 每次读取资料时都会同时检查 checksum 值。若检查不符时,就会利用 RAID 的 Parity 将该 Block 进行修复与更正,如此所读出的资料就可得 到正确性的保障了。 (专利申请中) 硬盘扇区检查系统 (Disk scrubbing), 每周 WAFL 会自动自我扫描检查 每颗有资料的硬盘所有区块,检查的周期与时间长度亦可自行调整,于 所定的时间内未完成时,也会在下次检查时继续未完成的部分。如此可 以提早剔除将会故障的扇区,提供更安全、稳定的硬盘环境,更进一步 降低风险。 文件系统线上检查系统 (Online File System Check),一般的文件系统 检查都必须在离线状态下才能进行(例如 fsck 和 scandisk) ,不仅需 要漫长的等待时间,更造成服务的中断,文件系统容量越大时,服务停 顿的时间就越长。为避免任何可能造成文件系统错误的因素,同时避免 因着检查而让服务中断, WAFL 具有独步全球的线上进行文件系统检查 的能力,进行检查时仍可正常提供资料服务,达到同时兼顾安全、不带 来服务停顿的效果。 NetApp Filer 的 RAID 组大小可灵活配置。 NetApp 的 RAID 4 支持 2-14

个任意个硬盘,RAID DP 支持 3-28 任意个硬盘的配置,这些硬盘不是 限制在一个或几个磁盘柜内,可以跨磁盘柜配置 RAID。 NetApp Filer 的热备盘为全局模式。热备盘可以在任意位置,并且每个 热备盘都可服务于所有的 RAID 组。当检测到硬盘故障后,系统会自动 从热备盘中选择一个最合适的盘来接管故障硬盘;当更换了故障硬盘 后,该新硬盘立即成为新的热备盘,而不会去接管刚才顶替上去的热备 盘,以减小数据重建对性能的影响。

1.2 NetApp 独有 RAID DP 技术
传统的单一奇偶校验 RAID 技术,能为单个故障磁盘驱动器提供保护。需 要警告的是,在重建故障磁盘时必须确保不能发生其他磁盘故障,而且不能在读 操作过程中出现不可修复的误码。如果在重建过程中出现上面任何一种事件,那 么保留在 RAID 阵列或卷中的部分或所有数据就可能会丢失。 随着现代更大的磁 盘存储介质的出现,由于磁盘容量显著增加,而误码率仍是原来的水平,这就使 得出现不可修复的误码的可能性相当高。因此,传统的单一奇偶校验 RAID 保护 数据的方法已经超出了其保护极限。更高一级的 RAID 数据保护已经发展到 RAID 双奇偶校验,也称作 RAID DP,它可以应用于整个网络应用数据存储产品 线。 从 DATAONTAP? 6.5 版开始, NetApp 推出了双奇偶校验 RAID, 叫做 RAID DP。本文给出 RAID DP 的概览和 RAID DP 如何在各种磁盘故障情况下动态提 高数据的容错性。 其他所涉及的关键领域包括 RAID DP 的费用是 (它是免费的) 、 特殊硬件要求 (无) 以及如何将现存的 RAID4 卷升级到 RAID DP , (非常容易) 。 这里将借助对双磁盘故障的恢复情形来说明 RAID DP 如何做到允许卷既能不间 断地提供数据,又能同时对两块故障磁盘上损失的数据进行重建。 在最基本的层面上,RAID DP 为卷中的每个 RAID 组增加了第二个奇偶校 验磁盘。 RAID 组是建立卷的基本结构。每一个传统的 NetApp RAID4 组都有 一些数据磁盘和一个奇偶校验磁盘, 而一个卷通常会包括一个或多个 RAID4 组。 而 RAID4 卷上的奇偶校验磁盘则通过 RAID4 组上的磁盘对行奇偶校验进行存 储,额外的 RAID DP 奇偶校验磁盘则通过 RAID DP 组上的磁盘存储对角线上

的奇偶校验。 通过 RAID DP 上的这两个奇偶校验条, (一个传统的水平奇偶校 验和一个对角线奇偶校验,即使同一 RAID 组上的两个磁盘发生故障时也能得 到数据保护。 在 RAID DP 中,仍然使用了传统的 RAID4 水平奇偶校验结构,并且这种 结构已成为 RAID DP 结构的子集 换句话说,RAID DP 并没有改变 RAID4 在 NetApp 存储上的工作方式。数据通过每一行的奇偶校验计算被写入水平行,并 被视作双奇偶校验中的行,这个同样的过程仍会保留到 RAID DP 中。实际上, 如果是单一磁盘故障, 或是从坏数据块中的读取错误, 或者出现误码, 那么 RAID4 的行奇偶校验方法就是进行数据恢复的唯一手段,无需采用 RAID DP。在这种 情况下,RAID DP 的对角线奇偶校验组件仅仅是行奇偶校验组件周围的保护层。 RAID DP 卷的性能可以与 RAID4 相媲美。 每种类型的 RAID 的读操作几乎 一样。RAID DP 的写操作性能要比 RAID4 慢 2%到 3%。造成性能微小差距的 原因是 RAID DP 卷上的第二个对角线奇偶校验磁盘会出现额外的写操作。 相对 于 RAID4,运行 RAID DP 时 CPU 的利用率并无明显差别。

1.3 Snapshot 技术介绍
SnapShot 是 WAFL 文件系统“任意位置写入”功能带来的一项突出优势。一 份 SnapShot 是文件系统的在线只读拷贝。创建文件系统的一份 SnapShot 仅仅 需要几秒种的时间,并且除非原始文件被删除或者更改,数据快照并不占用额外 的磁盘空间。这种只有当数据块发生改动时才进行数据块复制的技术被称作 “copy-on-write”,只有修改活动文件系统中的数据块并写入磁盘中新的位置时, SnapShot 才会占用额外的磁盘空间。 用户可以采用 SnapShot 作为数据的在线备份,以备将来进行数据恢复时 使用。用户也可以方便的把 SnapShot 快照备份到磁带上。无需将 Filer 系统下 线,用户管理员就可以将最近的 SnapShot 快照备份到离线存储系统中。

图 ( a )是简化了的文件系统结构,在顶部以树状结构指向其下的数据块。 图 ( b )显示了 SnapShot 快照复制了根结构以及数据块指向关系。图 ( c )数据 块 C 发生了更新, 这样文件系统指向新的数据块 C’, 而在此之前创建的 SnapShot 仍然指向原来的数据块 C。 该图展示了 SnapShot 是如何工作的。WAFL 文件系统本身就可以理解成 数据块树状结构,其根部的数据结构描述了 inode 文件信息。这份 inode 文件信 息则包含了对文件系统中所有 inode 的描述,它包含诸如空闲块图和空闲 inode 图等元数据信息。 a 也可以视为整个文件系统的概貌图, 图 其上部展现的就是根 数据结构。WAFL 通过复制根数据结构创建新的数据拷贝 SnapShot。因为根数 据结构只有 128B,并且不需要在硬盘上复制其它数据块,一个新的 SnapShot 几乎不耗费额外的磁盘存储空间,除非用户修改或者删除文件系统中的数据。 Filer 可以对一个卷组创建最多 255 个 SnapShot 快照。SnapShot 快照可 以通过手动或者人为预先定制策略的方式来自动创建。 每一个 SnapSHot 快照可 以保存的时间取决于文件系统变动的频度。在众多应用环境中,文件系统中的大 部分数据并不是每天都在变化,比如一个使用 10MB 大小 Home Directory 的用 户,其数据通常每天只变动 100 到 500KB。当文件变动缓慢的时候,SnapShot 可以在线保存数天甚至数周,直到它们消耗的磁盘空间过多以至用户无法接受。 而另外一些文件系统中的数据则在经常不停的变动,比如 CAD 应用环境下,需 要经常覆盖写入许多大尺寸的文件, 甚至可能一两天内就会更新整个文件系统的 存储内容。在此类环境下,可能只有保存数小时 SnapShot 的空间。

1.4 FlexVol 技术介绍 1.4.1 Flexible Volumes 的概念
Flexible Volumes 是一个划时代的新技术,所有的卷被视为逻辑的数据容 器,同时可以在不破坏底层物理存储结构的前提下被独立的设置、调整大小,管 理和移动。 NetApp FlexVol 技术提供了真正的存储虚拟化解决方案,能够缩减开销和 资本费用,减少业务中断并降低风险,同时还具有很高的灵活性,可以快速方便 地适应企业不断变化的需求。FlexVol 技术可以自动集中存储资源,便于您在一 个大型磁盘池中创建多个灵活的卷。有了这一灵活性,您就可以简化操作,最大 限度地提高利用率和效率,并可以快速、无缝地进行修改。利用 NetApp 存储 解决方案,您可以随时随地根据需要以最低成本增加存储容量,并且无需中断业 务运作。 如下图所示,一个 Aggregate 被定义为给卷(Volumes)分配空间的许多 磁盘的池(pool) 。从管理者的角度来看,卷仍保持着对主要项的数据管理。但 由于是对管理者透明,Flexible Volumes 现在面向的是逻辑项而不是传统的物理 存储了。 Flexible Volumes 因此不再受限于它们存在的磁盘的限制了。 你可以在一个 存储的“池”中定义一个你需要多大的空间的 FlexVol,而不是由你创建卷所在的 磁盘个数硬性规定。一个 FlexVol 也可以不需要停机任意收缩或者扩展。同时 Flexible Volumes 可以在 Aggregate 所拥有的所有物理磁盘上实现条带化。 对于 那些对性能敏感的应用来说,Flexible Volumes 比那些由磁盘个数限定大小的卷 拥有更好的性能。

1.4.2 FlexVol 的特点
性能的提高 在 Data ONTAP 7G 中,RAID 组仍由磁盘组成,其中包含一个校验盘(如 果是 RAID-DP?则需要两块校验盘)和一定数量的数据盘。以前 Data ONTAP 将一个或多个 RAID 组组成一个卷(Volume) 。这种方式现在还可以在 7G 中实 现 (在 7G 中称之为传统的“traditional”卷) 但是从 7G 以后 RAID 组将通常组成 , 一个 aggregates。 假设在数据库系统中有一个存放数据文件的卷是一个最繁忙卷,在 Data ONTAP 7G 之前, 该卷只能存在于给定的 RAID 组上。 通常, 根据卷的容量需求, RAID 组将由少量磁盘组成。结果就是由于 RAID 是由很少的硬盘组成,此卷的 性能将会受到磁盘数量的限制。

在 Data ONTAP 7G 中,RAID 组被整合起来创建出一个 aggregates。由于 卷仍然是存储管理的基本单位,它将跨越存在于一个 NetApp filer 中组成 aggregates 的所有磁盘,同时在这个大的 aggregates 上也可以上可以存在多个 卷。 这将使该卷充分利用所有磁盘的并行性能,满足在系统中某些比较繁忙的 卷对于性能的需求。FlexVol 是灵活的,因为底层的存储的物理结构不需被预分 区。 灵活的容量规划 对于一个 FlexVol 的大小本质上是没有约束的,同时 flexible volumes 可以 动态的调整大小。管理员可以将 flexible volumes 作为一个强大的工具为不同的 用户、组和项目分配和提供存储资源。举例来说,假设一个数据库比原先预计增 长快很多时,管理员可以在系统运行时随时重新配置相关的 flexible volumes。 重新分配存储资源的过程不需要任何宕机过程,而且它是对用户透明的。

当需要额外的物理空间时,管理员可以通过添加指定磁盘给 aggregate 以 提高其容量,新的磁盘将成为 aggregate 的一部分,同时其容量和 I/O 带宽将对 存在于该 aggregate 中的所有的 flexible volumes 生效。 所有存在于同一个 aggregate 上的 flexible volumes 的总容量也可以超过 aggregate 的实际物理总容量。增加某一个 FlexVol 容量时也不需要改变存在相 同 aggregate 其它的 FlexVol 的容量或者 aggregate 本身的容量。

1.4.3 FlexVol 的技术优势
灵活的尺寸:NetApp 的灵活卷的最小颗粒度是 4KB,可以精确的适合 各种大小的存储应用的需求。 其它的系统需要卷或者文件系统的大小要 基于底层物理或者逻辑磁盘的整数倍而定, 显然会浪费数百兆甚至数吉 以至更多的物理容量。 灵活地改变尺寸(扩展和收缩) :NetApp FlexVol 技术允许 WAFL 文件 系统在线且安全的进行扩展和收缩, 以使文件系统精确的适合用户的数 据需求。其它的存储提供商基本能够提供不停机的容量扩展机制,但他 们却不提供类似 NetApp FlexVol 的无缝和简单的容量扩展,并且不能 提供在线且安全的文件系统收缩的功能。

空闲空间池:由于 NetApp FlexVol 可以像扩展一样简单的实现容量的 收缩, 已分配给 FlexVol 的未使用空间可以非常简单且安全的从 FlexVol 移出并重新分配给其它即将被填满需要更多空间的 FlexVol。通过 NetApp FlexVol 技术,未使用或者未分配的空间在 aggregate 容器层 被视为一个池(pool) ,可以被任意的 FlexVol 进行配置使用或者从 FlexVol 移出至池中。 精确的数据管理:FlexVol 支持 NetApp 高级的基于时间点数据镜像的 快 照 ( SnapShot) 和 根 据 不 同 时 间 间 隔 颗 粒 度 进 行 的 数 据 复 制 (SnapMirror)功能。用户会根据不同的数据种类需要不同快照和复制 规则。现在可以将这些数据放于为其设定的 FlexVol 中,提供精确的快 照和复制功能。 瘦容量提供(Thin capacity provisioning) :NetApp FlexVol 可以实现 瘦容量提供, FlexVol 仅仅占用已经被写入实际数据的物理存储空间, 即 其他在 FlexVol 中已定义但未被使用的容量并不占用实际的物理磁盘空 间。该功能在其它存储系统中是无法实现的,无论采用的是文件、LUN 或整个文件系统。 磁盘聚合提高性能:NetApp FlexVol 技术使用一个新的智能数据容器 对象——aggregate。通过使用 aggregate,FlexVol 可以充分利用一个 含有大量磁盘的条带化的全部 I/O 对各种大小和种类的数据对象进行访 问。 简单化的存储系统管理:通过使用 aggregates,NetApp FlexVol 实际 上已经消除了在存储产品上令数据管理员头痛的所有低级别的条带化 的管理工作。Aggregates 将注意力集中于数据的管理,而不是磁盘的 管理,将他们从一味的磁盘驱动器的配置的噩梦中解脱出来。 提供高级的卷 Clone 功能——FlexClone


相关文章:
NetApp软件和技术白皮书
NetApp软件和技术白皮书_计算机软件及应用_IT/计算机_专业资料。软件和技术白皮书 ...第一章 前言本文档介绍 NetApp 公司的软件和技术的相关细节。 Network Appliance...
NetApp存储产品特色简要报告
NetApp 在领导者象限中显著领先位置,在主要的两个评测指标,及技术创新性 和公司...应用场景及案例简介 1、 CITI Group 使用超过 9PB、400 台套以上 NetApp 存储...
NetApp存储系统维护手册
2、致电给 Netapp 厂商中国技术支持电话(4006-566-577)申请 备件更换,需提供存储的 System ID;也可由用户管理员邮件联系 Netapp 供货商,需提供相关截图信息及...
netapp的RAID DP技术
需 要依靠下文介绍NetApp专利技术—RAID DP。 1.1.2 RAID DP 随着现代更大的磁盘存储介质的出现, 由于磁盘容量显著增加传统的单一奇 偶校验RAID保护数据的...
NetApp存储操作指南
NetApp 存储操作指南 NetApp 管理客户端功能简介使用 NetApp OnCommand System ...NetApp初级操作维护手册 11页 免费 NetApp统一存储技术优势... 57页 免费 Cisco...
NetApp RAID技术
需要依靠下文介绍NetApp 专利技术—RAID DP。 1.1.2 消除校验盘瓶颈 面向 UNIX 和 Windows 等操作系统的 RAID 外围设备厂商较少采用 RAID 4,因为在通 ...
NetApp产品与技术
NetApp产品与技术_IT/计算机_专业资料。NetApp产品和技术介绍NETAPP NetApp 产品和技术简化、共享并扩展您的关键存储网络基础设施。 NetApp 概述 NetApp 概述 I NETAPP...
NetApp_存储系统的技术优势
NetApp 存储系统的技术优势一、 灵活的存储架构——统一化的存储平台 从存储系统的架构上来看,目前主要分为两种存储架构:NAS 和 SAN,对于 绝大部分应用系统, 无...
NetApp E2600系列技术资料
or 4 GB (4) 6Gb SAS (4) 6Gb SAS (8) 8Gb FC (8) 1Gb iSCSI (4) 10Gb iSCSI Disk Shelves Supported OS Version High-Availability Features NetApp?...
XX银行netapp重删功能使用报告
XX 银行 NetApp FAS3240A 数据重删功能使用报告 1, NetApp 重复数据删除(Deduplication)功能介绍: a) 技术原理 NetApp 的重复数据删除(Deduplication)技术是一项存储...
更多相关标签: