• 1. 华为赛门铁克售前工程师培训教材 -存储产品
    • 2. 存储系列产品课程目录存储基础知识存储产品介绍123技术建议书的制作4配置报价介绍5存储产品综合解决方案6竞争分析
    • 3. 课程目标 了解存储基础知识 掌握存储系列产品的特性和规格 掌握技术建议书的制作要点 了解存储产品报价及解决方案
    • 4. 存储系列产品课程目录存储基础知识存储产品介绍123技术建议书的制作4配置报价介绍5存储产品综合解决方案6竞争分析
    • 5. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 6. 传统计算机存储系统的问题CPU硬盘RAMServer计算机存储系统传统计算机存储系统的局限性: 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位,难满足大容量需求 单个硬盘存放数据,数据可靠性难以保证 存储空间利用率低 本地存储,数据分散
    • 7. 外部磁盘阵列的产生早期外部存储系统传统计算机存储系统的局限性: 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位,难满足大容量需求 单个硬盘存放数据,数据可靠性难以保证 存储空间利用率低 本地存储,数据分散CPU硬盘RAMServerRAID功能SCSI卡JBOD(Just Bound Of Disk)
    • 8. 智能磁盘阵列的产生控制器中包含RAID功能、大容量Cache,同时使得磁盘阵列具有多种实用的功能,配置专用管理软件进行配置管理传统计算机存储系统的局限性: 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位,难满足大容量需求 单个硬盘存放数据,数据可靠性难以保证 存储空间利用率低 本地存储,数据分散CPU硬盘RAMServerSCSI卡控制器
    • 9. 存储网络的产生SCSI电缆最长支持25米 FC光纤连接距离可达10公里至100公里ServerHBA卡传统计算机存储系统的局限性: 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位,难满足大容量需求 单个硬盘存放数据,数据可靠性难以保证 存储空间利用率低 本地存储,数据分散
    • 10. 存储网络的基本形态DAS (Direct Attached Storage) NAS (Network Attached Storage) SAN (Storage Area Network)网络存储几种常见类型
    • 11. DAS (Direct Attached Storage) 存储设备(RAID系统、磁带机和磁带库、光盘库)直接连接到服务器; 传统的、最常见的连接方式,容易理解、规划和实施; 没有独立操作系统,不能提供跨平台的文件共享,各平台下数据需分别存储; 各DAS系统之间没有连接,数据只能分散管理;备份软件不能离开服务器支持;DAS的前期投资比较少;文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流数据流数据流
    • 12. NAS (Network Attached Storage)NAS本身装有独立的OS,通过网络协议可以实现完全跨平台共享,支持WinNT、Linux、Unix等系统共享同一存储分区;NAS可以实现集中数据管理;一般集成本地备份软件,可以实现无服务器备份功能;NAS系统的前期投入相对较高。 NAS内每个应用服务器通过网络共享协议(如:NFS、CIFS)使用同一个文件管理系统;NAS关注应用、用户和文件以及它们共享的数据;磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流
    • 13. SAN (Storage Area Network)高可用性,高性能的专用存储网络,用于安全的连接服务器和存储设备并具备灵活性和可扩展性;SAN对于数据库环境、数据备份和恢复存在巨大的优势;SAN是一种非常安全的,快速传输、存储、保护、共享和恢复数据的方法。 SAN是独立出一个数据存储网络,网络内部的数据传输率很快,但操作系统仍停留在服务器端,用户不直接访问SAN的网络;SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ;文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流
    • 14. 存储网络的三种形态比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离,便于统一管理不占用应用服务器资源 广泛支持操作系统 扩展较容易 即插即用,安装简单方便高扩展性 高可用性 数据集中,易管理缺点连接距离短 数据分散,共享困难 存储空间利用率不高 扩展性有限不适合存储量大的块级应用 数据备份及恢复占用网络带宽相比NAS成本较高 安装和升级比NAS复杂
    • 15. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 16. 常见存储接口技术存 储 接 口IDE/ATASATAFCSASSCSI
    • 17. IDE/ATA接口概述IDE(Integrated Drive Electronics ,电子集成驱动器 )它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。 IDE仅代表第一代的IDE标准,随着其接口技术的飞速发展,引入了许多新技术使这一IDE接口标准得到了质的飞跃,并且引入了新的名称,如ATA(Advanced Technology Attachment ,高级技术附加装置 ) 电源接口M/S跳线头40-pin 公接头
    • 18. SCSI接口概述SCSI(Small Computer System Interface,小型计算机系统接口)它不是专门为硬盘设计的,而是一种总线型的系统接口。 SCSI硬盘性能优异,可靠性高,多应用于中高端存储领域。 单个设备连接的电缆长度可达25m,用于两个或多个设备的电缆长度可达12m。 支持多达16个设备连接,双通道可达32个设备。
    • 19. SATA接口概述SATA(Serial ATA ,串行ATA)采用连续串行的方式传输数据。在同一时间点内只会有1位数据传输。 SATA的线缆采用7针的细线缆,容易弯曲,易于散热。 SATA硬盘的连接采用点对点方式,每个通道1个硬盘。 SATA硬盘可支持热插拔。 SATA接口支持300MB/s的传输速率。 SATA接口使用的线缆长度可达1m。
    • 20. SAS接口概述SAS是新一代的SCSI技术,和现在流行的Serial ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,提供与SATA硬盘的兼容性。 SAS接口有四路通道,按3Gb/s的SAS标准在单工模式下可以达到4×3Gb/s的带宽,这就是SAS的宽端口模式。 SAS接口连接的传输距离最长为6m。
    • 21. FC接口概述FC(Fiber Channel,光纤通道)最初是专门为网络系统设计的,随着存储系统对速度的需求,逐渐应用到硬盘系统中。FC是为多硬盘系统环境而设计的,能够满足高端工作站、服务器、串行数据通讯等系统对高数据传输率的要求。 FC接口能够支持1Gb/s 、2Gb/s和4Gb/s的数据传输速率。 FC支持最长的长度超过了10km。 FC硬盘支持双FC接口同时工作,可互为备份,并为硬盘提供电源和控制系统内部所有硬盘上数据的输入和输出。
    • 22. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 23. 磁盘阵列JBODRAID磁盘阵列
    • 24. JBODD0FEDD0CBAA,B,C,D,E,F数据写入JBOD (Just a Bunch of Disks) :是在逻辑上把几个物理磁盘一个接一个的串联在一起,其目的纯粹是为了增加磁盘的容量,并不提供数据安全保障。
    • 25. RAIDRAID(Redundant Array of Independent Disks):独立冗余磁盘阵列,简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存 储设备。它比单个存储设备在速度、稳定性和存储能力上都有很大提高,并且具备一定的数据安全保护能力。 RAID更有效的数据组织数据安全保护功能
    • 26. RAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3条带2(strip)条带1(strip)条带0(strip)磁盘上的数据分块磁盘上的数据分块磁盘上的数据分块分块:将一个分区分成多个大小相等的、地址相邻的块,这些块称为分块。它是组成条带的元素。 条带:同一磁盘阵列中的多个磁盘驱动器上的相同“位置”(或者说是相同编号)的分块。
    • 27. RAID数据存取方式并 行 存 取 并行存取模式:是把所有磁盘驱动器的主轴马达作精密的控制,使每个磁盘的位置都彼此同步,然后对每一个磁盘驱动器作一个很短的I/O数据传送,使从主机来的每一个I/O 指令,都平均分布到每一个磁盘驱动器,将阵列中每一个磁盘驱动器的性能发挥到最大。 -适用范围:大型的、数据连续的以长时间顺序访问数据为特征的应用 独立存取模式:对每个磁盘驱动器的存取都是独立且没有顺序和时间间隔的限制,可同时接收多个I/O Requests,每笔传输的数据量都比较小。-适用范围:数据存取频繁,每笔存取数据量较小的应用
    • 28. RAID 0的工作原理D4D2D0驱动器1D6D5D3D1驱动器2D0,D1,D2,D3,D4,D5条带2条带1条带0各磁盘上的数据块各磁盘上的数据块无差错控制的条带化阵列D2D1D0D5D4D3D0逻辑磁盘
    • 29. RAID 0的特性 视频生成和编辑、图像编辑等对传输带宽需求较大的应用领域。 数据无冗余,一旦阵列中有一个驱动器故障,其中的数据将丢失 I/O负载平均分配到所有的驱动器。由于驱动器可以同时读写,性能在所有RAID级别中最高。 磁盘利用率最高 设计、使用和配置简单缺点 优点应用范围
    • 30. RAID 1的工作原理镜像结构的阵列D2D1D0D2逻辑磁盘D2D1D0驱动器1驱动器2D0,D1,D2经过镜像器D2D1D0
    • 31. RAID 1的特性 可应用于金融、保险、证券、财务等对数据的可用性和安全性要求较高的应用领域 磁盘空间利用率低,存储成本高 磁盘写性能提升不大 RAID 1对存储的数据进行百分之百的备份,提供最高的数据安全保障 设计、使用和配置简单缺点 优点应用范围
    • 32. RAID 3的工作原理D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3D0,D1,D2,D3,D4,D5,D6,D7,D8P3P2P1校验驱动器校验码生成带奇偶校验码的并行阵列
    • 33. RAID 3的特性 适合用于视频生成、视频编辑等高吞吐量的应用环境 需要专用磁盘做校验盘使用,如果校验盘故障会导致数据无备份 任一磁盘写数据将会导致校验信息的重新计算,校验盘的写性能可能会成为瓶颈 通过较为简单的异或运算技术获得数据备份 阵列中磁盘数量越多,数据备份的成本就越低 缺点 优点应用范围
    • 34. RAID 5的工作原理分布式奇偶校验码的独立磁盘结构D4P1D1驱动器2P2D2D0驱动器1D5D3P0驱动器3D0,D1,D2,D3,D4,D5
    • 35. RAID 5的特性 适合用在文件服务器、Email服务器、WEB服务器等输入/输出密集、读/写比率较高的应用环境 异或校验影响存储性能 硬盘重建的过程较为复杂 控制器设计复杂 高可用性 磁盘利用率较高 随机读写性能高 校验信息分布存储于各个磁盘,避免单个校验盘的写操作瓶颈 缺点 优点应用范围
    • 36. Q5D9RAID6 P+Q的工作原理P1D3D6D12D10Q1P2D7D13D11D0Q2P3D14P4D1D4Q3P5Q4D2D5D8驱动器1驱动器2驱动器3驱动器4驱动器5条带0条带1条带2条带3条带4RAID6 P+Q需要计算出两个校验数据P和Q,当有两个数据丢失时,根据P和Q恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的: -P=D0⊕ D1 ⊕ D2 …… -Q=(α⊗D0)⊕(β⊗D1)⊕(γ⊗D2)……
    • 37. RAID6 DP的工作原理D12D0D4D8D13D1D5D9D14D2D6D10P3P0P1P2DP3DP0DP1DP2驱动器1驱动器2驱动器3横向校验盘斜向校验盘条带0条带1条带2条带3DP4D15D3D7D11驱动器4DP-Double Parity,就是在RAID4所使用的一个行XOR校验磁盘的基础上又增加了一个磁盘用于存放斜向的XOR校验信息 横向校验盘中P1—P4为各个数据盘中横向数据的校验信息 例:P0=D0 XOR D1 XOR D2 XOR D3 斜向校验盘中DP1—DP4为各个数据盘及横向校验盘的斜向数据 的校验信息 例:DP0=D0 XOR D5 XOR D10XOR D15 磁盘故障数据恢复
    • 38. RAID 6的特性 适合用在对数据准确性和完整性要求极高的环境 采用两种奇偶校验消耗系统资源,系统负载较重 磁盘利用率比RAID 5更低 配置过于复杂 具有高可靠性 可同时允许两块磁盘失效 至少需要四块磁盘缺点 优点应用范围
    • 39. RAID组合-RAID 10D0D2D4D0D2D4D1D3D5D1D3D5磁盘镜像器磁盘镜像器D0,D1,D2,D3,D4,D5RAID 10是将镜像和条带进行组合的RAID级别,先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的RAID级别。物理磁盘1物理磁盘2物理磁盘3物理磁盘4磁盘故障磁盘故障读取数据
    • 40. RAID 10的特性 数据量大,安全性要求高的环境,如银行、金融等领域 磁盘利用率低,只有1/2的硬盘利用率,至少需要4块磁盘 高读取速度 高写入速度,写开销较小 特定情况下,可以允许N/2个硬盘同时损坏 缺点 优点应用范围
    • 41. S&K常见RAID级别的比较RAID级别RAID 1RAID 3RAID 5RAID 10RAID 0容错性有有有有无冗余类型镜像冗余校验冗余校验冗余镜像冗余无读性能低高高普通高随机写性能低低普通高连续写性能低低低普通高最少磁盘数2个3个3个4个2个可用空间50%*(N-1)/N(N-1)/N50%*100%应用场景传输带宽需求大的应用安全性要求较高的应用大文件、连续数据的应用读/写比率较高的应用安全性要求高的应用低
    • 42. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 43. 常用的存储技术简介-HotSpare所谓热备份是在建立RAID磁盘阵列系统的时候,将其中一磁盘指定为热备磁盘,此热备磁盘在平常并不操作,当阵列中某一磁盘发生故障时,热备磁盘便取代故障磁盘,并自动将故障磁盘的数据重构在热备磁盘上。 热备盘分为:全局热备盘和局部热备盘 全局热备盘:针对整个磁盘阵列,对阵列中所有RAID组起作用。 局部热备盘:只针对某一RAID组起作用。 因为反应快速,加上快取内存减少了磁盘的存取,所以数据重构很快即可完成,对系统的性能影响不大。 对于要求不停机的大型数据处理中心或控制中心而言,热备份更是一项重要的功能,因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。
    • 44. 重构过程D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5P3P2P1热备盘驱动器D0D2D4驱动器1
    • 45. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 46. 可靠性设计多通道软件(又称为Multipath/Failover软件)
    • 47. 多路径冗余连接控制器A控制器BST5600ServerHBAServerHBAFC Switch控制器A控制器BST5600ServerHBAServerHBAFC Switch
    • 48. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 49. 逻辑卷快照(snapshot)DEA C基本概念: Base Volume :快照源卷 Repository Volume :快照仓储卷,保存快照源卷在快照过程中被修改以前的数据 Snapshot Volume :快照卷 某一个时间点的逻辑卷映像: 逻辑上相当于整个Base Volume的拷贝 可将Sanpshot Volume分配给任何一台主机 Snapshot Volume可读取、写入或拷贝 存储空间需求 需要相当于Base Volume 20%的额外空间 用途 文件、逻辑卷恢复 备份、测试、数据分析等
    • 50. 快照(snapshot) 过程演示 B A S E V O L UM E X Y Z并且我们的卷有足够的空间来创建快照首先保证我们的源卷和阵列的运行是正常的
    • 51. W R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y Z R I T E S首先,在快照完成之前控制器是禁止对源卷进行写操作的。仓储卷默认是源卷大小的20%满足上面条件后,快照过程开始进行快照(snapshot)开始
    • 52. 仓储卷(20%源卷大小)现在可用快照(snapshot)完成 R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S快照完成状态,实际上是一些指针当快照完成之后,控制器释放对源卷的写权限,我们可以对源卷进行写操作
    • 53. 当源卷数据改变时我们的源卷数据在改变之前会顺序的写到仓储卷上,然后再把快照指针指导这边来。 B A S V O E T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S然后源卷的数据才会开始更新
    • 54. 最后一步我们源卷的原数据已经写到了仓储卷上 B A S V O E T S N A P S H O T V O L UMW R I E T E L UM S X Y Z快照卷的指针指到了新的数据位置源卷数据更新完毕
    • 55. 逻辑卷拷贝(Volume Copy)生产主机测试主机基本概念 将一个逻辑卷(Source)上的内容完全物理上 拷贝到另一个逻辑卷(Target) 拷贝过程中源卷只读 在同一个存储系统内目标逻辑卷可以做另一个Volume Copy的源卷 用途 目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等 对目标卷的操作不影响源卷的性能 重新分配数据,使性能和容量分配达到最优化 将数据迁移到新的、更大的、更快的磁盘上 将逻辑卷迁移到更合适的逻辑卷组上
    • 56. 逻辑卷快照+逻辑卷拷贝 通过快照获得Base Volume的 Snapshot Volume在Snapshot Volume被拷 贝的过程中Base Volume 可被正常访问当拷贝结束时,可将 Snapshot删除,留下 一个完整的时点拷贝逻辑卷拷贝与逻辑卷快照相结合,实现此功能!如何在Volume Copy过程中对源卷进行正常访问?
    • 57. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 58. 备份技术产生的背景 只要发生数据传输、存储和交换就有可能产生数据故障。 自然灾害、人为的信息攻击都在威胁着信息的安全。 信息拥有者对数据存储和数据备份的需求。
    • 59. 备份的定义 数据备份是将数据以某种方式加以保留,以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。 数据备份的核心是恢复,一个无法恢复的备份对于任何系统来说都是毫无意义的。 数据备份的意义不仅在于防范意外事件的破坏,而且还是历史数据保存归档的最佳方式。
    • 60. 数据备份的原则备份原则稳定性容灾考虑操作简单高性能自动化全面性
    • 61. 备份系统的组成备份客户端 备份服务器 备份存储单元 备份管理软件备份客户端备份服务器备份存储单元文件服务器数据库备份管理软件
    • 62. 数据备份的类型 全备份:备份系统中的所有数据 优点:恢复时间最短,最可靠,操作最方便 缺点:备份的数量大,备份所需时间长 增量备份:备份上一次备份以后更新的所有数据 优点:每次备份的数据少,占用空间少,备份时间短 缺点:恢复时需要全备份及多份增量备份 差量备份:备份上一次全备份以后更新的所有数据 优点:数据恢复时间短 缺点:备份时间长,恢复时需要全备份及差量备份 按需备份:根据临时需要有选择地进行备份
    • 63. 数据备份的方式 D2T(Disk to Tape):数据从磁盘阵列备份到磁带的方式 D2D(Disk to Disk):数据从磁盘阵列备份到磁盘阵列的方式 D2D2T(Disk to Disk to Tape):数据从磁盘阵列备份到磁盘库到磁带的方式
    • 64. 存储基础知识1.1 存储组网形态 1.2 存储接口技术 1.3 RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识
    • 65. 什么是灾难自然灾难:地震、水灾、雷电等 社会灾难:战争、火灾、盗窃等 IT系统灾难:硬件故障、软件故障等 人为灾难:黑客攻击、病毒侵入等 人为和自然灾害经常会对信息资产造成毁灭性的损失。丢失的关键数据如果在10天内无法恢复,50%的企业将面临倒闭。数据容灾建设刻不容缓
    • 66. 容灾与备份容灾就是尽量减少或避免因灾难的发生而造成的损失 备份是容灾的基础 将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。 容灾不是简单的备份 真正的数据容灾就是要避免传统冷备份的先天不足,它能在灾难发生时,全面、及时地恢复整个系统 。 容灾不仅仅是技术 由于容灾所承担的是用户最关键的核心业务,其重要性勿庸置疑,因此也决定了容灾是一个工程,而不仅仅是技术。
    • 67. 容灾指标RTO(Recovery Time Objectives)恢复时间目标 当灾难发生后,生产系统再次恢复工作所需的时间。它是灾难发生后到重新恢复系统运作所花费时间的指标 RPO (Recovery Point Objectives)恢复点目标 当灾难发生后,容灾系统能将数据恢复到灾难发生前的哪一个时间点的数据。它是系统在灾难发生后将损失多少数据的指标 灾难发生业务中断恢复运行最后有效数据备份时间点灾难发生数据丢失
    • 68. 容灾级别根据SHARE 78国际组织提出的标准,可以将系统容灾的级别划分为如下7级。应用级容灾数据级容灾人工备份,本地保存异地保存网络传输采用中间件自动备份
    • 69. 本章总结介绍了存储技术的发展历史 介绍了存储技术和应用系统之间的关系 介绍了备份的基础知识 介绍了远程容灾的基础知识