大容量存储系统概述

大容量存储系统概述？基本概念？层次分析？例子？光泽文件系统？其他？技术挑战？研究热点的基本概念？存储系统是指将程序和数据存储在计算机以及管理信息调度设备和软件系统中的各种存储设备和控制组件. ？硬件: 磁盘，磁盘阵列，光盘，磁带，磁盘库，以太网，存储网络...？软件: 文件系统（非结构化数据）海量存储设备，（结构化数据），操作系统（内存管理，设备驱动程序，VFS）主要功能？将数据组织成一定的逻辑结构: 文件/目录树结构，键值，数据表，对象/桶...？提供一组IO和元数据操作接口？读写存储设备，控制数据与内存和外部存储之间的移动文件系统（Linux）元数据相关的数据结构元数据: 数据数据，记录数据的物理位置，文件属性（时间，所有者，权限，用户定义的扩展名）属性等）文件IO路径（Linux）从单机存储到大容量存储...？从单机->集群进行计算？节点之间的数据共享？处理能力的提高需要更快的I / O？来自GB-> PB-> ZB应用程序的数据规模？单机存储系统不能满足文件系统应用文件系统的需求吗？容量有限？信息孤岛，无法共享存储设备中的数据存储设备？数据可靠性和可用性很差DAS DAS？存储系统还必须是系统的，网络的，集群的！大容量存储系统？通常是指通过高速网络技术连接多个存储设备或存储节点并提供大容量（PB甚至ZB级）存储空间的网络存储系统.

访问接口: POSIX，REST，SCSI，IO端点ext3，xfs，…IO端点ext4，btrfs，…元数据服务器？管理名称空间？元数据操作管理？找到文件物理位置存储池？通过某种方法将数据服务器和存储硬件组织到逻辑上统一的整体磁盘文件系统中？管理磁盘块设备存储硬件（RAID，JBOD，各种磁盘，高级存储设备DDN，SAN等）大容量存储连接方法？ NAS？网络附加存储 ？ SAN应用程序是应用程序？存储区域网络？ IP-SAN文件客户端文件客户端？ SAN over IP？ NAS-SAN混合公用网络TCP / IP，IB，Myrinet NAS文件服务器文件服务器块设备客户端存储设备存储设备应用程序块设备客户端应用程序块设备客户端SCSI，iSCSI SAN存储设备存储设备存储设备存储设备示例: Lustre文件系统？ Lustre文件系统是分布式的面向对象的分布式并行文件系统吗？可扩展的性能？支持PB级存储？ 104级客户？ 100GB / s +吞吐率？文件带存储？细粒度的锁定机制？支持多个基础网络示例: Lustre的数据存储和访问？文件是以对象的形式存储的吗？这些文件存储在多个OST上，每个文件对应于每个OST上的相同文件对象，并具有唯一的对象ID.

？客户端: 文件读写->文件对象读写？服务器: 文件对象操作->特定磁盘文件操作示例: Lustre的数据访问路径示例: Lustre的元数据管理？ Lustre的元数据服务器位于整个系统的名称空间存储在MDT上吗？ MDT是用于存储Lustre文件系统文件堆的经过修改的ext3文件系统？文件堆与实际文件具有相同的属性？所有者，权限，时间，目录成员等文件. 堆中的文件大小是否为零？文件的扩展属性记录文件中包含的对象，对象的位置，文件堆的实际名称以及堆之间的空白示例: 光泽可靠性和可用性？硬件层的可靠性？ MDT使用RAID 0 + 1，OST使用RAID 6？本地文件系统的可靠性？ ldisk的日志文件系统？ Linux的虚拟卷和快照机制？服务器可用性？心跳+光泽故障转移*？廉价磁盘的冗余阵列，RAID示例: 其他？商业系统？ IBM GPFS，EMC Isilon，NetApp，Quantum StoreNext…？开源系统？ Lustre，Ceph，gLuster，Hadoop FS，HBASE，MFS？高能物理领域的通用系统？ Castor，DPM，dCache，EOS？互联网公司内部使用系统吗？ Google FS，TFS，BigTable等...大容量存储系统的需求大容量存储系统的技术挑战1.可用性？磁盘，服务器和客户端的数量在增加吗？网络接口越多，丢包和拥塞的可能性就越大. 确认请求失败的时间延迟会变长吗？故障数量增加而总MTBF（平均故障间隔时间）时间减少了吗？磁盘容量变大了，MTTR（恢复的平均时间）故障恢复时间变长了吗？故障增加次数，确认故障，并增加从故障中恢复的时间. 需要更好的设计来实现大容量存储系统的技术挑战. 2.可扩展性？ CPU内核数量的增加导致并发IO和并发元数据的数量增加. 访问次数增加了吗？服务器请求处理能力，尤其是元数据请求处理挑战面临3.硬件多样性？磁带，具有不同性能，大小和寿命的机械磁盘，SSD4. IO软件堆栈正变得越来越复杂，存储系统研究热点IO端点ext3，xfs，…IO端点ext4，btrfs海量存储设备，ZFS…访问接口（传统存储和云计算环境，云存储访问协议支持，远程传输和同步等）. 元数据服务

本文来自本站，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-249556-1.html