分布式存储系统是一个为海量数据共享而设计的集群。分布式存储系统是一个为海量数据共享而设计的集群。存储系统由工业标准的通用硬件和软件构成,为前端的应用服务器提供一 个标准的共享文件系统,所有应用服务器可以同时看到一份数据,即统一海量的虚拟存储池,并可以进行相应操作。

 

分类

分布式文件系统(Distributed File System):指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。

 

分布式对象存储(Object-based Storage Device,OSD):总体上来讲,对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

 

分布式块存储(Distributed block storage):块存储主要是将裸磁盘空间整个映射给主机使用的,就是说把磁盘阵列里面的硬盘通过划逻辑盘、做Raid、或者LVM(逻辑卷)等种种方式逻辑划分出N个逻辑的硬盘。此种方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置硬盘的方式完全无异。

 

架构

优点:

  • 采用本地I/O路径,路径更短,延迟更低;
  • 数据分散在不同服务器上形成冗余级数据?;?,避免计算和存储资源孤岛;
  • 解决了单点故障(SPOF);
  • 业务负载分布式存储,消除资源瓶颈;
  • 按需建设、横向扩展;
  • 随着业务和数据增长仍保持高效的性能;
  • 架构简单、扩展性极强,易于管理,自动化程度高;
  • 标准X86服务器和磁盘组成,低成本,采购周期短。

 

缺点:

  • 需要高速低延迟网络环境;
  • 需要至少2个存储节点组成;
  • 要有一定的运维能力和自动化程度的环境。

分布式存储架构设计核心原则:分布式、无共享架构;全冗余可靠性设计;块存储优化;自动化管理运维。

 

应用领域

 

行业 应用
  广电   非线性编辑 、播出系统、 OTT新媒体业务、 媒资管理系统 、IPTV 、CDN
  金融   证券 、保险、银行的开户 、保单、事后监督系统
  运营商   移动、电信、联通的中间业务系统
  安防   平安城市、智慧城市、交警卡口 、执法仪数据集中存储
  渲染   动漫渲染系统、渲染农场、影视后期制作
  医疗   PACS系统、电子病历、手术影像
  大数据分析   车牌识别、人脸识别
  教育   校园云

 

安防业务:视频监控、交警卡口、执法记录仪等安防应用是存储消耗大户,PB级的需求随处可见。安防业务对于性能、功能、业务连续性和成本都有较高的要求。分布式存储的图像存储加速算法、全平台(Windows、Linux)客户端加速引擎、无副本环境下的业务连续性等技术,不仅可以满足高带宽读写的需要,还能在控制成本的前提下比竞争对手提供更高的数据保障。尤其是无副本环境下的业务连续性等技术,在不采用节点冗余技术的情况下,可以保障视频数据在节点故障之后能够持续写入,提供了迄今为止安防行业性价比最高的分布式存储解决方案。

 

医疗PACS业务:随着医疗技术的飞速发展,PACS系统已经成为每个医院的标配。分布式存储能为PACS系统提供更快的访问速度,减少医生读片的等待时间。它还能让影像数据可靠保存数年之久,为医学科研、病例分析等业务提供更为完善的数据保障服务。

 

广电类业务:凭借对于视频文件存储的充分优化、优异的并发读写性能(尤其是读性能)以及系统的高可靠性,分布式存储广泛适用于传统广电类和新型互联网视频类业务,包括电视台和影视制作公司的非线性编辑、节目管理,以及广电网络和互联网视频提供商的VOD点播、媒资管理、直播和时移回看等业务场景。 渲染业务:大规模渲染(比如渲染农?。┒杂诠蚕泶娲⒌牟⒎⒍列从凶欧浅8叩囊?,渲染时间过长的罪魁祸首往往是存储系统所导致。分布式存储在读写方面做了大量的针对性优化,无论是大文件还是小文件,都能通过这些优化算法获得更快的访问速度。这些技术极大地提升整体渲染速度,保障按时按质完成相关任务。此外,分布式存储的高可用性,可以确保大规模长时间的渲染任务不中断运行。

 

相关机型

 
型号 XP-22302ST XP-24201ST XP-42303ST
  硬件规格 - 2U12盘位
- 采用新一代Intel® Xeon®Scalable系列处理器
- 1200W冗余高效电源
- 2U24盘位
- 采用新一代Intel® Xeon®Scalable系列处理器
- 1600W冗余高效电源
- 4U45盘位
- 采用新一代Intel® Xeon®Scalable系列处理器
- 1600W冗余高效电源
  性能 - 稳定性高,扩展方便
- EB级单一命名空间
- 在线横向扩展,容量和性能近线性提升
- 非结构化数据读写优化,高并发带宽
- 多重数据?;せ?,支持多副本/纠删码/- 千亿级文件管理能力
- 图形化监控管理
- NAS无限层文件权限
- LDAP/Windows AD支持
- 部署简单,操作简便,低维护成本- Windows客户端加速引擎
- RDMA网络超高带宽读写
- 高安全
- 节点内RAID

 

典型案例

  • 网络方案设计充分考虑到了计算节点、存储节点、网络交换机的性能参数,在保证了系统稳定的前提下,使每台设备都能得到最大限度的利用。
  • 集群系统配置由48台V100计算服务器;1台计算管理节点;2台教学管理节点;15台教学实验服务器组成。
  • 系统配置高性能、可扩展的并行存储系统,共提供使用容量2PB,能够实现全局文件的统一访问和并发读写。
  • 主要产品都采用了冗余设计(电源、风扇等),存储系统采用冗余设计,系统的可靠性有较高保证。