编程技术网,编程语言,IT新闻,code,代码审查

架构级创新 青云QingCloud发布QingStor文件存储(2)

2018-11-16 18:51

赫里斯托夫,具俊晔,海关新政,南京房产信息网,夹竹桃教学反思,铜钱

在宁安看来,下一代文件存储不仅要全面支持云应用、无缝兼容传统应用,还要具备智能管理与运维,以及72小时高可用特性。在业务部署过程中,QingStor软件定义存储产品线的核心设计理念是在扩容时尽量不让用户迁移数据,毕竟迁移数据的成本很高,也会带来网络、稳定性等问题。同时,QingStor并不是通过Hash算法算出具体位置,因此节点变化不会直接影响已有数据的存储位置。

对于企业用户来说,在新扩容节点时会有新的数据加入,原有数据还在原来的位置。如果用户觉得旧有存储设备的数据太冷,想提高设备利用率,也可以把冷数据迁到新的位置,而旧有设备可以继续读写。“用户可以一瞬间完成系统扩容,保证原有数据的位置不变。我们还能支持用户在低峰时刻开始迁移,在业务高峰时刻把业务停掉,这是很灵活的。”宁安说。

归纳起来,QingStor文件存储的架构创新可以总结为:首先,基于分布式块存储NeonSAN构建,延续了高性能、强一致的优势,不含本地文件系统,两种节点分别是分布式网关和NeonSAN;其次,无限水平扩展,通过目录和文件分离存储的架构,元数据层存储所有索引目录,可以定位文件具体位置,控制层的组件负责下层块设备的空间分配和事务管理;此外,并行处理架构,所有的网关节点和NeonSAN节点是全互联的关系,每个节点之间都可以相互访问,且是通过最短路径。集群内数据复制与业务访问分离,分别通过不同的网络,因此在数据迁移和扩容时,不会对业务有任何影响。

网关节点和NeonSAN节点全互联,具有三副本机制

进一步解释,分布式网关的三副本机制让无限扩容成为可能,每个文件在设备上都是以数据块为单位存储的,每个数据块按照固定大小切片。如果将同时修改某个块、或将某个块的大小减少到零再重新写入看作独立事务提交,那么这些操作可以在“瞬间”完成,比如0.1秒内可能有N个客户端同时读取和同时写入。至于目录和文件的分离存储,则可以目录结构分散到多个节点上,从而进行归并操作。每读写一个文件,不需要动目录索引,只需要在NeonSAN里直接定位地址直接写。目录文件分离后,无论是容量还是性能,都可以实现水平扩展。

QingStor的最后一块拼图

具体来说,QingStor文件存储能够做到安全可靠、强一致、高可用、高性能、弹性可调,并且对成本进行了优化。安全可靠方面,支持掉电安全、防篡改/防坏道、数据加密、隔离性,可以通过不同的VPC通道访问用户拥有的虚拟存储空间。强一致性方面,通过分布式事务+版本修改机制可以实现通过冲突写入进行串行化操作、所有提交内容可读、异常检测自动回滚三项功能。高可用方面,可体现在服务无单点、数据无单点、网络无单点,QingStor文件存储能做到每个节点损坏时对业务没有任何影响,而Ceph节点损坏后的影响是按小时来计算的。

高性能通过底层NeonSAN支持的。在一个CPU比Ceph稍弱的情况下,NeonSAN在混合读写时,能做到比Ceph 100%读效率高两倍左右,并且时延是Ceph的1/4。同时,QingStor分布式文件存储具有并行架构,每个节点的负载和带宽都可以充分利用起来。由于没有依赖本地文件系统使得I/O栈非常短,确保了高性能的实现。部署方面,QingStor分布式文件存储可以支持最小规模3节点的存储网关部署,与3节点块存储部署,可选的存储介质包括全闪存部署、在SATA基础上做SSD缓存加速、纯SATA部署。在搭建网络时,企业可以利用现有的交换机去部署TCP/IP网络,内部数据通信通过基于以太网的RDMA (RoCE),做到低延迟的数据复制。

对于企业客户来说,QingStor文件存储可以在Portal上,既能对系统资源池进行管理,也管理上层文件系统空间,对于整个系统的运行状态和告警一览无余。此外,青云QingCloud借助智能透明压缩、自精简配置、海量小文件优化、存储分层等手段大幅优化了企业部署成本。例如为了节省空间,每个数据都能够以4K为单位存储,并且可以分配一个比物理容量更大的空间,让管理员根据用户实际使用情况,选择合适的时间扩容硬件。

上一篇:2018广州车展:基于TNGA架构打造,全新一代雷凌双擎亮相

下一篇:物联网投资者眼里亚洲值得关注的两大趋势