位置:编程技术网 > 架构设计 > 正文 >

架构级创新 青云QingCloud发布QingStor文件存储

2018年11月16日 18:51来源:未知手机版

赫里斯托夫,具俊晔,海关新政,南京房产信息网,夹竹桃教学反思,铜钱

原标题: 架构级创新 青云QingCloud发布QingStor文件存储

来源:中关村在线 ?作者:徐鹏

从2004年的第一段代码开始,Ceph最早是作为高性能分布式文件系统存在的,而随着以OpenStack为基础构建的云计算解决方案越来越多,Ceph在数据中心底层存储领域迎来了第二春。然而,能够同时支持对象存储、块存储和文件存储的统一存储架构并没有让Ceph一路火下去,其自身的诸多问题也多少限制了企业业务的长期发展。同时,这也是一些云服务商开始另辟蹊径的原因——7月27日,青云QingCloud在Cloud Insight Conference 2018云计算峰会上发布了QingStor文件存储,加上之前的QingStor对象存储、QingStor NeonSAN 构成了青云QingCloud完整的存储产品品牌QingStor软件定义存储。

青云QingCloud发布QingStor文件存储

从架构层面来看,如果说对象是应用层架构、块是驱动层架构,那么文件是系统层架构。根据Gartner的报告,文件存储在当前市场的需求中仍占据主流,应用场景遍及媒体领域、高性能计算等领域。尽管对象存储的需求有升高的趋势,但在相当长的一段时间内文件存储依然有着强劲需求。然而,文件存储的传统架构似乎难以追上数据增长和业务创新的速度,不少企业在Ceph上踩了坑。

回顾文件存储的发展趋势,2000年以前市面上使用的是硬件方案,其缺点在于控制器决定了系统的性能上限和容量上限,其资源难以被多系统共享,扩展性差、成本高。“2000年以后出现了分布式文件系统,分为两种架构:一种是以Hadoop HDFS和LusterFS为代表的集中式索引架构,这种架构的缺点在于文件数量会受到单节点和索引节点容量限制;二是全对等Hash架构,完全抛弃单独的索引节点,其代表是GLuster和Ceph,这种架构的问题在于扩展扩容不方便,一致性较差。”青云QingCloud存储高级技术专家宁安表示。

Ceph老大难问题何时解决?

从最初的CephFS文件系统,到后来偏向虚拟化的Ceph RBD、Ceph RGW,Ceph在CRUSH算法、RADOS,以及弹性扩展、跨存储池缓存、滚动升级等方面的优势无需多言,而Ceph在中国的发展与OpenStack也是相互成就,各有一片天地。不过要知道,OpenStack在国内火爆是有其特殊性的,海外的成熟CSP并没有把过多精力放在OpenStack上。相比之下,分布式存储领域可以替代Ceph的技术似乎是鲜有的。话句话说,虽然很多人在吐槽Ceph的性能,但是却没有人能搞定它。

复杂的语言和调用关系使得Ceph产品出问题后的代码修改难度也随之增加,除非将完整的代码读一遍、有深刻的理解才能动手优化,但遗憾的是很多企业并不具备相关的专业团队,往往是由专门做Ceph存储的厂商来解决,而这些厂商在优化方案后又很难合并到上游。最初,青云QingCloud也选择了Ceph来做块存储,之后因为种种弊端无奈放弃了。

举个例子,Ceph的块存储接口会通过块设备挂载到一个机器上,格式化本地文件系统,再对文件系统做NFS服务来暴露数据。这种方法的问题在于它只有一个单点,因为本地系统的限制,无法同时挂载两个,也就无法做到负载均衡。

宁安认为,Ceph的架构问题主要体现在四个方面:第一是数据一致性问题,Ceph架构依赖客户端Hash实现数据定位,多份Hash在不同客户端有不同的状态,难以维持各个客户端状态一致;第二是高可用问题,当节点恢复和无法迁移时,需要改变Hash区间分布,而一边改变一边迁移就会影响数据一致性访问;第三是Ceph扩展性问题,扩容时每次只能增加一台,等一台数据迁移完毕后,才能增加下一台,否则Hash就会受到损坏;第四是运维复杂,企业需要投入大量的人力、物力成本,甚至需要招聘非常资深的Ceph工程师。

深入业务层的存储创新

本文地址:http://www.reviewcode.cn/jiagousheji/10093.html 转载请注明出处!

今日热点资讯