当前位置
主页 > 成功案例 >
公检法卷宗类海量文件基于NAS存储数据异地容灾难诀窍
2021-11-26 01:22
本文摘要:海量小文件,例如2000万数据量,如何保证拷贝数据在主备两端的一致性?传统的灾备方式,在第一次仅有镜像的同时,如何保证镜像过程中增量部分的实时?数据存储是门大学问,比如用户的关键业务数据存储,一般来说是在大型数据库的基础上展开存储与管理,其适当的数据存储形式主要是数据块(Block),中小型数据库则可能会使用文件形式(file)。

乐鱼官方网站

海量小文件,例如2000万数据量,如何保证拷贝数据在主备两端的一致性?传统的灾备方式,在第一次仅有镜像的同时,如何保证镜像过程中增量部分的实时?数据存储是门大学问,比如用户的关键业务数据存储,一般来说是在大型数据库的基础上展开存储与管理,其适当的数据存储形式主要是数据块(Block),中小型数据库则可能会使用文件形式(file)。但是作为办公自动化OA、卷宗类海量内部文档管理、多集群前端业务平台、互联网业务平台、财务系统、工资系统等必须文件级(file)的集中于存储与分享时,则有更加专业的市场需求:一是充分利用现有的网络资源;二是获取强大的存储容量的拓展;三是多台服务器对海量文件级的数据读取;四是减少存储资源支出及整体享有的成本。如何解决问题上述文件级(file)数据集中于存储与分享的用户市场需求,NAS网络共享存储得出了可爱的解决方案,并且成功解决问题企业用户海量数据文件(file)与数据块(Block)两种形式共存的难题。

因此,很多像互联网这样对外获取服务的多集群前端互联网业务平台,以及公检法享有海量卷宗文件的用户,不会欣然接受NAS存储架构作为文件的存储形式。比如用户有基于互联网业务的平台,用户的基数十分大,因此前端就要做到阻抗平衡和多集群业务。在这样背景下,如何解决问题海量非结构化数据在多台节点中保持数据的一致性,艰难相当大。那么用户大多用于的方案是多个前端业务的集群,分享同一个NAS存储的目录,它们享有联合写出与读书的机制,保证会写出冲突。

这样的读取机制保证了文件的唯一性,这个方案可以快捷拓展前端集群节点的数量,以减少用户对实际的访问量的市场需求。NAS存储架构下的数据怀灾难题从数据安全管理角度来看,从NAS上拷贝文件是一件让人头痛的事情。如果用于NAS厂商的涉及拷贝功能,那么就必需有一套完全相同的NAS系统拷贝。

而现有的NAS系统不能在文件管理系统层次展开拷贝。这要求了要么就全部拷贝,要么就什么都不拷贝。但是在实际环境中,用户更加期望针对特定文件展开适当的管理。

比如,对涉及的文件展开动态的备份,但是因为前端业务集群服务器主机可能会同时读取同一个NAS文件夹中的数据,导致无法构建数据的动态维护。另外,海量小文件,例如2000万数据量,如何保证拷贝数据在主备两端的一致性?传统的灾备方式,在第一次仅有镜像的同时,如何保证镜像过程中增量部分的实时?这些都是后遗症整个NAS架构下海量小文件展开数据容灾的难题。基于NAS的定点实时方案从下面定点实时方案的拓扑图来看,它是在基于NAS存储集群架构拓扑图上减少了一个备份节点。

数据拷贝的流程首先是将业务端的NFS分享存储目录挂架至灾备机,获取读入机制,其次,通过英方控制器,印发定点拷贝的策略,通过英方将灾备机上的生产目录数据拷贝至灾备目录里,展开一致性核对或继续执行拷贝规则,定点或手动继续执行。该方案的优点是对源端的业务架构没任何的转变,它只是把目录同构到灾备服务器上,灾备服务器同时挂架一个同构的读入目录,另外还有一个存储数据的灾备目录。

它要做到的就是把生产数据产生变化的目录的数据展开定点的核对,并且将缺乏的文件实时到备端的存储上去。由于该方案必须定点做到扫瞄的差异对比,因此数据实时必须时间,所以无法做动态的数据实时,不能做定点的数据实时。那么随着NAS存储数据的大量减少,有可能仅有就扫瞄和差异对比,就花费大量时间。

目前这种解决方案,主要是针对用户数据量不是尤其大的NAS目录,例如数据文件的数量在百万级别,并且用户读取不是很频密,可以把定点的时间延长才可构建。基于NAS的动态实时方案在动态实时方案中,数据拷贝的流程首先是在3台前端业务服务器上面都加装英方软件客户端;其次是分开用于1台服务器读入该NAS存储中对应文件夹,命名“英方NAS监控服务器”;最后是当这3台服务器有任何1台服务器对NAS数据展开改动时,英方客户端不会将改动的文件名和该文件的存储路径发送给“英方NAS监控服务器”,由该服务器动态读取数据,并发送给容灾端。英方i2COOPY动态拷贝在一般服务器下需要做毫秒级数据实时,在NAS服务器集群环境下,i2COOPY通过在生产末端登录一个服务器作为其他服务器IO变化的拆分节点,需要在备端的服务器超过秒级实时读取的目的。

该解决方案是旁路监听,因此对主业务的节点变化是加装客户端,但是客户端本身不产生性能支出,只是监控对应服务器不会对目录当中的某个文件展开改动。比如集群中有三台服务器,第一台改动完了,不会传输到英方NAS监控服务器上,然后不会优先展开传输,当第二台改动完了后,就不会转入文件队列传输的等候过程,依序以此类推……英方监控服务器获得变更确认的指令后,不会第一时间去读书对应目录下的名称,然后经过TCP/IP网络发送到容灾端的服务器。该方案既解决问题了动态实时的问题,又解决问题了海量数据情况下数据拷贝时间窗口的问题,保证当生产环境NAS存储经常出现故障时,数据安全,业务倒数。


本文关键词:公检法,leyu乐鱼体育官网,卷宗,类,海量,文件,基于,NAS,存储,数据

本文来源:乐鱼官方网站-www.xtyd18.com

联系方式

电话:0643-67091864

传真:045-15235141

邮箱:admin@xtyd18.com

地址:内蒙古自治区赤峰市沁县文支大楼1783号