数据分级
上讯敏捷数据管理平台(ADM)的主要技术是(1)ADM内置独有的高效压缩存储池,压缩比高达3:1,存储即压缩,降低了基础数据源获取的存储成本与持续增长的副本数据存储成本。(2)ADM的数据库虚拟化技术,是通过获取一份基础数据源,快速拉起多份虚拟数据库挂载给目标业务使用,虚拟数据库拉起时几乎不占用物理存储空间,在实验室测试环境下拉起一个10TB数据量的虚拟数据库,只占用1GB左右的存储空间,明显节约了存储成本和时间周期,因此针对开发测试场景,需要对同一份数据创建N份副本数据时,存储成本节约近乎N倍。上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。数据分级
上讯敏捷数据管理平台(ADM)支持多种备份类型,针对备份方式同时支持有盘挂载备份和无挂载备份(传统数据备份方式),针对备份类型同时支持全量备份、增量备份与全量快照合成、事务日志备份。ADM还支持数据备份,可保护所有应用,其保护对象覆盖文件系统、商业数据库、国产化数据库、虚拟化平台、云平台、容器等。用户通过自定义备份时间点和周期,使系统按照任务策略和计划,自动或手动发起数据备份。当数据丢失或损坏时,根据不同的场景、不同应用类型,用户可以选择灵活高效的恢复方式。文件备份策略上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。
数据备份管理是上讯敏捷数据管理平台ADM功能模块之一,主要用于实现云环境、物理环境、虚拟化平台下的数据保护。包括支持各种主流平台下的系统、数据库及文件数据的保护,支持主流的虚拟化平台、国产化云服务器以及容器的保护,并可对物理服务器及虚拟化平台下的备份数据进行即时挂载恢复,提供业务应急的能力和数据快速恢复能力;针对数据备份的存储资源类型,ADM支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、对象存储等存储资源。支持接入第三方云存储、对象存储等作为大容量数据存储池,具备较强的扩展能力。
数据备份面临存储成本高的问题,ADM采用内置高效的压缩存储池存放数据,压缩比约为3:1,存储即压缩,降低了备份数据的存储成本;其次,通过ADM的数据库虚拟化技术,一份基础数据即可快速拉起多份虚拟数据库,由于虚拟数据库90%的数据均与原始数据相同,因此拉起时几乎不占用额外的物理存储空间,只对新增的写操作计入容量占用,因此,随着数据分发使用的场景和频率增加,虚拟库的数量越来越多,而存储成本将会呈倍数级节约,例如针对同一份数据创建N个虚拟库,传统方法需要N倍的存储空间占用,而通过ADM只需要占用近乎0TB的存储空间,节约了数据存储环节的资源和成本。海量数据供数于下游开发测试统计分析场景的数据使用需求该如何满足?
l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一致性保障的数据,如针对Oracle,利用OracleRMAN和归档日志来保障备份数据库数据的一致性;针对VMware虚拟化,利用VMwareSnapshot技术来保障备份虚拟机数据的一致性。l事务日志同步技术支持数据库的事务日志备份,事务日志是数据库中已发生的所有修改和执行每次修改的事务的一连串记录,事务日志备份可将数据恢复到精确的故障点。例如:Oracle支持归档日志备份和删除,MySQL数据库支持redo日志备份和删除等。l文件系统数据保护ADM支持备份非结构化的文件系统。支持全量备份和长久增量备份与全量快照合成,备份策略采用定时执行备份任务,恢复策略支持细粒度恢复,**小粒度为恢复单个文件。支持跨文件系统恢复,例如恢复到EXT3、EXT4、NTFS等文件系统。上讯敏捷数据管理平台ADM产品支持仿真的敏感数据处理。数据分级
上讯ADM产品的成本控制体现在节约存储资源降低存储成本,自动化流程节约了人力成本。数据分级
企业开发需求更新频繁,对测试环境和测试数据提出了同步变更的要求,ADM的虚拟数据库快照功能解决了测试数据版本迭代的问题,通过对数据库状态进行定时或即时的记录,保留当前虚拟数据库的状态作为测试数据版本,一旦需要调用某个版本时,只需切换到不同时间点的虚拟库快照即可,灵活实现测试数据版本的任意切换,ADM还支持创建和维护虚拟库级联快照,满足回归测试等具体应用场景,通过这一功能明显提升了开发测试效率、升级迭代效率。数据分级