面向数据使用
随着信息化程度的不断深入,数据作为企业的资产越来越被重视,虚拟化、云化的不断应用,带来了业务系统及数据的增长,大数据在这种环境中也有了发展和应用。新技术的不断创新与应用,促使着数据不断的被拷贝使用,如何能更好的使用这些数据,如何更好的管理越来越多的拷贝数据,如何能节省新需求下的存储空间,这些都成了当下亟待解决的问题。信息化时代,“数据”的应用较为频繁,海量数据的组成中,备份数据占有很大比例,而这些备份数据在没有发生故障时往往是被搁置不用的,被称为“暗数据”。而对业务数据的分析、统计、运维等操作都会直接作用在业务服务器,如此将会对业务性能产生影响,不利于业务系统的高效使用。如何做到解放业务系统,使其专注于业务处理上,也是IT管理者需要考虑的另一个现实问题。上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本,几乎不占用额外的存储空间。面向数据使用
ADM通过对管理人员、测试需求等内容的不同进行分组划分,将已经数据进行分组管理,从测试数据管理的源头管控数据资源的类别,做到从源头划分类别,使测试数据管理形成数据源----数据中转----数据目标的闭环式数据使用流程,规范化的数据流程使数据管理者成为数据的负责人,自动化的资源管理也更有效地为用户提供安全的测试数据管理方案。敏捷数据管理平台ADM提供对虚拟数据库的树状拓扑结构图,可详细了解测试数据的来源、所属存储池、挂载的测试服务器,以及虚拟数据库快照的上下级关系,方便对系统全局的数据使用结构进行预览,帮助用户了解测试网中测试数据的使用关系,完善测试数据的组织结构,优化测试数据的资源分配。不同表多字段合并抽取数据备份产品构建了数据保护的基础防线。
敏捷数据管理平台(Agile Data Management)简称ADM,是采用基于CDM(副本数据管理)的数据库虚拟化技术,为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案,在保证数据安全使用的同时,提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成,实现了数据复制容灾、数据存储管理和数据流程管理,通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用,充分发挥了数据资产的潜在价值。
数据备份管理是上讯敏捷数据管理平台ADM功能模块之一,主要用于实现云环境、物理环境、虚拟化平台下的数据保护。包括支持各种主流平台下的系统、数据库及文件数据的保护,支持主流的虚拟化平台、国产化云服务器以及容器的保护,并可对物理服务器及虚拟化平台下的备份数据进行即时挂载恢复,提供业务应急的能力和数据快速恢复能力;针对数据备份的存储资源类型,ADM支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、对象存储等存储资源。支持接入第三方云存储、对象存储等作为大容量数据存储池,具备较强的扩展能力。上讯ADM产品的数据备份模块实现了数据库、文件、虚拟化平台的备份恢复。
敏捷数据管理平台备份数据有效性验证场景及价值:场景:备份数据是数据安全一道防线,大部分用户在生产网络中已部署了如NBU、Commvault等常见备份系统,为了保证备份数据的可恢复性及可用性,需要经常对备份数据做恢复校验,而手动恢复校验比较耗时耗力,因此导致了做备份数据恢复校验的频率不够。价值:采用ADM实现备份数据的恢复校验,可以将NBU、Commvault等备份系统的备份策略导入到ADM平台中,并根据备份策略创建不同的恢复任务,且恢复任务可以进行恢复排期,帮助用户实现自动化的周期性的备份数据恢复校验,节约了大量的人力成本,且增加了备份数据恢复的频率,为备份数据的可恢复性可用性提供了更好的保障。上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。工商银行CDM选型
上讯信息敏捷数据管理平台ADM产品的数据存储池采用压缩存储、加密传输。面向数据使用
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。面向数据使用