原始数据格式
上讯敏捷数据管理平台(ADM)支持重复数据删除技术,在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。原始数据格式
数据孤岛指的是数据被分散、隔离和存储在不同的系统、应用程序或部门中,使得数据之间无法有效地交流、共享或整合的情况。这些数据岛屿形成了一个个孤立的实体,难以互相连接或进行有效的数据分析。上讯敏捷数据管理平台(ADM)通过有效整合企业内各业务系统的数据,实现数据采集、存储、交付和管理的无缝对接,同时利用多项自有技术如数据库虚拟化、数据备份恢复、敏感数据脱敏等,打破了企业内数据孤岛现象,促进了数据资源的共享和高效利用.原始数据副本上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。
数据副本管理是上讯敏捷数据管理平台ADM功能模块之一,可单独作为企业级副本数据管理(CDM)产品。为应对当前复杂的IT环境,ADM提出集云、物理、虚拟为一体的,面向结构化数据库、非结构化数据、虚拟化和云平台的数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复,达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标,是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。
上讯信息敏捷数据管理平台的备份数据管理模块,突破了传统备份理念,基于特有的CDM数据库虚拟化技术,不仅可以实现对数据库的实时性持续备份以及本机、异机的快速恢复,还可以同时对备份数据的有效性进行验证。对于已经部署了NBU/CommVault等备份系统的用户,可以对接备份系统,实现存储空间、恢复服务器和恢复任务的自动调度,从而实现备份数据有效性验证的全自动化,并根据验证结果生成详细的恢复验证报告。在恢复验证任务结束后,自动清理恢复环境,释放存储资源和恢复服务器资源,以用于下一个恢复验证任务的使用,使整个数据备份恢复验证工作能够周期性地循环运转.上讯信息的自主产品敏捷数据管理平台ADM是国内副本数据管理CDM领域的重要产品。
上讯信息敏捷数据管理平台(Agile Data Management)简称ADM,是采用基于CDM(副本数据管理)的数据库虚拟化技术,为企业上中下游数据的备份恢复、数据验证、安全***、分发交付提供的面向数据全生命周期的安全管理解决方案,在保证数据安全使用的同时,提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、数据脱敏管理组成,实现了数据复制容灾、数据存储管理和数据流程管理,通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用,充分发挥了数据资产的潜在价值。ADM贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节。存储采购成本
上讯敏捷数据管理平台ADM产品可对数据进行清洗漂白处理,保证隐私数据信息安全。原始数据格式
敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。原始数据格式