数据文件格式

ADM贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节，集中管理存储资源、服务器资源，实现闭环式自动化管理流程，统一授权和全程监控，节省大量人力资源开销，减少了数据恢复的重复性工作，自动化流程任务编排降低了人为因素导致的数据泄露风险。基于数据库虚拟化技术，ADM实现了对数据库、文件、虚拟机等副本的分钟级创建，通过存储级快照快速保留数据副本的状态，实现数据版本的保留，跟踪数据流向。同时，数据副本支持时效性设置，当数据副本超出使用期限，ADM平台会自动停止使用或回收资源，实现对数据资产的全生命周期统一管理。上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本，几乎不占用额外的存储空间。数据文件格式

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。参数设置上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、敏感数据处理四位一体的数据管理产品。

敏捷数据管理平台（ADM）由管理控制中心（Master）、数据服务节点（CDM Server）、敏感数据处理服务节点（SDM Server）、客户端（Client）组成，服务节点可通过主备节点部署实现高可用，通过灵活的横向节点扩展实现功能扩展和容量扩充，每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点，组成一个完整的数据管理平台，客户端负责收集数据、传输数据，服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。

数据资源可视化管理，有效满足上中下游数据的政策合规ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能，将***过的数据进行分组管理，从下游测试数据管理的源头管控数据资源的类别，做到从源头划分类别，使下游测试数据管理形成上游数据源----中游数据中转----下游数据目标的闭环式数据使用流程，规范化的数据流程使数据管理者成为数据的负责人，自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时，ADM提供对数据流转的树状拓扑结构图，可详细了解数据的来源、所属存储池、挂载的测试服务器，以及数据快照的层级关系，方便对系统全局的数据使用结构进行预览，通过可视化的结构拓扑图，**帮助用户了解下游测试网中测试数据的归属关系，完善数据流转路径，优化数据资源的合理分配，可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。上讯ADM能提供面向企业数据使用的成本控制、版本管理与合理合法开发利用。

数据分钟级提供，提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库，进而，快速将测试数据传输到下游的开发测试环境，无需繁琐冗长的审核和等待，这一过程有效减少了下游开发测试场景中测试数据的准备时间，通常从以天计算缩短到以小时计算，时间效率提升明显，**缩短了开发测试时间，进而缩短产品的发布周期。（5）敏感数据定义识别与仿真***，保障数据流转环节的安全性通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合，保证***后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的***规则进行***处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。金融客户CDM案例

上讯ADM产品的数据备份模块实现了数据库、文件、虚拟化平台的备份恢复。数据文件格式

随着信息化程度的不断深入，数据作为企业的资产越来越被重视，虚拟化、云化的不断应用，带来了业务系统及数据的增长，大数据在这种环境中也有了发展和应用。新技术的不断创新与应用，促使着数据不断的被拷贝使用，如何能更好的使用这些数据，如何更好的管理越来越多的拷贝数据，如何能节省新需求下的存储空间，这些都成了当下亟待解决的问题。信息化时代，“数据”的应用较为频繁，海量数据的组成中，备份数据占有很大比例，而这些备份数据在没有发生故障时往往是被搁置不用的，被称为“暗数据”。而对业务数据的分析、统计、运维等操作都会直接作用在业务服务器，如此将会对业务性能产生影响，不利于业务系统的高效使用。如何做到解放业务系统，使其专注于业务处理上，也是IT管理者需要考虑的另一个现实问题。数据文件格式