组合抽取

通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，定位敏感数据源。丰富的算法与仿真的字典库相结合，保证处理后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的规则进行处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。上讯ADM专注于备份数据的合理合法开发利用。组合抽取

数据备份管理是上讯敏捷数据管理平台ADM功能模块之一，主要用于实现云环境、物理环境、虚拟化平台下的数据保护。包括支持各种主流平台下的系统、数据库及文件数据的保护，支持主流的虚拟化平台、国产化云服务器以及容器的保护，并可对物理服务器及虚拟化平台下的备份数据进行即时挂载恢复，提供业务应急的能力和数据快速恢复能力；针对数据备份的存储资源类型，ADM支持DAS（包括SSD/HDD）、SAN（包括IP-SAN/FC-SAN）、对象存储等存储资源。支持接入第三方云存储、对象存储等作为大容量数据存储池，具备较强的扩展能力。原格式备份CDM主要应用于金融、运营商、能源、交通、卫生、事业单位等行业。

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。

测试数据版本迭代管理，提升开发测试业务的变更效率企业开发需求更新频繁，对测试环境和测试数据提出了同步变更的要求，ADM的虚拟数据库快照功能解决了测试数据版本迭代的问题，通过对数据库状态进行定时或即时的记录，保留当前虚拟数据库的状态作为测试数据版本，一旦需要调用某个版本时，只需切换到不同时间点的虚拟库快照即可，灵活实现测试数据版本的任意切换，ADM还支持创建和维护虚拟库级联快照，满足回归测试等具体应用场景，通过这一功能明显提升了开发测试效率、升级迭代效率。上讯敏捷数据管理平台ADM产品支持仿真的敏感数据处理。

近年来，证券业务快速发展，信息系统变更日益频繁，敏捷开发、快速迭代已经成为支持业务创新的必要条件。数据库作为信息系统运行的重要支撑，数据准备和交付的自动化程度对系统开发、测试效率有大的影响。Gartner对CDM的定义是，它从生产环境通过快照技术获取有应用一致性保证的数据，在非生产存储上生成“黄金副本”（GoldenImage），这个“黄金副本”数据格式是原始的磁盘格式，可再虚拟化成多个副本直接挂载给服务器，分别用于备份恢复、容灾或开发测试等.国内较早发布CDM领域的平台型产品是上讯敏捷数据管理平台ADM产品。数据安全的隐患

上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。组合抽取

l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一致性保障的数据，如针对Oracle，利用OracleRMAN和归档日志来保障备份数据库数据的一致性；针对VMware虚拟化，利用VMwareSnapshot技术来保障备份虚拟机数据的一致性。l事务日志同步技术支持数据库的事务日志备份，事务日志是数据库中已发生的所有修改和执行每次修改的事务的一连串记录，事务日志备份可将数据恢复到精确的故障点。例如：Oracle支持归档日志备份和删除，MySQL数据库支持redo日志备份和删除等。l文件系统数据保护ADM支持备份非结构化的文件系统。支持全量备份和长久增量备份与全量快照合成，备份策略采用定时执行备份任务，恢复策略支持细粒度恢复，**小粒度为恢复单个文件。支持跨文件系统恢复，例如恢复到EXT3、EXT4、NTFS等文件系统。组合抽取