Hadoop存储管理

上讯敏捷数据管理平台（ADM）支持并行重删技术，通过在多个不同的节点上构建指纹库，并将指纹并行分布于多个节点，采用内存级指纹库进行重删，所有指纹读写全部保存于内存中，从而提升指纹查询和处理效率，并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据，该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据，可以大幅度减少需要传输的数据量，从而极大地节省数据传输带宽，解决单点性能和存储空间压力。上讯ADM能提供面向企业数据使用的成本控制、版本管理与合理合法开发利用。Hadoop存储管理

管理控制中心（Master）是ADM的集中管理和调度控制中心，是进行可视化管理的Web操作平台。它负责集中管理ADM中的所有模块组件，系统管理员、安全管理员、操作员通过管理控制中心的Web管理页面协调并执行各个角色对应的操作；数据服务节点（CDMServer）是提供数据备份与恢复、备份数据恢复验证、副本数据创建和交付、数据复制容灾功能的服务节点。用于记录数据服务任务的配置信息、存储情况、历史记录等，数据服务节点统一通过MasterIP访问；***服务节点（SDMServer）是提供数据脱敏的服务节点，用于记录接入平台的敏感数据源、数据脱敏策略、***任务记录等信息，***服务节点统一通过MasterIP访问。客户端（Client）*针对数据服务节点（CDMServer）需要保护及管理的生产服务器、目标服务器，如物理服务器、虚拟机等都统称为客户端。为方便与管理控制中心进行网络通信和数据传输，一般会在客户端上安装客户端软件。客户端软件负责响应管理控制中心（Master）的命令，执行数据备份和恢复等指令。客户端软件可通过管理控制中心（Master）进行Web页面的推送安装与注册。***服务节点（SDMServer）无需安装客户端软件。释放资源ADM的敏感数据处理灵活性体现在异构引擎可以将大数据平台数据抽取至多类型数据库，满足输出格式多样化。

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。

《中华人民共和国数据安全法》中明确指出数据处理，包括数据的收集、存储、使用、加工、传输、提供、公开等。数据安全，是指通过采取必要措施，确保数据处于有效保护和合法利用的状态，以及具备保障持续安全状态的能力。当前，有效的保障数据安全的方式仍然是数据备份，即企业针对生产业务的数据、文件制定备份策略生成备份数据，一旦业务数据发生丢失或损坏，则恢复备份数据提供业务访问，传统的数据备份方案并未提供数据的恢复验证手段，因此企业在发生数据丢失时，启用备份数据恢复失败的案例屡见不鲜，这也给各行业客户造成了巨大的经济损失和不良的社会影响，为满足法律的合规性要求，备份数据的恢复验证成为备份恢复解决方案的必要需求，但由于备份数据量巨大、涉及业务系统繁多、专业人员数量有限，定期的备份数据恢复验证仍然是一道难题，上讯敏捷数据备份恢复验证解决方案为备份数据的恢复验证提供了创新的技术手段，包括备份数据的分钟级快速恢复、秒级可用性验证、按计划周期性定时自动恢复验证，保障了备份数据的可恢复性与可用性.上讯敏捷数据管理平台ADM产品高效压缩存储池，节省大量存储资源。

敏捷数据管理平台ADM的关键技术如下：l***数据获取方式数据获取的目的是将不同的数据源实时或者按需同步到平台内，根据不同类型的数据源，数据获取方式分为三种，保证覆盖全部数据源获取方式：①支持实时同步应用数据库；②支持按需同步关系型数据库；③支持与备份系统对接恢复数据。l核心专利技术—数据库虚拟化技术ADM内置一套数据库虚拟化管理程序，虚拟数据库是通过一份基础数据源创建的数据副本，一份基础数据源可以生成多个虚拟数据库，虚拟数据库可读可写，虚拟数据库状态可实时保存。虚拟数据库创建时间为分钟级，且不占用额外的存储空间。网络安全领域的CDM是指什么？敏捷供应

数据备份产品关注数据备份，上讯敏捷数据管理平台ADM产品能用于数据的备份与快速恢复验证。Hadoop存储管理

ADM产品在设计过程中主要依据相关法规政策为指导，加强信息科技管理，提高信息科技风险管控能力，逐步健全信息安全管理体系，加强重点领域信息安全管理，根据信息系统在**、经济建设、社会生活中的重要程度确定信息系统的安全保护等级。l《国家信息化领导小组关于加强信息安全保障工作的意见》l《金融行业信息系统信息安全等级保护测评指南》l《金融科技发展规划（2022-2025年）》l《银行业金融机构数据治理指引》l《电信和互联网行业提升网络数据安全保护能力专项行动方案》l《国家医疗保障局关于加强网络安全和数据保护工作的指导意见》l《中华人民共和国网络安全法》l《中华人民共和国数据安全法》l《中华人民共和国个人信息保护法》Hadoop存储管理