某省级金融集团客户在开展公共数据服务、数字普惠金融服务、公共服务数字化等业务,需从多个数据源接入海量涉企数据,而各个数源的数据标准和规范各不相同,数据多源异构现象增加了数据互联互通、共享创造价值的复杂度,数据治理开发、数据安全管控、数据有序流通等能力都在面临诸多挑战。
为满足各级金融机构与数源端实现数据高效存储计算、数据融合建模等需求,构建具备为各级金融机构提供灵活的资源空间隔离、多层级细粒度安全管控、高效的数据治理开发的一体化平台能力,客户采用了 HexaDB 鲁班+海纳的一体化平台,实现了面向金融领域各类场景的公共数据资产运营驱动数据要素价值释放。本期小六将从传统方案难点、HexaDB 解决方案优势、客户收益三个方面去探讨,向大家分享 HexaDB 筑牢数据要素流通安全底座的架构思路。
(1)技术架构复杂
在传统的数据库架构中,实时分析和事务处理往往需要使用不同的系统和工具,导致产生了数据延迟和性能问题。虽然流批一体架构满足了实时的需求,但带来了更多的开发与运维工作,面对越来越强的 OLAP 数据分析需求,且要保证原始数据不出域,既要满足提供方的监管要求,又要兼顾消费方的业务需求,因此采用的技术架构变得越来越复杂。
(2)数据开发与治理脱节
传统数据治理面临的第一个挑战便是开发与治理的脱节,治理过程缺少可量化的监控,对数据的成本和价值缺少精细化的管理,数据治理缺少闭环,忽视了开发过程中效率和质量等问题。且传统的数据中台往往存在使用门槛高、不便利不易用的问题。
(3)数据安全不可控
需要提供面向数据安全生命周期全过程的安全能力,在符合安全规范要求的前提下,构建平台的数据内容等相关的安全能力,满足面向高风险场景的各类安全要求。需采用特定的数据安全产品来提供贴合数据管理业务特性的多角色与多级权限管理机制,可满足数据业务中的多类人员的可参与性。如何有力保障公共数据的隐私和安全,在高效支持跨域空间的业务数据融合建模的数据安全管控场景方面存在着一些短板。
客户采用跨部门数据开发与协同、高性能分布式存算引擎技术等主流成熟的开发框架和产品组件进行开发,采用多层体系结构来构建符合标准与管理规范体系、安全与运行保障体系的高可用性系统。底层数据仓库采用原生分布式 HTAP 的高性能数据库 HexaDB,基于 Shared-Nothing 架构,它是由众多拥有独立且互不共享 CPU、内存、存储等系统资源的逻辑节点组成。业务数据被分散存储在多个计算节点上,数据查询任务被推送到数据所在位置就近执行,通过协调节点,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
HexaDB 鲁班+海纳的技术方案致力于实现简单易用、全面紧凑的一体化平台,能显著降低数据治理开发的技术门槛,更专注于开发更先进的数据模型,促进团队协作,提升效率。项目整体技术架构如下图所示:
(1)实现数据存储计算高效化。 原生分布式 HTAP 为数据要素参与方提供高效便捷、安全可靠的数据要素存储、计算、分析能力,有效推动数据处理环节实现高效率、低成本、高智能。
(2)实现数据要素集约化。 该项目对数据进行整合和完善,提供适用、适配、成熟、完善的一站式大数据平台工具,在简便有效的基础上,实现数据采集、交换等任务配置以及监控管理。
(3)实现数据要素服务化。 提供便捷、快速的数据服务能力,让相关人员能够迅速开发数据应用,支持数据资产场景化能力的快速输出,以响应客户的动态需求。
(4)构建数据要素价值化。 通过打通政府银企数据,提供以前单个部门或者单个业务单元无法提供的数据服务能力,以实现数据的更大价值变现。
(5)构建数据要素资产安全精细化。 提供数据可靠性存储、故障恢复、系统访问权限、数据访问权限、数据开放权限、数据追溯等功能。权限管理精细化,确保数据访问全链路可控。数据流通留痕化,保障场景用途全过程可管。安全监测常态化,实现风险事件全方位可防。
按照“广聚数源、连通地市、促进融资、政金协同”策略,推动整体解决方案落地实施并取得显著成效。
解决了信息不对称、银行等金融机构对于中小微企业以及个体工商户存在“不敢贷”、“不愿贷”的问题。利用大数据分析企业画像、风险。目前已累计服务省内客户数达 330 余万户,累计融资服务规模超 1.3 万亿元。
通过金融专区实现了政务服务平台与银行系统接口直连,实现了让“数据多跑,群众少跑”,便利全省企业获取线上融资服务。目前累计服务省内融资需求 2082 万笔,实现放款超 170 亿元。
通过资源管控、权限控制进行租户的管理,租户资源可控,可灵活调整,租户数据安全有保障。灵活的权限控制实现资源的一次治理、多方共享。
基于全局的数据安全策略、灵活的数据安全管控手段,对数据管理流程中的各个环节嵌入安全管控,保障数据的存储、传输、访问、流通安全。在数据集成、数据加工、数据开放共享等各个阶段提供安全设置。通过数据脱敏来做事前预防,通过数据水印进行事后追溯,通过安全诊断对全仓数据安全进行检测,实现多层级细粒度的安全管控。在数据列上创建动态数据脱敏策略,根据脱敏函数对访问列的查询结果实施数据脱敏。
实现简单易用、全面紧凑的一体化平台,能显著降低数据治理开发的技术门槛,更专注于开发更先进的数据模型,促进团队协作,提升效率。
实现连通省内 16 个市级综金平台,建设全省融资服务“一张网”,建立省级公共数据服务金融机制,结合金融场景实现公共数据价值挖掘,数字普惠金融服务规模化,创新政务服务高效惠民,成效显著,为数据要素金融应用提供了范例。该项目案例也成功入选中国信通院第八届大数据“星河(Galaxy)”数据要素流通专项潜力案例,彰显出其在金融行业大数据应用与实践中的卓越成就与创新活力。
未来,HexaDB 将持续深造技术实力,努力成为数字金融领域的中坚力量,推动数据治理与金融服务的深度融合发展,助力构建更加包容、高效的数字经济体系,让数字金融能够惠及更多人群,为社会发展注入新的活力。