拥有两位数的供应商、三位数的系统量、20多年的行业积累,能想象到在这条件下的数据量有多少,而且这可能仅仅是一家金融机构的现状。
面对巨量的数据,如何进行有效汇总存储,如何有效治理管控,如何挖掘使用,成为金融机构必须回答的一道难题。
随着国家对新一代信息技术的持续推动和金融行业数字化转型的交叉融合下,众多金融机构开始从数据层对数字化转型进行重新思考和探索。“数字化-数智化”的大趋势成为业内共识。
作为深耕行业近30年,并以创新驱动行业技术进步和业务发展的金证股份(600446),在助力行业数字化转型持续推进的同时,针对行业数据应用的具体业务场景下的数据治理和数据资产管理,推出了金证数据集成开发应用平台(简称“DIDA平台”)。
DIDA平台是金证自研的基础性通用数据平台,采用大数据技术,提供数据平台“汇、存、治、管、用” 能力,具备数据采集、数据开发、数据资产的功能,让数据成为真正的生产要素,赋能金融企业的经营决策与业务创新。
DIDA平台采用大数据体系架构、分布式存储和计算技术,对多来源多格式多业务数据按照金融行业的数仓模型进行分层存储和加工处理,满足海量数据(603138)存储和大批量数据加工整理的需求。DIDA平台在功能层面提供离线/实时数据采集、分布式数据存储、ETL数据加工处理、自动化调度执行、构建企业数据资产、提供对外数据服务等核心功能点;在性能方面充分利用分布式计算的批流处理引擎,满足高效计算和准实时计算需求。
在开发实践层面来看,开发人员可基于DIDA平台快速搭建起客户所需要的数据平台或数据仓库。在数据中台建设过程中,DIDA平台可以不考虑底层的大数据基础设施及计算、调度引擎等通用功能,各业务开发团队可以更专注于上层数据应用(分析)软件产品的研发和交付,从而进一步降低在大数据基础设施方面的开发投入和时间。而对于终端客(如证券、资管公司)户层面,DIDA数据平台能帮助客户进行公司级别的数据汇聚、数据存储、数据整合、构建企业数据资产。DIDA提供的数据服务平台也可以让客户更便捷地开放共享有价值的数据,快速展现数据成果。
当前,金证已完成DIDA平台1.0版本的发布,包含了元数据管理、数据集成、数据开发、流程调度、数据服务、运维中心等多个子平台,覆盖多源异构数据集成采集;带业务逻辑的数据采集转储;数据仓库/数据平台项目建设的初期工程,实现数据入湖;离线数据开发、实时数据开发;要求图形化实现数据作业流程拖拉拽配置等具体场景。
目前,DIDA平台多源异构的业务系统数据采集能力、高性能高效率的数据加工处理能力得到行业客户高度认可,并在益民基金、瑞银UBS、大河财富、国都证券等机构实现上线。后续,DIDA平台将根据行业实践的更多场景持续优化。
在行业“数字化-数智化”变局加速演进的大潮流中,金证股份将继续发挥技术与平台优势,针对行业需求与客户诉求,开展关键技术的创新研发,实现技术资源与成果向技术服务的转化,为行业技术基建能力和创新活力贡献金证方案。