清华大学金融科技研究院孵化
金融科技与金融创新全媒体

扫描分享

本文共字,预计阅读时间

案例名称

银行大数据智能分析平台项目

案例简介

为满足日益增长的数据应用需求,国内某知名银行客户(以下简称“客户”)联合广州思迈特软件有限公司,开始建设基于Smartbi 的银行大数据智能分析平台项目,该平台建设了统一的大数据智能分析平台,提升了数据开发、管理、分析效率,实现账号及权限的统一管理,在增强数据安全的基础上方便使用。同时,通过建设标准化、易用性、安全性的自助分析平台,充分发挥数据的价值。

项目上线后,该行已有众多用户在活跃地使用大数据智能平台进行数据分析,创建了数以千计的的仪表盘、图表、工作表与表格,业务人员都能自主快速地通过数据分析平台构建数据分析应用,以科技智能带动业务智能,深度融合科技与业务,取得效率与成本、风险更高层次的平衡。

创新技术/模式应用

在大数据时代下,业务数据的有效利用已成为银行业务快速、健康发展的助推剂,客户也将数据应用融入到了日常的经营、管理、营销、风控中。并且随着业务的快速发展,对数据的依赖性越来越强,日常数据提取和分析的需求量变得越来越多,于是便面临这样的困境:会数据分析的人不懂业务,而懂业务的人却不会数据分析。往往一个数据分析需求的完成,最大的时间成本不是花在真正的取数、分析阶段,而是在前期的需求沟通阶段。在这种配合模式下,业务的数据分析需求总是在无尽的排期和等待中。

因此,某银行希望基于Smartbi建设大数据智能分析平台,让业务人员可以减少对技术部门的依赖,可以自主地进行数据分析,以此来提升工作效率并促进全行数据化运营。

(1)项目总体架构

针对本项目具体架构如下,以大数据平台为基础,提供多数据源的对接。以数据预处理OLAP技术产品体系为核心,实现数据模型化管理,数据分析的预处理,高并发低延迟多维数据分析,ODBC/JDBC/MDX/RestAPI多通道数据访问等功能。以SmartBI升级改造为应用主体,对接现有悟空平台,能够对接Excel表,方便数据分析的使用。

本次项目建设部署在水土数据分析环境,依托于大数据平台,作为大数据平台上的计算及应用模块,实现数据自助智能分析功能。

QQ截图20220511174614

数据智能分析平台的数据体系结构包括3个层次:数据源层、数据模型层和数据应用层。

数据源层:提供多数据源对接能力,按需扩展数据源,实现数据统一。本项目中对接水土数据分析环境,以独立的集群支持数据分析的数据需求。

数据模型层:提供可视化数据模型设计和管理能力实现数据模型统一,提供数据立方体预计算能力实现高并发低延迟多维数据分析,提供ODBC/JDBC/MDX/RestAPI多种数据访问能力实现多维查询统一,提供BI可视化、自助分析、WEB/APP数据应用、数据智能化Python等多种通道对接能力实现用数统一。数据模型层主要负责数据加工,把原始的数据如客户信息、合同信息、交易流水数据,加工成面向主题分析的业务模型;整个实施过程分成源数据分析、MAPPING、ETL、数据标准化、测试等;最终形成的主题模型层,如个金部主题、公司业务主题、风险主题等,用于门户系统的分析、挖掘工具的数据支撑。

数据应用层:通过Smartbi数据分析平台,提供给“管理决策者”、“普通业务用户”、“数据科学家”等用户使用,这些不同层次数据消费者,看到的数据模型一致,获取的数据也一致。实现报表可视化、多维分析、即席查询、自助分析等基本功能,以及数据挖掘算法、机器学习等高级功能数据层面的完全统一。

(2)创新技术

· 大数据OLAP预处理分析技术

大数据OLAP预处理分析技术是对多维分析可能用到的维度和度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问,把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了大数据OLAP预处理分析技术能够拥有很好的快速查询和高并发能力。

· 权限安全及多级授权

数据智能分析平台提供一整套围绕登录用户的信息及权限的管理机制。用户在登入系统需要身份认证,密码采用国密加密机制;平台提供权限控制体系,它可以控制用户功能权限、数据访问权限、资源访问权限。支持按用户、用户组、角色进行管理,支持多级用户管理体系。

多级用户管理机制是指当系统属于多级组织架构,可以把用户管理、权限管理下放给分级机构/组,使分级机构/组拥有管理权限的一种体制。整个安全性管理在企业内部可自顶向下的继承和覆盖,实现完备化、体系化的安全机制。

· 对接元数据管理,增加数据导航功能

项目通过对接元数据管理,在安全受控的前提下开放企业数据资产给用户,业务用户可以在数据资产中快速找到自己需要的数据,并且可以便捷进行数据权限申请。

用户可以在“数据资产”中通过全文检索的方式快速查询平台中有哪些数据可以使用。在权限受控的情况下,对于可用的数据,用户可以通过查看脱敏后的数据,包括数据结构、数据预览、血统分析,判断是否为自己需要的数据。

项目效果评估

3、项目成效

大数据智能分析平台的建设,既能提高业务人员获取数据的能力,缩短平均数据访问时间,提高工作效率;又能为科技部节省大量对其提供基本数据服务的时间,在加强数据管控的基础上提升数据服务能力,实现数据分析的全面应用和推广。

(1)提升业务分析人员在数据分析过程中所需要的性能效率,增强数据分析的应用及推广落地;

(2)通过界面化、流程化的权限管控,实现多级在线授权功能,通过对数据权限的流程管理,简化数据授权流程,提升数据权限申请的效率。通过加密、脱敏等方式提升数据使用的安全性,切实保障数据分析的安全及易用性要求;

(3)方便业务人员更好的进行数据分析,实现业务人员自助式分析数据的能力。

以前科技部门每个月处理的数据申请单在600张左右,现在下降到350张左右,大部分技术人员投入到更复杂的需求处理中;以前一张申请单从提出到完成需要7天,现在业务人员可自行处理,即使提需求也只需要2天即可完成。

项目牵头人

蒋霞,项目经理

[Source]

本文系未央网专栏作者发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!

本文为作者授权未央网发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!

本文版权归原作者所有,如有侵权,请联系删除。

评论


猜你喜欢

扫描二维码或搜索微信号“iweiyangx”
关注未央网官方微信公众号,获取互联网金融领域前沿资讯。