本文共字，预计阅读时间。

文/华金证券首席信息官张可可，华金证券信息技术部刘力、王宏、马伊灵、祝茂农

（本文为“证券机构数字化转型与证券科技创新”征文活动入围文章。）

时代在发展，技术在进步，企业的数字化转型也在不断增添新内容、不断响应新需求。所谓金融拥抱科技，科技拥抱金融，金融行业正在从信息化走向数字化和智能化。随着云计算、大数据、人工智能和区块链等新兴技术在金融行业的深入应用，科技对于金融的作用被不断强化，创新性的金融解决方案层出不穷，金融科技发展进入新阶段。

作为金融行业的重要资产，数据是价值堪比石油的基础性战略资源，而创造数据价值逐渐成为金融行业的核心竞争力。如何分析处理这些数据，并为经营决策提供技术上的支撑，是现代企业管理者们面临的一个重大课题。越来越多的企业正在通过员工培训和采用先进的数据分析工具来解决由于数据量增大而带来的企业管理上的困难。

著名咨询公司 Gartner 在 2017 和 2018 年的《商业智能和分析平台魔力象限》报告中已经清晰地描绘了这一现象:越来越多的企业开始偏好现代的、以业务用户为中心的自助数据分析。传统的以IT为主导的，高度集中化的工具正面临替换。市场已经从“IT 主导的报表模式”往“业务作为新一代自助大数据分析的商业智能工具发展。Gartner 的权威调查报告中还指出，数据分析行业未来几年的发展规划中应有几个重要组成部分：

• 智能的、企业管理级的、基于 Hadoop/Spark、基于搜索和可视化的数据探索分析功能将作为新型 BI 和分析平台的重要组件。
• 具备智能数据发现能力的现代 BI 平台的用户数量将以两倍的速度增长。
• 自然语言生成和人工智能将成为 90%现代 BI 平台的标准特征。
• 50%的分析查询将使用搜索、自然语言处理或语音生成，或者将自动生成。
• 非专业数据分析师的数量增长速度比专业分析师的高 5 倍。

华金证券股份有限公司（以下简称“公司”或“华金证券”）自2019年开始，以数据应用建设为驱动，积极探索数据服务模式创新，在系统建设和创新应用层面，公司自主研发建设了企业级自助数据分析平台，以“驱动决策”和“驱动智能化”为建设目标，赋能公司各业务条线和中后台部门提高基于数据的运用、分析和决策能力，迈出了敏捷数字化转型的重要一步。

一、自助数据分析平台建设面临的困难

1、海量数据无法充分利用

随着证券公司业务不断的发展，在日常运营过程中积累了庞大的数据，这些数据分散地存储在集中交易系统、资产管理系统、财务系统、CRM系统、风控系统、人力资源管理等系统中。随着各类业务系统的陆续上线，系统里开始源源不断产生数据。海量的数据难以管理，无法充分利用，导致企业高层无法及时根据数据作出相应的决策。而数据是业务分析的前提，通过内部数据驱动业务发展，挖掘数据的价值已成为公司的一项重要目标。

2、系统脱节，产生数据“孤岛”

在证券行业中，由于上线时间或使用部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。

3、依赖IT部门，业务无法提高数据分析的效率

随着业务部门对数据提取的频率越来越高，对需求响应的时效性也越来越高，这些都大大增加了数据中心数据提取、报表开发的工作量。

4、传统excel报表，无法从广度和深度分析数据

随着业务部门对数据分析维度和角度的扩充，传统的excel报表或定制化的仪表盘已无法满足业务需求。

二、自助数据分析平台建设需经历的过程

自助式数据分析（又称敏捷数据分析）面向的是不具备IT背景的业务分析人员，与传统数据分析相比，它更灵活且易于使用，而且一定程度上降低了对IT部门的依赖，自助式数据分析的出现标志着数据分析正在从“IT主导的报表模式”向“业务主导的自助分析模式”转变。而企业的自助式数据分析建设需经历以下四个过程：

1、 数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后，在用PowerDesigner或ERWin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。数据建模一般分为六步：明确业务目标，理解业务需求；针对业务目标，准备基础数据；运用基础数据建立数据模型；模型的准确性和精确性评估；模型结果呈现；模型部署。

2、 数据集成

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。数据集成通过应用间的数据交换从而达到集成，主要解决数据的分布性和异构性的问题，其前提是被集成应用必须公开数据结构，即必须公开表结构，表间关系，编码的含义等。

3、 数据分析

数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。

4、 数据管理

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。数据管理包含元数据管理：采集、定义、分类、范围、更新、影响、血缘等管理；数据标准管理：定义、映射、文档、信息项等管理；数据质量管理：完整性、一致性、唯一性、准确性、安全性等管理。 这样的数据管理将使得数据管理更高效、更安全、更完整。

随着证券业务的发展，在数据应用及数据分析方面华金证券从自身实际出发，结合以上四步骤，有效运用数据，自主研发建立了自助数据分析平台。华金证券自助数据分析平台分三步实现业务的自主数据分析：

第一步：从最初的纯人工数据分析到业务系统提供数据源，业务人员通过导出明细数据运用excel工具制作报表进行数据分析，再到使用IT人员开发的具备统一的、可视化的数据分析功能的统一报表系统，最终实现IT人员数据建模，业务人员运用简单的数据分析工具自助进行数据分析，获取有价值的数据信息。以上过程总结为：人工—自动—自制—自助。

第二步：由点到面，从经纪业务条线数据入手进行数据建模，数据集成、数据分析、数据管理，构建了包含客户、资产、交易、风险等的指标体系。未来还将扩展到资管等条线。使用范围从最初总部人员扩充到现在的分支机构人员。

第三步：由浅入深，从总体数据分析到下钻进行明细数据分析，从单个维度扩展到多维度分析数据。让分析更有效，更准确。

三、自助数据分析平台总体架构及应用情况

1、  数据架构

华金证券自助数据分析平台数据架构设计遵循稳定性、安全性、通用性、灵活性、可扩展性等设计原则，旨在建立统一的、易于管理的数据架构体系，为未来多系统的数据集成提供处理平台。整体架构设计如图1所示：

图1：数据架构图

• 数据资源：

华金证券将各个独立的业务系统，按业务不同进行分类采集，包含业务类系统、管理类系统、渠道类系统以及市场资讯数据。

• 数据采集：

通过数据采集工具，负责把不同异构数据源的数据统一采集到华金数据平台进行统一存储。离线数据采用开源工具KETTLE或者DataX进行采集，针对部分实时应用场景，使用商业版实时数据同步工具，确保实时数据采集的高效和数据安全。

• 数据仓库设计

华金证券遵循四项设计原则进行数据仓库设计：

第一：按照数据应用需求驱动，自下而上结合自上而下的方式构建数仓；

第二：高容错性，随着系统耦合度的增加，任何一个系统出现问题都会对数仓产生影响，因此在数仓构建时，高容错性是必不可少的因素；

第三：数据治理贯穿整个数据流程，数据质量监控消耗的资源可以等同于数据仓库构建的资源；

第四：无需担心数据冗余，充分利用存储换易用。

• 数据模型设计

常见的数据模型设计包括维度建模和实体关系建模。维度建模实施简单，便于实时数据分析，适用于业务分析报表和BI；实体关系建模结构较复杂，但它便于主体数据打通，适合复杂数据内容的深度挖掘。华金证券在构建数仓时，根据业务形态和需求场景选择合适的建模方式。在基础层采用维度建模的方式，让维度更加清晰；中间层采用实体关系建模方式，使得中间层更容易被上层应用使用。

除了建模方式之外，在星型模型和雪花模型的选择上也经常让数仓架构师为难。实际上数据仓库中两种模型是可以并存的。由于星型模型相对结构简单，我们在数据中间层利用数据冗余将雪花模型转换成星型模型，从而有利于数据应用和减少计算资源消耗。

• 数据分层：

华金数据平台的数据分层，从逻辑上自上而下可以分为：集市层（DM）、中间层（DW）、基础数据层（ODS）等上下三层结构。将传统数据仓库的多层结构减少到上下三层结构的目的，是为了压缩整体数据处理流程的长度，同时扁平化数据处理流程，有利于数据质量的控制和数据的运维。2020年还将增加对流式数据的支持，将其添加成数据体系的一部分。以满足当前的数据应用对数据时效性的要求，实时的数据价值度会越高。

• 基础数据层（ODS）：

数据基础层是最底层，主要工作包括以下几点：

数据采集和存储：对证券行业全域数据源的数据进行有效采集和统一存储，集中到大数据平台上；

数据清洗：清洗不符合质量要求的数据，避免脏数据参与到后续的数据加工和计算；

数据归类：建立数据目录，在基础层按照业务来源系统和业务域进行分类；

数据结构化：对于日志文件等半结构化和非结构化的数据，进行结构化处理；

数据规范化：包括规范数据维度标识和统一事实类指标的计量单位等规范化操作。

• 数据中间层（DW）

数据中间层最为重要的目标就是把同一实体（比如：客户和资产）不同来源的数据打通起来，这是因为基于证券行业的复杂性，同一实体的数据可能分散在不同厂商的业务系统中，且这些数据对同一实体的标识可能不同。此外，数据中间层还可以从行为中抽象关系。从行为中抽象出来的基础关系，会是未来上层应用一个很重要的数据依赖。例如抽象出的用户交易行为、类别、偏好、习惯等关系数据是智能营销、推荐、个性化的基础生产资料。

在中间层，为了保证主题的完整性或提高数据的易用性，经常会进行适当的数据冗余。比如某一实事数据和两个主题相关但自身又没有成为独立主题，则会放在两个主题库中；为了提高单数据表的复用性和减少计算关联，通常会在事实表中冗余部分维度信息。

• 数据集市层（DM）

数据集市层是上下三层数据分层的最上层，由具体的需求场景驱动，用于支撑上层的具体数据应用（如：自助数据分析平台），并且各集市之间是垂直构造。在数据集市层，可以深度挖掘数据价值。值得注意的是，数据集市层需要能够快速试错和快速交付，满足各类数据应用的快速迭代要求。

• 数据应用层（DM）

具于数据分层而构建的数据平台，可以支撑上游的各类数据应用的快速实现，比如：自助数据分析平台，就是其上的一个典型数据应用。随之后续数据集市的不断丰富，能给支撑更多数据应用的集成。

• 数据服务层

华金数据平台，通过RESTful API和数据推送的方式，对外提据数据服务，主要包括统计服务、分析服务和标签服务：

统计服务主要是偏传统的报表服务，利用开源数据同步工具将数据加工后的指标数据或报表结果放入关系型数据库中，供前端的报表系统或下游业务系统查询；

分析服务用来提供明细的事实数据，利用大数据平台的实时计算能力，允许业务人员通过BI工具自主灵活的进行各种维度的交叉组合查询。

标签服务，在大数据的应用场景下，对客户和产品等主体进行特征刻画，比如客户的消费能力、兴趣习惯、物理特征等等，这些数据通过打标签转换成KV的数据服务，用于前端应用查询。

2、   功能架构

华金证券自助数据分析平台从用户角度出发，结合业务实际情况进行功能设计，从数据分析目的导向入手，对全公司的分析指标进行梳理，通过平台提供的分析工具对数据进行加工，形成各类报表和指标，快速生成有价值的决策支持信息，并通过可视化展现工具直观、高效地将这些信息推送到管理层面前，辅助领导快速实时做出判断和决策，优化流程，精准定位。系统实现全面的用户管理，清晰的权限管理，并从业务实际角度出发，提供业务报表、专项报表、填报报表等，支持可视化的经营分析，并可实现多维及下钻分析，系统具有流程管理、报送管理、消息推送等功能，同时系统还具备智能监控、数据预警等功能。整体功能架构如图2所示：

图2：功能架构图

3、  应用情况

华金证券2019年开始进行挖掘业务需求、理解业务、业务分析、产品设计工作，在2019年9月进入自助数据分析平台开发阶段，历时三个月，华金证券为经纪业务条线完成近150个指标的开发，分别提供业务人员进行经营分析、风险分析、系统运行情况分析、渠道情况等分析,分析通过时间、区域等维度进行，并且提供下钻分析明细数据，同时对接外部资讯数据，实时与外部数据对比分析，如图3所示：

图3：经营分析

经营分析:分析经纪条线本月、本年的收入、利润走势情况，并分析公司本月和本年度子类明细数据。通过各项数据走势，分析企业经营成果和获利能力，及时发现问题并作出相应的调整或补救。

风险分析:实时分析融资融券等高风险类业务的客户业务情况，通过监控客户的维持担保比例、融资融券余额等信息，实时感知风险，提前防控。

系统运行情况分析：实时监控交易系统运行情况，将系统硬件情况与业务联动，通过设置不同的风险阈值，提前规避系统风险。

渠道情况分析：分析各个渠道销售的规模和份额情况，通过双向对比审视公司不同渠道的销售状况。提供差异化的渠道建设，通过做广、做深、做强和做精渠道来确立渠道核心竞争力，并不断强化渠道营销服务功能，借此提升综合业务水平。

除业务人员的分析外，还为公司领导层提供实时监控的经营驾驶舱，辅助领导层进行经营决策，如图4所示：

图4：经纪业务驾驶舱

华金证券自助数据分析平台，实现数据集中管理，保证数据的一致性，消除数据孤岛，快速响应报表应用需求。通过建立指标体系，实现指标数据集中存储、动态更新，有效支撑和推进业务人员基于指标的数据加工和应用。通过提供面向主题的自定义报表、敏捷分析等，满足业务上个性化报表需求。通过直观生动的展现方式，采用不同颜色的预警和异常提示，以整体视角呈现企业运营状况，为企业决策提供直观、数据化的有力参考依据。自助数据分析平台是建设一套卓越的企业经营管理决策支持系统，深化数据应用，为满足公司现阶段的管理要求及未来业务发展的需求，提升公司整体信息化水平，进一步促进公司数字化转型。

四、结语

随着证券业务不断的发展，在数据应用及数据分析方面华金证券还将继续探索，将进一步加大对数据分析平台的建设，加强技术的规划、投入和管控。首先从目前的经纪条线扩展到其他条线，让资管、风控等条线的人员也能通过平台进行数据分析，辅助产品全生命周期等管理。其次在瞬息万变的市场经济下，企业必须采用更快速的方式做出运营决策，以适应外在环境变化。快速响应，是现代企业最重要的能力之一。企业管理者不可能长时间坐在电脑前，移动设备成为必须使用的终端。因此，华金证券未来将扩展到移动端的数据分析，辅助经营决策。最终帮助公司完成数字化转型升级之路。自助数据分析能力也将成为公司业务增长的新动力引擎，成为公司可持续发展的核心竞争力。

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。