最有看点的互联网金融门户

专栏区块链国内资讯金融信息服务

大数据分析自带缺陷?别怕,有区块链在

专栏区块链国内资讯金融信息服务

大数据分析自带缺陷?别怕,有区块链在

区块链技术最广为人知的概念是一种分布式记账技术,具有去中心、去信任、透明开放、不可篡改的特征,这些特征使得区块链技术不仅可以用在数字资产的交易中,同时也渐渐拓展到大数据分析的行业中。

大数据分析要求能够快速处理大量不同类型的数据,在搜集数据的初步阶段,需要在数据的海洋中甄别出那些真正有价值并且真实的东西。

目前各个区块链上的数据可被分为:数字资产产量信息,数字资产流量信息,数字资产场外交易信息等。通过在区块链上对这些数据进行挖掘,分类和分析,可以满足不同企业对安全性,市场现状和预测、预防性维护以及竞争优势的判断需求。

传统的关系性数据库面对以上数据分析的大项目时有其天然缺陷,而区块链技术则可以解决相应的问题。

传统关系性数据库与区块链上数据的比对

· 最严重的当然是安全性,传统关系性数据库密码极其容易被破解

区块链上的数据现在都包含了哈希加密算法以及多重签名。同时区块链数据的存储已开始朝去中心化和分布式存储的方式发展。数据被分割成多块进行加密处理后,被分往不同的服务器,但是授权依然通过各个节点共同计算得出,使任何第三方无法获得拿到所有数据的能力。

· 对服务器等硬件要求很高,容易造成MDB损坏

区块链的数据大多都采取了云存储技术,同时这种存储技术还在不断地发展。传统的云存储,虽然解决硬件的成本,然而随着数据量的增大,数据中心租金等问题,存储成本依然会逐渐增加。区块链的云存储技术可以逐渐完成自动处理机构和非机构数据类型,无需预先搭建数据中心,根据用户情况实时通过网络自动配置,更易用的API等。

· 数据在巨大吞吐量的环境下容易发生丢失的情况

目前已经存在区块链协议可以做到使用全新的共识模型在几秒内完成极为庞大的信息之间的互相传送与交换,并且利用可伸缩的数据模型来降低运行负荷。同时区块链上的数据在由于区块链自身的特点,一个节点数据的丢失并不会影响整个数据的完整性,因为还有其他节点可用来恢复。

大数据分析的一般步骤为数据收集,存储数据,数据处理,信息检索,准确性评估。由上面的比对可以清晰地看出,区块链为用户解决了大数据分析中的数据质量、数据存储和管理的问题。

接下来我们介绍一下另外两个重要步骤的基本流程。

1. 数据挖掘

数据挖掘是一个知识发现的过程(KDD)。首先根据需求进行数据准备,再通过数据库样本选取,对这些样本数据进行完整性和一致性的检查,消除无关的冗余数据和噪声,利用统计等方法填补丢失数据,之后利用数据库投影或其他操作减少数据量,最后选择合适KDD算法选取参数并且建立模型,以达到后续自动按照模型中的规则进行数据的挑选和积累。

2. 预测性分析

预测性分析指运用各种统计技术、建模、数据挖据工具分析当前及历史数据,从而对未来做出预测性判断。预测性分析一般可分为两大类:

(1)根据历史经验或者通过详细准确的数学推导确定一个适合的模型,直接对全部的数据进行分析和预测;

(2)从全部的数据中随机抽取一些样本,用机器学习的模型对这个样本进行training和testing,期间不断调整模型的参数以期望达到一个最佳的结果,最终根据test error确定一个最适用的预测模型。

本文系未央网专栏作者雷盈发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!

GELP

用微信扫描可以分享至好友和朋友圈

发表评论

发表评论

评论

您的个人信息不会被公开,请放心填写! 标记为的是必填项

请输入下面问题的答案:

取消

雷盈未央青年

13
总文章数

雷盈(公众号:RadarWinChina)是上海区块链标杆企业,为区块链

Fintech时代 金融科技与传统银行格局如何?

宁小军 | 银行家 3小时前

全能银行已过时 P2P是数字化经济的主导者

壹宝贷罗浩杰 1天前

火币:七大欧洲银行有望于今年年启用区块链数字贸易链

火币区块链研究中心 1天前

火币:瑞士银行和德国能源公司合作推出车用区块链钱包

火币区块链研究中心 01-19

大数据揭示的七个消费金融真相

胡敏 | 钛媒体 01-19