区块链大数据概览

背景

近年来，大数据技术在科技和工业中的应用引起了业界的广泛关注。大数据在推动社会进步的同时，也带来了很多问题和挑战，尤其是大数据治理和隐私保护问题。区块链技术具有去中心化、不可篡改、透明等特点，在提升大数据安全服务方面潜力巨大。在本文中，我们首先为读者​​介绍区块链大数据技术的概念和特点以及将两者结合的动机，然后介绍区块链大数据在行业中的应用，最后分析一些具有代表性的项目。

区块链大数据概览区块链

随着以比特币为代表的新型数字货币的快速发展，作为比特币底层支撑的区块链技术引起了人们的关注。区块链的概念最早是在比特币白皮书[2]中提出的。区块链本质上是一个共享数据库。与传统的中心化数据库相比，区块链采用分布式数据存储、P2P传输、共识机制、加密算法和智能合约等传统技术，使得区块链具有中心化、不可篡改、可追溯、多——党的维护、公开和透明[3]。基于这些特点，区块链奠定了坚实的“信任”基础，打造了可靠的“合作”机制，具有广阔的应用前景。

大数据

大数据技术起源于2000年前后互联网高速发展时期，随着时代背景下数据特征的不断演进和数据价值释放需求的不断增加，大数据逐渐演变为多元数据特征面向大数据，以数据采集、存储、处理和计算为核心，支撑数据治理，数据分析、数据安全等辅助数据价值释放的周边技术组合形成的一整套技术生态。如今，大数据技术已经发展成为一个庞大的技术体系。图1为大数据技术体系图及相关代表性大数据开源软件。

图1大数据技术体系及主要开源框架

在大数据时代，客户更倾向于在线交易，每天海量的交易信息，以及积累的数据呈指数级增长区块链存储数据太大，为行业了解客户需求、购买模式和客户创造了新的机遇。趋势。大数据具有数据量大、时效性高、数据源异构多样、价值高的特点。通过大数据技术分析各类数据信息，将产生巨大的价值，指导国家和企业的决策。大数据技术在为人类生活带来便利的同时，也带来了诸多问题和挑战，如数据隐私和安全问题、脏数据处理、数据源可靠性验证、数据共享等。

区块链与大数据结合的动因

大数据技术在解决许多当前问题方面具有巨大潜力。目前，政府和国有民营企业都在大力投资建设行业大数据中心，以提高对外服务质量。区块链技术有许多独特的属性可以用来解决上述大数据所面临的挑战。

区块链与大数据技术结合的动因详细描述如下：

保障数据安全：区块链不可篡改，信任任何公开透明，让更多数据安全流动。一个典型的案例是区块链如何推动大数据基因测序。区块链大数据测序使用私钥来限制访问权限，减少使用法律限制个人访问基因数据的局限性，利用分布式计算资源高效完成测序任务。 ，区块链的安全性解决了基因测序的产业化问题，促进了数据的安全流动。

确保数据隐私的安全：政府拥有大量高密度、高价值的数据，如人口数据、金融数据、医疗数据等，正确使用政府数据将产生不可估量的影响整个经济社会的发展。驱动力，开放数据是大势所趋。然而，数据开放的主要问题是如何保护个人隐私。基于区块链的数据脱敏技术可以保证数据隐私，为隐私保护下的数据开放提供解决方案。数据脱敏技术主要采用哈希处理等加密算法。例如，基于区块链技术的 Enigma 系统可以在不访问原始数据的情况下进行操作，可以保护数据的隐私，消除数据共享中的隐私。安全。

保证数据存储的安全性：区块链网络中的所有节点都参与计算，相互验证信息的真实性，达成全网共识。区块链的数据是不可变的，记录着历史。修改区块链网络中的数据，至少需要修改 50% 的节点数据。区块链的不变性确保了存储在区块链网络中的数据是可靠的。区块链存储数据太大，使数据库的发展进入了一个新的时代。

保证数据完整性：数据访问者可能会篡改大数据中的记录，从而影响大数据分析和预测的结果。区块链技术采用多重签名私钥、加密技术和安全多方计算技术来保障数据的完整性。数据首先经过哈希计算，放在区块链上，然后使用数字签名技术。一方面，数据只对授权用户开放，用户通过签名验证数据的完整性。

区块链大数据应用

如图2所示，通过考察区块链技术在大数据环境中的应用，包括大数据的采集、存储、分析和隐私保护等，区块链通过共识算法保证数据的完整性。接下来重点介绍区块链大数据服务中的两个子领域应用，区块链大数据采集架构：移动众感（MCS）区块链，区块链大数据传输/共享架构：边缘网络区块链。

图2区块链在大数据环境中的应用概述

MCS 区块链

数据收集是数据处理生命周期中一项非常重要的任务。目前，数据源和通信链路面临各种恶意攻击和威胁。因此，安全的数据采集方法对于各类数据都至关重要，全球已经完成了多项关于数据采集安全的研究。例如，基于区块链的安全大数据收集方案应用于移动众测（MCS）项目。随着移动终端（MT）、传感器等便携式智能移动终端设备的快速增长，MCS已经有效地应用于工业物联网。 MCS 服务器发布一些与传感器相关的数据集，并选择特定区域的 MT。完成特定任务。该任务的主要挑战是从 MT 中的传感设备传输数据的范围以及 MT 之间的数据安全共享。 [4] 提出了一个基于区块链和强化学习 (DRL) 的框架来克服这些挑战。每个 MT 的分布式基于区块链的 DRL 方法为传感设备提供了多点传输能力和最大传输范围。以太坊区块链平台用于保证数据的可靠性和安全性，MT共享数据。以太坊维护一个安全的账本，并在没有受信任的第三方的情况下与协作的 MT 共享数据。该框架还集成了防止多重攻击和处理常见设备故障的功能。

边缘网络区块链

区块链具有去中心化和不变性的特点，可以提供大数据的安全传输，支持可靠的数据共享。传输安全的关键在于如何解决传统传输协议的不足，如何防止数据被盗和数据丢失。目前，国内外已有一些研究致力于利用区块链支持大数据的传输和共享。随着边缘网络中数据量的不断增加，边缘网络中敏感数据的安全共享成为一项具有挑战性的任务。徐[5]等。通过共识算法提高边缘网络认证计算的效率。另外，为了减少响应时间和存储开销，作者引入了一种基于区块链的无效交易过滤算法，让访问者可以通过缓存层访问数据。最后，作者提出了fast transaction和hollow fast来提高模型的网络传输效率。应用层如图3所示。将采集到的数据报表、数据库、社交媒体或辅助小工具数据以签名和哈希值加入区块链，并采用共识算法和无效交易过滤算法进行处理。 ，然后与数据分析服务共享区块数据。实时分析模块进行数据可视化和模式预测，相互配合，保证计算结果的真实可靠。

图3 区块链大数据安全传输/共享架构

总结

区块链被称为一种颠覆性技术，一种数字分布式账本，本质上是一个共享数据库，它具有许多优点，可以公开透明地按顺序记录比特币等加密货币的交易。大数据是互联网时代的产物，区块链与大数据技术的结合成为热门话题。本文主要介绍区块链和大数据的概念和优势。本文研究了区块链与大数据的贡献以及二者结合的动因，探讨了区块链与大数据在行业中的一些应用现状，并对本文进行了总结。

参考文献

[1] Deepa, N., Pham, Q. V., Nguyen, D. C., Bhattacharya, S., Prabadevi, B., Gadekallu, T. R., ... & Pathirana, P. N.(2022). 调查关于大数据的区块链：方法、机会和未来方向。下一代计算机系统。

[2] Nakamoto, S.（2008)。比特币：点对点电子现金系统。去中心化商业评论，21260.

[3] 申鑫、裴庆琪、刘雪峰。 (2016). 区块链技术概述. 网络与信息安全学报, 2(11), 11-20.

[4] Liu, C. H., Lin, Q., & Wen, S.(2018)。通过深度强化学习实现工业物联网的区块链数据收集和共享。IEEE Transactions on Industrial Informatics,15 (6), 3516-3526.

[5] Xu, C., Wang, K., Li, P., Guo, S., Luo, J., Ye, B., & Guo, M. (2018).边缘开放的大数据：基于区块链的资源节约型方法. IEEE Transactions on Parallel and Distributed Systems, 30(4), 870-882.