1.1 大数据时代的兴起

在互联网完全进入人们的生活之前，信息处理的主流工具是传统的计算机软件和硬件，信息处理的数据往往存储在个人计算机、自建的数据库等一个个孤立的区域中，整体存储的数据量级也十分有限。随着网络基础设施的完善，互联网将一个个孤岛连接起来，形成了一整片信息的海洋。随着智能手机的出现以及4G、5G的进一步发展，互联网从PC端扩展到了移动端，覆盖了生活的方方面面。

新用户的不断接入会产生新的数据，也会与已有的数据产生联系，这使得互联网中的信息量急剧增加。根据国际权威机构Statista统计，近十年间，互联网全年生成的数据量增加了40多倍。2010年，互联网全年产生的数据量仅1.2 ZB（1 ZB=十万亿亿字节），而到了2020年，这一数据量达到50.5 ZB，相当于人类迄今为止生产的所有印刷材料的数据量的25万倍，并仍然以23%的增速高速增长。据国际数据公司（International Data Corporation，IDC）预测，随着互联网渗透率的进一步提高以及物联网的持续发展，到2025年，全球数据量将达到163 ZB。

在大数据时代中，用户使用即时通信、电商支付、视频娱乐等服务，其信息处理的载体也从单机软件变为了用户量上亿的互联网应用。这些应用涵盖了大部分网络流量入口、信息沟通渠道以及用户个人行为，构成了当前互联网生态的中心。这些应用在为用户带来便利的同时，也为某些非法产业的生存和发展提供了有利条件。