大数据白皮书2020年|免费下载.pdf

大数据白皮书（2020年）中国信息通信研究院 2020年12月前言即将过去的 2020 年是历史发展进程中极不平凡的一年。世界正经历百年未有之大变局，特别是突如其来的新冠肺炎疫情为各行各业带来了前所未有的挑战。然而，危机之中，数字化技术驱动的技术和产业变革仍加速发展，大数据技术、产业和应用逆势而上，数据的作用在助力疫情防控和复工复产中大放异彩，“数据驱动”的价值更加深。年4 ，中中、发更加的化机的，将“数据” 、动力、、技术，作为新的产，“加currency1“数据 ”。 5 18 ，中在新加currency1 fifl 经的中进一加currency1“发展数据。数据化上为战，将未来经fifl发展产深”。是大数据2014年大数据2016 年大数据2018年大数据2019年之中大数据发。在前的上，了去年来大数据各的新进展，了中数据战的新动，了大数据技术的新势，了大数据产业、应用数据的，“ ” 大数据的发展势进行了展。目录一、各国的数据战略.................................................................................................... 1 （一）数据要素市场化配置上升为国家战略 .................................................. 2 （二）各国加快布局探索数据未来发展之路 .................................................. 4 二、大数据技术发展.................................................................................................... 7 （一）大数据技术全景解析 .............................................................................. 7 （二）大数据技术发展趋势 ............................................................................ 10 （三）大数据科研创新进展 ............................................................................ 16 三、大数据产业发展.................................................................................................. 19 （一）大数据产业生态界定探讨 .................................................................... 19 （二）大数据产业商业模式解读 .................................................................... 22 （三）大数据产业主体发展洞察 .................................................................... 23 （四）大数据企业融资趋势分析 .................................................................... 26 四、大数据行业应用.................................................................................................. 28 （一）大数据全面助力打赢疫情防控阻击战 ................................................ 28 （二）需求推动通信大数据价值进一步发挥 ................................................ 31 （三）政为业大数据发展 ................................................ 34 （四）大数据助推商业模式创新展 ................................................ 35 （）融大数据应用为行业力 ................................................ 37 、数据 .............................................................................................................. 39 （一）的数据力步升 .................................................. 39 （二）的数据通加推进 .................................................. 44 （三）数据全为的currency1 .................................................. 51 、大数据“.......................................................................................................... 55 （一）化fifl fi信 “加快 ............................................ 55 （二）”数据动 “加 ............................................ 57 （三） fl 数据fl “探索 ............................................ 60 、展 .......................................................................................................... 62 ...................................................................................................................... 64 图目录 1 全产生数据 ............................................................................. 1 2 国数据战略的布局 ................................................................................. 2 3 大数据技术体主要 ..................................................................... 8 4 数据化态势........................................................................... 14 5 大数据发数各国 ........................................................... 17 6 大数据数各国 ........................................................... 18 7 大数据企业数 ............................................................................... 24 8 大数据企业模分布....................................................................................... 24 9 大数据企业分布....................................................................................... 25 10 大数据行业应用企业分布..................................................................... 26 11 大数据企业分布 ..................................................................................... 27 12 大数据分布..................................................................................... 28 13 通信大数据行化情 ............................................................. 31 14 国大数据市场 ..................................................................... 48 表目录 1 同大数据产业分方式的对应 ....................................................... 21 2 数据资产力划分................................................................................... 40 3 各省（区、市）政务数据放相政 ............................................... 45 4 新大数据所（中）的基本情 ....................................................... 50 5 fi信相的主要范....................................................................... 55 6 国数据动的相政 “ 标准情 ........................................... 58 大数据白皮书（2020年） 1 一、各国的数据战略前，数据仍在速的。据机 Statista 的和，2020 年数据产 47ZB 1 ，而 2035年，一数字将 2142ZB，数据即将来更大模的爆发。数据来源 Statista，2020年11月 1 全产生数据随着数字经在加速推进 5G、工智能、物联网相技术的currency1速发展，数据已成为” 竞争的键战性源。只有获取和掌握更多的数据源，才能在新一轮的话语竞争中占据导位。2020年来，各数据战局伐加currency1，章将数据战的局历程，欧各的数据战发展进行简叙。 1 ZB为字节计量单位，1ZB10 12 GB。大数据白皮书（2020年） 2 （一）数据要素市场化配置上升为国家战略自 2014 年来，大数据战的谋篇局大致经历了个不同，正逐从数据大数据强迈进。来源中国信息通信研究院 2 国数据战略的布局 2014至2017年，大数据战经历了初的、起开始落实施。2014年3 ，“大数据”一词首写政府工作报告，大数据开始成为内fifl各界的。2015 年 8 印发的促进大数据发展行动纲发201550号大数据整发展进行了顶层设和筹局，产业发展开始起。2016年3 ，三划纲正式“实施大数据战”，内大数据产业开始面、 currency1速发展。随着内大数据相产业系渐，各类行业融合应用逐深，大数据战走深化。2017年10 ，党的九大报告中推动大数据实经深度融合，为大数据产业的未来发展指明方。12 ，中政局实施大数据战进行了集学习。2019年3 ，政府工作报告六 “大数据”，且有多项大数据白皮书（2020年） 3 大数据相。进 2020年，数据正式成为产，战性位进一。 4 9，中中、发更加的化机的，将“数据” 、动力、、技术为，“加currency1“数据 ”。 5 18，中在新加currency1 fifl 经的中进一加currency1 “发展数据。着数据要素市场化配置上升为国家战略，将进一步完善我国现代化治理体系，有望对未来经济社会发展产生深远影响。在政中将数据为“产 ”，在历史和实的深之上。类fifl发展的不同， fl有相应的键性产。键的产放了强动能，了产技术变革，从而动了currency1速发展变。进数字fifl，数据成为了一键性产。史，随着类fifl 数据驱动的数字经，数据进一了产。在数字fifl，数据有性战源和键性产的。一方面，有价值的数据源是产力的成，是和推动多数字经新产业、新业、新模式发展的。一方面，数据别产的突特是其源的数作用，放大动力、在fifl各行业价值中产的价值。用数据产，currency1放和发展数字化产力，有助推动数字经实经深度融合，实 “ 发展。从前来，作为键产，大数据源fi有fl 大数据白皮书（2020年） 4 有的用。据 IDC 和技的 2 ，随着各行各业业的数字化速，未来”年，业数据将42.2的速度速，同，，业中的数据只有56能获，而其中，有57的数据fl 了用，43的集数据fi有。是，有 32的业数据价值能。随着数据 “和设的伐加currency1，数据的有用、数据价值的放将成为多方力同力的方。（二）各国加快布局探索数据未来发展之路为了应技术在数据方面的发展和挑战，2019 年来，、欧和相数据战，未来的数据发展之。美国联邦数据战略焦点从“技术”转移到“资源”。自2012年来，极力推动大数据前技术的发展和学工程的发明，致力有力的数据新。在前数据成为工的之，政府数据的程度进一。 2019年12 23，行政和 OMB发联数据战 2020年行动划简 “ 联数据战 ” ，政府数据为，了联政府未来年的数据和 2020年所推行的键行动。联数据战的是“将数据作为战源开发”。联数据战了40项数据的实，为三个层面。一，数据促进，如过数据指导、促进各机数据，数据源，如数据的实性、整性和 2 数据来源希捷数据新视界调研，IDC，2020年。大数据白皮书（2020年） 5 性三，有用数据源，如强数据能力、促进数据式多化。欧盟数据战略致力于发展数据敏捷型经济体。数据已成为经fi fl发展的，是新产和的。为应未来发展，欧致力平数据动和用，过一的数据，欧在未来的数据经中占据位。2020年2 19，欧委员fl 了欧数据战，数字经发展为，概了欧委fl在数据方面的政措施未来年的投划，助力数字经发展。欧数据战欧数据发展了明的 2030年欧将成为世界上吸引力、、力的数据敏经。即，在度的隐私、和道德准的前，发掘数据用的价值福经fifl，每个能从数字红中受益。为推进欧数据一化和欧的竞争力，欧数据战了大支柱性战措施一是跨门框架是加强数据投三是数据养是数据空。英国期待数据战略助力经济复苏。2020年9 9，数字、文化、媒和 “ DCMS 发数据战，支数据的用，设项“优 ”，帮助该经从疫情中复苏。项包括1 放数据的价值2 促进和的数据 3 变政府数据的用，改 4 数据所依赖的架的性和韧性5 倡导数据动。除项优外，数据战包括多项划，大数据白皮书（2020年） 6 如 2021年，500名师进行门数据学方面的训，设政府首席数据官，改变政府前的数据用方式，从而改过法智慧数据划的参度新一个 260万镑的项，在支新发展的同致力 currency1前数据中存在的障碍。除各个的数据战外，强数据在化发展中的性。2020年4 ，世界银行呼吁各政府、相业学术界同合作，过大数据技术手应新冠肺炎疫情所带来的危机。在2020年7 召开的G20数字经 fl议中，数据动成为各们讨论的议题之一。在新一轮的经贸则中，跨境数据成为边/多边贸易合作的议题。一方面， “ 同念”的数据同系加速，成了欧 GDPR 和 APEC 跨境隐私则系CBPR ”大性的数据隐私监框架，多者为蓝，的数据跨境数据则进行修订一方面，”大框架在、之诸多灵性的currency1方案。2019年，韩别启动欧之的推动跨境数据动的边协，欧成性互认协议。2020年3 ，澳大亚专员 OAIC 新加坡个数据委员flPDPC 签订跨境数据动的谅 currency1备忘录，加强数据方面的合作，促进” 之的经一化 2020 年 6 ，宣欧的未来技贸易战，和亚的数据自动，成其作为欧成员更进一的数据协议。大数据白皮书（2020年） 7 二、大数据技术发展年来，大数据技术的内随着大数据的发展产了一的进和展，从的面数据的存、、的技术展相的、、其的边技术，逐渐成了一整大数据技术系，成为数据能力设的设施。随着技术系的，大数据技术开始着成、强的方发展。章将前大数据技术的未来发展势进行。（一）大数据技术全景解析大数据技术起源 2000 年前互联网的速发展。随着数据特的不变数据价值放的不加，大数据技术已逐进大数据的多数据特，数据存、的技术，同的数据、数据应用、数据助力数据价值放的边技术合起来成的整技术。如今，大数据技术已经发展成为覆盖面庞大的技术体系。 3展了大数据技术系相性的开源。大数据白皮书（2020年） 8 来源中国信息通信研究院 3 大数据技术体主要大数据基础技术为应对大数据时代的多种数据特征而产生。大数据，数据大、数据源异多、数据实性特了成异数据存的技术。在的，面速而大的数据，集中式架 currency1的“，系数据机的存性能有，了模行化 Massively Parallel Processing，MPP 的式架面网fi内fl 化数据，了 Apache Hadoop和Spark 系的式框架面性数据进行实的，了Apache Storm、Flink和Spark Streaming 式框架。大数据白皮书（2020年） 9 数据管理技术助力升数据。技术是随着的变化而不发展。在为和的数据存、已在一程度上fl ，如”将数据化为价值成为了一个。初，业内的大数据有的，存在着数据“ 、获取、整合不易、准题， fl数据的用存在多障碍。在情，用数据整合的数据集成技术，用实一系数据产能的数据技术随之。数据应技术发数据资源的。在有的存能力“ 用数据的情，如”将数据中的价值掘同相的业合实数据的值成为了键。用发掘数据价值的数据应用技术，包括BIBusiness Intelligence 工为的简化展技术，机学习、深度经网的深度学习为的掘模技术，帮助用发掘数据价值进一将和模应用实业中。数据技术助力的数据。在数据价值的放初的同，数据题加，数据、数据、数据用层不，、业和个用成了 ”，如”应大数据的数据，在合的前用数据成为了备受的题。控、别、数据加、数据敏数据技术正极更加应大数据的方不发展，同，实数据的隐私技术成为了发展方。大数据白皮书（2020年） 10 （二）大数据技术发展趋势 2020年来，大数据技术境发了一变化，一新的技术势应而，势。 1. 基础技术控制成本按需索取成为主要理念大数据技术自来始着 Hadoop 者 MPP 的式框架，用展的特性过源的平展来应更大的数据和更的，成了备存能力的整平。，为了应网速度不、数据在各的题，大数据式框架设用存合，数据在自存的上成，互。同，论是私有化是化，大数据平始备数据存整能力的。的成成。实业中数据存能力的是不变化且各自的， fl”类源的不且者源“的法同。在存合的情，”者其一 “，源的展然导致存是能力的，进行大的数据才能展的源fl有用，成了免的额外成。同，整产式的大数据平在应弹性展、功能迭、成控特性，论是开发迭新是集成搭其工，fl引发迟、性能、额外新成其题。有currency1“成。存离是将存和 ”个数据大数据白皮书（2020年） 11 中的键剥离开，成”个的源集合。”个源集合之互不干涉又力协作。每个集合内源的模聚集应， fl 位源的成尽减少，同兼的弹性展。”类源之一紧富裕，只该类源进行获取收，用备特源的专用进行弹性展收缩，即在源差异化的中实源的合。 fi的fl理力化。在存离念的上，Serverless、原概念的进一助力各项能力的化。过存离的深 fl化技术的应用， Serverless 概念的落实从简的函数着更丰富的能力发展，过实的式将特的数据、用、复杂能力成，按用。，数据的能力摆了整平和工的，大大开发、省开发成，同应用方维，实行按付费，消除了复杂的维过程和相应的成。国多”深进力化的。前，阿里和华为一厂商，了各自化大数据平、式数据产的存离currency1方案。其中，阿里用自 EMROSS 产替原 Hadoop 存架，整费用成估 50华为则用了自 FusionInsightEC产，存用从33 至91.6。在能力化方面，外为名的是Snowflake 司的数据仓化Data warehouse as a Service，DaaS ，将能力的式在AWS、Azure 平上按费的，成为原数据仓的，年超过700亿元的大数据白皮书（2020年） 12 值 IPO，成为业大 IPO 案例。在内则有阿里的 AnalyticDB、DLA为的一系产类似想的化的数据能力。 2. 数据管理自动化智能化数据管理需求紧迫数据相的概念和方法论年备受注，在大数据浪潮来多的政府、业开始注如” 好、用好数据，从而数据能藉应用和化为额外价值。数据管理来的力成。数据技术包括数据集成、元数据、数据模、数据准、数据“ 和数据产，过汇聚盘数据和数据“ ，强数据的用性和易用性，进一放数据产的价值。前上技术多集成数据平，作为开展数据的一工。是数据平仍自动化、智能化程度的题，实用中工进行数据模、数据准应用、数据剖操作。化化的数据管理助力数据管理currency1进。在机学习的工智能不进的情，将有技术应用数据平的各项能，减少力成成为数据平发者注的。其中数据模、数据签、数据发、数据准应用成为个的应用方。数据面，机学习技术过别数据特，推荐数据题类，进一实自动化概念数据模，同，系的别将大大逆数据模的力成，便数据模更新。数据应面，业含、数据特、数据系维度的相似度判别，在数据模匹数大数据白皮书（2020年） 13 据准，不了数据准的应用覆面，减少了数据准系的维成。数据面，工智能过题数据和学习数据 “ 知，取数据“ 评估维度和数据“ 稽则，别联数据准，实自动化的数据“ 前、中、。在数据产概念火，各项工作备受的，上的数据平产在不进力争上游。华为、浪潮、阿里、数梦工、数澜技、Datablau 数据平应商在各自的产中不更新自动化智能化的数据功能。其中华为着智能化的数据，浪潮注自动化的签、数据别，阿里实了的签别数据去，中系则聚焦助力数据准有落。 3. 分析应用图分析需求旺盛引导数据分析新方向随着深度学习的速发展，的数据集合为象的技术不成熟。相的，存在联系的数据进行联的加旺盛。联早始上世纪九年， “购物篮 ” 题，即过从客易中发掘其购物行为模式引申而来。早机学习中有Apriori、FP-growth 经典频繁模式掘法实联则的掘。数据应对数据联系的。 fi 网、用行为、网fi接系为的数据，过“ ”的原始、直的方式展其联性。在的式，自然而然存在着连性、中度、fi 系一系内的联系，类依赖进行掘的过类、聚类、归和频繁模式掘数据方法进行实，能大数据白皮书（2020年） 14 进行存、、掘的技术合力成。于数据的技术成为数据技术的。是专门数据进行联系掘的一类技术，在技术应用中占据的不上。相的多项技术均成为的产化方，其中模数据进行存和查询的数据、模数据应用法的引擎、模数据进行抽象究展实系的知三项技术为。过合用数据、引擎和知，用者中实存在的未知系进行和发掘，获取其中含的依赖的联系。据 DB-Engines 名，数据注度在 2013-2020 年了 10 ，注度名一。数据、引擎、知三项技术方正在内加速产业化。内阿里、华为、、百度大厂商初业均已局一技术。其中，知已经开始深应用、融、工业、能源、法诸多行业，落内应用。数据来源DB-Engines，2020年11月 4 数据化态势大数据白皮书（2020年） 15 4. 安全流通隐私计算技术稳步发展热度持续上升除了数据进行掘外，数据的是一个实数据价值放的方。论是直接外数据查询是外数据进行融合应用，是实数据价值变的方式。在数据频发的，如”在不同进行控的数据始有的技术障。同，随着相法的逐，数据的外面更加的，合题进一多个的数据产。基于的数据技术成为现数据联的要。在数据合旺盛的境，隐私技术发展火。作为在数据不外的前实数据融合的一类技术，隐私为实合的数据带来了能。前，隐私技术为多方和 ”大。其中，多方学论，实在三方情进行多方协同技术则依据的赖，一个，数据在该内进行。在认学应商的机的情，”类隐私技术均能在数据不外的前实多数据的联合。外，有联学习、学习过多技术手平了性和性能的隐私技术，为跨业机学习和数据掘了新的currency1 。 currency1的题合数据的题，年来隐私技术发展，各类参者逐渐。一方面，互联网、司多大数据司局隐私，类业自有强的数据业合，有丰富的数据源、数据业、大数据白皮书（2020年） 16 数据易和过的发能力。一方面，一专注隐私技术发应用的初业相，外法、力和技术平，相论技术为实专业。整个隐私技术开始百放的currency1速发展势。（三）大数据科研创新进展自 2012 年大数据进实应用来，产业界和学术界在大数据技术应用方面的究新不取fl突，大数据的论文发数和专申数 currency1速。发面，据Web of Science 数据收录的SCI论文数据，2012 年至，发“big data”为键词的大数据相论文64739篇。其中，2012-2018年大数据相论文发，在2018年，2018年年发相论文11453 篇，是2012年论文数的5.4 ，年的年均为32.5。 2019年论文数前一年有所减少，仍然超过一万篇，2020年1- 6 ，论文发数则为3915篇。随着学究的不进展，大数据相的论系将逐渐成熟，未来学术论文成发的速度将放。从发论文的和来，中和欧仍是大数据相学术究的带。中和是大数据相论文发多的，别发论文 18216 篇和 16241 篇，占论文的 28.14和 25.09，其。、印度和德的论文发数占别为6.03、5.92和5.66，大、澳大亚、其的论文数占均 5。大数据白皮书（2020年） 17 数据来源 Web of Science，2020年10月 5 大数据发数各国面，据 WIPO世界知产的 PATENTSCOPE 数据的数据，2012年至，申大数据的相专136694项。2012-2019年，大数据技术currency1速发展，各和内外大数据业知产更加，专申数始，从 2012 年的 9135 项至 2019 年的 25854 项，年均速为16.0。2020年1-6 ，大数据相专申数则为10789项。从受专申的和来，大数据相专的申为集中，93上的专均在、中、PCT 专合作系和欧专局。受的专数位首位，占 1/2，为49.19，IBM、、Oracle、EMC 业的技术优势仍然中为大专受，占为19.25，一方面，大数据发展势好，在上有的位，一方面在技术新突上，仍有大差。外，PCT 和欧专局受的专数占别为 16.39和 8.31其的占均在5currency1至1 。 3915 2119 3447 5282 7783 9670 10673 11453 10397 0 2000 4000 6000 8000 10000 12000 14000 2012 年 2013 年 2014 年 2015 年 2016 年 2017 年 2018 年 2019 年 2020 年（ 1 - 6 月） 2012-2020年全球大数据论文发表数量各国论文发表数量占比中国美国英国印度德国意大利澳大利亚西班牙其他大数据白皮书（2020年） 18 数据来源 PATENTSCOPE数据库，2020年10月 6 大数据数各国从来，在大数据的学究中，式技术的数据联数据掘的论文和专数明多其，数据掘依“是大数据新的方。 9135 9778 11563 12783 15102 18746 22944 25854 10789 0 5000 10000 15000 20000 25000 30000 2012 年 2013 年 2014 年 2015 年 2016 年 2017 年 2018 年 2019 年 2020 年（ 1 - 6 月） 2012-2020年全球大数据专利申请数量各国和地区专利申请数量占比美国中国 PCT 欧洲专利局澳大利亚加拿大韩国英国其他大数据白皮书（2020年） 19 三、大数据产业发展 “ 三”来，大数据发展，融合应用不深化，数字经 “，经fifl的新驱动、融合带动作用强。工业和化行监协局发的数据，2019 年、大数据技术为的平类技术收 2.2万亿元，其中，典和大数据收 3284亿元，的业2977 3 ，大数据产业发展益大。章将合新势大数据产业的和内进行了界，从产业、业投融势方面大数据产业发展的势进行简。（一）大数据产业生态界定探讨随着大数据技术不进和应用深化，数据为的大数据产业正在加速。尽自实施大数据战来，的大数据产业发展已取fl明的成fi，产业相的题，包含产业内、外特 fl未成。大数据产业和系，大数据产业联，推动大数据产业发展起着的作用。在里，将大数据产业的各类界方式进行简叙。 currency1 的差异，大数据产业内的界前仍有争议。一类从产业经学发，认为大数据产业是大数据为发和落，过自产从外获取的数据进行掘、应用价值的经动集合。有一类认为大数据只是技术产 3 工信部运行局2019年软件和信息技术服务业统计年报，2020年10月大数据白皮书（2020年） 20 业中的一，为大数据的“是在互联网、、机上实的数据，其的数据集、、加工、、应用一系动仍包含技术产业的之内。从大数据的价值发，合上各类究机和学者的，们认为大数据产数据数据的为生产要素，数据技术数据产数据，数据经济到释放的赋型产。的大数据产业一为业、联业、业三大业。业是包括从大数据集、数据易、数据相平设数据的大数据键技术业联业是、业为，包括智能、集成、和外包大数据产业所的业业是包括工业、业、融各行业的大数据融合应用。大数据产业的一类是划为支、数据和融合应用三层业。支层包含网、存