什么叫大数据,大数据的特点是?（安徽大学大数据与统计学院）
从统计学诞生的300多年的历程看，统计学发展的历史就是统计思维和统计方法不断创新的历史，这种创新是围绕着关于数据的两大核心问题展开的：如何收集数据和如何分析数据。本文通过回顾重要阶段性的几个片断，思考统计创新是如何发生的，重点谈大数据与统计的关系，以及会带来的新变化。
统计无时不在，从结绳记事到今天的，统计作为人们认识客观世界的工具，也在不断创新，统计学作为一门系统研究数据的学科，在不断丰富与完善。来临，统计如何应对新的挑战与机遇?我们回顾历史，不忘初心，以开放的态度、创新的精神和不懈的努力，继续前进，让统计在的舞台上，发挥更大的作用。
普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。普查作为最古老的数据收集方法，已经有数千年的历史，据记载，2200多年前的西汉时期，中国开展了第一次人口普查。17世纪中叶，统计学诞生，并在18、19世纪不断发展，特别是与研究不确定性的概率论的结合，产生了现代意义上的统计学：数理统计学。1895年提出抽样调查方法并在后来30多年完善后，作为一种更及时、更经济的数据收集方法，被广泛应用于经济、社会、科学等各个领域。可以说，20世纪期间，传统的普查与新产生的抽样调查，作为两大数据收集方法体系，共同应用于对社会经济发展的测量，发挥了重要作用。
21世纪大数据的出现，各种来源、各种形式的电子化数据的大爆发，静态的、定时的传统数据收集方法，面临新的、动态的、组合的大数据的挑战和机遇，统计思维和数据收集方法也将不断创新。从统计学诞生的300多年的历程看，统计学发展的历史就是统计思维和统计方法不断创新的历史，这种创新是围绕着关于数据的两大核心问题展开的：如何收集数据和如何分析数据。本文通过回顾重要阶段性的几个片断，思考统计创新是如何发生的，重点谈大数据与统计的关系，以及会带来的新变化。
计数：统计的萌芽
在世界著名的科普著作《从一到无穷大》一书开头，讲述了一个发生在原始部落里的故事：两个匈牙利贵族决定做一次关于数的游戏——谁说出了最大的数谁就赢，第一个贵族说出了他能想到的最大的数“3”，第二个贵族苦思冥想后，表示认输了，他想象不出比3更大的数。这个故事的真假无从考证，但可以说明在人们公认的以“结绳记事”为计数开始之前，数的大小概念已经产生。但由于还不能“计数”，甚至还不能将数的概念与10个指头相对应(这在今天相当于2岁孩子的水平)，否则，第二个贵族会毫不犹豫地伸出双手说出10。
计数是从结绳记事开始的，当然也可以用其他如石头、木棍、贝壳等，或者在地上、壁上划痕线等方式。这些是在文字发明之前，人们使用的记事和计数的方法。人类最早的统计实际上是一种计数活动，这在《易系辞下》中有所记载，古代印加人也存有记载;从上古时代，就已经开始使用结绳的方法，“事大，大结其绳，事小，小结其绳，之多少，随物众寡”，也即根据事件的性质、规模或其数量的不同系不同的绳结，这种方法古老原始，却有效，对于古代人来说，这些大大小小的绳结、多多少少的划痕是他们回忆过去的唯一线索。随着生产活动、战争等的规模越来越大，结绳记事已经不能记事了，要么没有那么多绳，要么是对那些绳结的意义的解释(也就是今天的元数据的概念)需要更多的想象和更复杂的绳结，原始部落的首领们可以看到养了多少牛羊，甚至可以平均分配给每一个人，却无法记录下来。
有了文字后，计数才真正成为一种工具，反映客观经济活动及其数量关系。实际上，计数作为一种工具被人们接受后，原始的“普查”就诞生了，有多少人口，有多少土地，有多少俘虏，通过计数与汇总就可以心中有数。据考古发现，公元前3000年前，两汉流域就已经有了这样的数据和汇总计算的符号。当然，这与其说是“普查”，更应该说是“计数”，但其产生的意义是非常重大的，就像恩格斯说的，“为了计数，不仅要有可以计数的对象，还要有一种在考察对象时，撇开对象的其他一切特性而仅仅考虑到数字的能力”，这也就是抽象的数字的概念，实物的多少与数的对应关系的确立，并建立了运算规则，为统计学的诞生与发展奠定了基础，这也是统计的萌芽，充分表明了客观世界就是一个“数及数的关系的和谐系统”。
数的游戏：概率计算
关于数的游戏自古就有，而这些游戏主要就是赌博：不确定性带来的收益。不管是抽签、还是投掷钱币、掷骰子、斗纸牌，各种不同形式的以“不确定性”为基础的赌博，实际上都是“数”的游戏，这当然也开始引起了学者们的注意和研究。到了15世纪的欧洲，赌博游戏非常流行。最早研究赌博问题的是1477年出版的意大利诗人但丁的《神曲》一书的注释本，描述了投掷三颗骰子可能出现的各种点数问题。
从16世纪中叶开始，学者们开始研究赌博中的概率问题。意大利人加尔达偌(1501-1576)是一位数学家，也是一个精明的赌徒，他写的《机会游戏》一书，是在他去世近100年后才出版的。他计算了投掷2颗或者3颗骰子时，究竟有多少种可能性得出投掷的骰子面朝上的数字之和为某一数(比如10)，这在当时对排列组合所知甚微的情况下，是非常难得的。意大利天文学家伽利略(1564-1642)研究了同样的问题，并写了一篇论文给出了圆满的解答，算出了所有点数的可能性，如在投掷三颗骰子时，出现的数字之和为9和10，各有6种不同的组合法。这个问题在今天是一个很简单的排列组合问题，但在当时，谁掌握了这一秘密，谁就可能成为更精明的赌徒。
到了17世纪中叶，两位法国大数学家帕斯卡(1923-1662)、费马(1601-1665)开始研究丢骰子赌博中的规律性问题。他们利用通信，几经研究，解决了著名的“得点问题”(也称“分赌术”问题)，通过对这个问题的研究，早期概率的计算从简单计数进入了比较精确的计算阶段，这也被认为是概率论的起源。从此，更多的学者们开始研究概率及计算问题，从研究赌博开始的古典概率，在不确定性的科学研究上，逐步建立了一套科学完整的体系：概率论。
统计学的诞生：让数据说话
统计学诞生的大背景是在15世纪，由于欧洲地中海沿岸商品经济的发展以及思想、技术的进步，从中世纪封建社会内部产生的资本主义及发展。资本主义商品经济的产生和发展，人们对数据的认识不仅仅是赌博游戏，而是对事物规律性的认识。之前，往往是满足“计数”的需要，记录历史，回答“干了什么”，而资本主义商品经济的发展则要满足“生产”的需要了，不仅要记录历史，还要预测未来，回答“要干什么”。除此之外，还有一些原因也促进了统计学的诞生：如为了商业的冒险行为，包括商业投机和航海商业，保险业的兴起等。
统计学的诞生及发展使人们对数据规律性的认识上了一个大台阶。作为统计学的起端，几乎同时发生了两个划时代的重大事件：一是格朗特(1620-1674)1662年发表的《关于死亡公报的自然和政治观察》(简称《观察》)，二是威廉·配第(1623-1687)1667年发表的《政治算术》。这两部著作都被认为是统计学的鼻祖，他们各自研究的重点不同，后来的学者们往往站在不同的角度进行评价。
《观察》利用英国伦敦每周公布的死亡人数及相关人口资料，分析了60多年中居民死亡原因及与人口变动的关系，用了大量表格、演算，提出了人口男女性别的大数法则，编制了人口统计分析寿命表及人口推算方法等，这在今天看来，是统计工作的基础环节——统计汇总与描述性分析，但在当时，确是开创性地利用公布的有限数据，分析推断了伦敦人口的总体分布与特征。
威廉·配第的《政治算术》崇尚让数据说话，依据数据分析更广泛的社会、经济问题(不局限于人口分析)，而不只是依靠思辨或空洞的推演，正如他自己所说：“与只使用比较级和最高级的词语以及单纯作思维论证相反，我采用数字、重量和尺度等术语来阐述我的观点。”他的儿子把该书献给国王时说：“书中论述了凡是政府事务以及有关君主荣誉、百姓幸福和国家昌盛的事项，都可以用算术的一般法则证实。这种方法，就是用一种普通的科学原理解释错综复杂的世界。”可以说，《政治算术》是把培根的实证科学思想和方法，通过数据的分析，运用到了广泛的社会经济领域。
威廉·配第对统计的贡献还在于强调典型调查作用，在数据分析中更多地使用分组法、平均数、相对数、统计推断等，他还先见地提出计算整个国家的国民收入与国民财富，并对英国国民收入进行详细估算。有了统计学带来的数据分析方法，就有了后来的经济学、社会学等，亚当斯密的《国富论》是1776年发表的，比《政治算术》晚了100多年。19世纪末20世纪初开始建立起来的数理统计理论和抽样调查方法的推广应用，更是广泛应用于自然科学、经济学和社会科学等。
“统计时代”：
杂乱无章数据背后的规律
19世纪初上半叶，统计学逐渐取代“国势学”、“政治算术”，作为近代文化发达的标志之一，就是统计开始大量于社会经济自然科学各个方面并形成了统计发展史的高潮，后来被称之为“统计时代”、“统计狂热时代”，一切让数据说话成为一种理念、一种时尚，就像今天谁不说大数据，谁就落伍了一样。
这个时代的中心人物是比利时统计学家、数学家、天文学家凯特勒(1796-1874)。他的主要贡献有：一是系统提出统计规律性研究，认为统计学不仅要记述各国的国情，研究社会现象的静态，而且要研究社会生活的动态，从而观察社会发展的规律。他提出要探索在纷繁杂乱的大量偶然性现象的背后所隐藏的必然规律。二是促进了统计学与概率论的结合，使统计学进入新的发展阶段——现代统计学阶段。在此之前，研究国家社会经济现象的统计学与研究赌博起来的概率论是风马牛不相及的两个学科，要说清楚他们的结合，还必须先说说一条最重要的曲线：正态分布曲线。
这条曲线很好看，又好用，从天文观察到人体测量，在自然界中无处不在，在当时作为误差分析的有力武器达到了登峰造极的地步，使得人们在杂乱无章的数据背后，能够发现秩序和规律性。凯特勒在19世纪30年代主持建立比利时统计局后，发现以往被人们认为杂乱无章的、毫无规律可循的社会现象，也如同自然界一样具有规律性。他收集了大量关于人体测量的数据，开创性地提出用正态曲线拟合方法判断人体测量数据的同质性问题，随后应用于各种数据分析，为正态曲线的应用拓展了广阔的统计平台，也导致后来涌现了社会统计学、生物统计学、农业实验学、经济统计学等统计流派。统计学发展百花齐放，数据的天空次序井然。
这个时代另一个显著的特点是政府官方统计的建立与发展，其主要原因除了统计科学的不断完善外，还因为随着社会经济发展，各国政府、民间机构对统计数据有大量需求。
凯特勒的另一个贡献是推动了国际统计组织合作。由于大量的统计机构的建立，民间研究团体的涌现，各种被利用的数据增多，统计学家们面临一些共同的问题，包括统计的标准、个体的界定、数据的质量等基本问题，也包括统计资料的交流、统计理论和方法的推广与传播等，都需要各国统计学家的共同研究。在凯特勒等的努力下，1851年在伦敦成立了第一个国际统计组织——国际统计大会，1853年主持召开了第一次会议。这是国际统计学会(ISI)的前身，1887年，ISI在罗马召开了第一次会议，自1938年起，每两年召开一次，后来改名为世界统计大会(WSC)。到目前已召开了60届，对统计学的发展和推动各国统计工作发挥了很大的作用。
大数据：新资源、新机会
大数据是人类自身产生的一种新的“自然”资源，与支撑传统经济发展的自然资源，如土地、石油、煤、水等不同，这种人造“自然”资源越用越多，越用越便宜，越用越有价值，以知识、创新、ICT、IT、DT为主要特征的新经济的发展更多是依靠这种新资源。可以说，21世纪的竞争是数据的竞争，谁拥有了大数据，谁就占领了制高点，谁就拥有洞见的能力，谁就能引领未来。
与传统统计学研究的数据比，大数据有几个特点：一是数据量大。按有关机构测算，全球数据量每两年翻一番。这还不是主要问题，因为摩尔定理表明，数据处理能力每18个月就可以翻一番。二是数据类型多。数据不仅仅是数字，包括了结构化数据、半结构化数据和非结构化数据，特别是互联网和通讯技术的迅速发展，电子商务和社交网络的广泛应用，网络日志、音频、视频、图片、地理空间位置、网上交易等成为新的数据形式。三是数据上云。大数据已经无法用传统的存储、计算方式来处理，数据上云意味着，可以通过网络，依托于云计算的分布式处理、分布式数据库、云存储和虚拟化等技术，对海量数据进行整合、挖掘，从技术上看，大数据与云计算就像一对孪生兄弟或者一枚硬币的正反面一样密不可分。
除了上述三个特点外，一般认为大数据还有两个特点：速度和价值。一般将数据量(Volume)、数据类型(Variety)、速度(Velocity)和价值(Value)称为“4V”，刻画了大数据的基本特征。
哈佛大学里·金教授说：“大数据是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商业还是政府，所有领域都将开始这种进程。”今天，我们进入了信息社会，面临着大数据时代的来临，云计算、物联网、移动终端及可穿戴设备高度发达与融合，不管你是谁、不管你愿意不愿意，都要与数据打交道，要么在生产数据，要么在接收数据，不管身在何处，你已经被“大数据”了。从日常生活到国家宏观调控，我们面临的都将是各种数据。如何在各种各样的数据中进行深入的分析和挖掘，发现这些数据当中隐藏的更深刻的规律和现象，就能更好地服务于政府决策和社会各方面的需求，大数据的真正价值就体现在这里。
国际上很多组织和国家，特别是发达国家，都已经把大数据的开发应用提高到战略的高度来研究。联合国《大数据促发展：挑战与机遇》(2012)认为：“大数据像纳米技术和量子计算一样带来了根本性的变革，将会塑造21世纪。”世界经济论坛发布的《大数据、大影响：国际发展的新动向》称：“大数据已经成为一种新的经济资产类别，就像货币或黄金一样。”维克托在《大数据时代—生活、工作与思维的大变革》中说：“大数据时代将带来思维变革、商业变革和管理变革，随着大数据在商业等领域崭露头角，一场为发掘和利用数据价值的竞赛正在全球上演，人类将面临根本性的时代变革。”
大数据时代，我国优势明显。第一，从政策层面，我国已经出台并实施了《促进大数据发展行动纲要》和《中国制造2025》。第二，我国是世界第一人口大国，第二大经济体，有1500多万个法人单位，1800多万个产业活动单位，还有大量其他经济主体不断涌现。人口和经济规模决定了我国是一个数据资源大国。第三，我国是一个网络大国，截至2016年6月，中国互联网普及率达到51.7%，网民规模达7.1亿，手机网民规模达6.56亿，一大批互联网企业、大数据企业正在改变着传统的生产生活方式。第四，大数据时代与我国经济发展新常态正处在一个历史的交汇口，提质增效、转型升级为加快大数据的应用提供了机遇，同时，以大数据开发为基础的一大批产业将形成新的经济增长点，推动新经济的发展，实现动能转换。
大数据催生统计创新
普查和抽样调查是传统的两大数据收集方法。普查不需要统计学方法进行推断估计，因为通过普查，已经取得了所有个体数据和总体的实际分布，这也是为什么人类开始懂得计数就开始进行普查。抽样调查是利用抽样理论解决如何科学设计样本，取得样本个体数据，并科学地推断总体分布及特征。无论是普查还是抽样调查，其核心问题之一是要取得准确的“个体数据”。但在大数据时代，一切皆可量化，一切皆可记录，如何利用更全面、更及时、更经济的网络电子化数据，以及通过对这些数据使用新的分析及挖掘技术，产生新的见解和认识，是我们面临的重大机遇。
大数据和统计思维与方法等有明显的不同，主要表现在以下八个方面：
一是“问题驱动”与“数据驱动”。收集数据是开展统计分析的前提，传统的普查或抽样调查是先确定普查或调查目的，然后再根据目的相应要求和经费确定普查或调查的方法和样本量的大小。也就是说，传统统计方法设计是针对研究问题而收集数据，提出假设，再进行统计检验和推断。这种用有限数据验证先验假定，通常是基于分布理论，以一定的概率为保证，其逻辑关系是“分布理论-概率保证-总体推断”。而大数据强调的是全体数据，总体特征一般不再需要根据分布理论进行推断。不仅如此，还可以根据全面数据和实际分布来判断其中出现某类情况的可能性有多大，其逻辑关系变成了“实际分布-总体特征-概率判断”，也即概率不再是事先预设，而是基于实际分布得出的判断。在大数据时代，由于有足够的数据，足够的变量，可以采用人工智能等来进行数据挖掘和知识发现，广泛开展各种探索性研究，其结论与发现是通过数据分析获得的，也就是数据驱动，用数据决策和用数据创新。
二是“我问你答”与“我取你有”。统计报表、调查问卷是目前全世界开展普查、调查收集数据的主要载体。这种方式是通过结构化的报表将被调查对象的行为转化为可用的数据，这种方式的根本特征“我问你答”，需要被调查者高度配合，包括对问题的正确理解和如实回答填报，否则，数据质量难以保证。但在“大数据”时代，数据来源于信息技术记录下的原始数据，这些数据的参与仅仅依赖于测量方法(如企业生产记录、大量行政记录、GPS定位测量、超市收银管理系统、ETC电子收费系统)，充分利用电子记录大数据为政府统计所用，采用“我取你有”的方式，取得更及时、真实的原始数据，由专业统计人员根据统计制度计算统计指标数据，也减少了统计调查和报表整理的中间环节，数据质量将会大大提高。
三是“因果联系”与“相关分析”。传统统计主要通过建立模型探求变量之间的因果关系，并基于模型对因变量进行预测，即预先假定事物之间存在某种因果关系，然后在此假定的基础上构建模型并验证假定存在的因果关系。存在的问题往往是，变量间的因果关系具有时效性，存在“此一时，彼一时”的情况，是在特殊条件和前提假定下的关系，结论的时效性与适用性较为有限。而相关关系具有更加普遍和本质的内涵，有因果关系必有相关关系，有相关关系未必有因果关系。在大数据背景下，数据分析不再探求特定条件下确定性很强的因果关系，而是更加关注普遍意义的相关关系。从超大量数据中发现各种真实存在的相关关系，更加直观、更贴近个体、更容易被理解和接受，可以发现事物发展潜在的规律，具有一定的“智能性”，某种程度上超越了传统统计研究的因果关系，因此，相关分析是大数据时代的重要工作。
四是“样本抽选”与“总体描述”。以统计推断为主要特征的现代统计学研究主要内容是不断改进样本抽样方法和参数设计，从而对总体的特征进行描述。囿于数据收集以及客观条件的限制，总是希望通过尽可能少的样本来了解总体。在这种背景下，产生了各式各样的抽样调查技术和参数估计方法。在分层情况下，样本的数量往往不能有效地减少。大数据时代，样本就是被记录的所有数据，从这个意义上讲，样本就是总体。通过对所有与事物相关的数据进行分析，既有利于了解总体，又有利于了解局部细微。总的来讲，传统的统计抽样调查方法存在的不足可以在大数据时代得到改进。大数定律告诉我们，随着样本数量的增加，样本平均数越来越接近总体，而大数据已经描述了总体信息。
五是“数据烟囱”与“数据平台”。长期以来，我国政府统计是以部门为中心展开的，相互隔离形成了行业垂直的信息化体系，在地方上形成了条块分割的“信息孤岛”，形成一个个“数据烟囱”，数据标准不统一，数据指标不规范，数据平台重复建设。大数据特别是与之相关联云计算，为信息整合提供了新的契机，有助于建立政府信息共享数据平台，提高政府行为的透明度，有效提高政府的公信力，以大数据助推政府决策科学化。大数据的应用将改变政府统计部门的工作模式，整合现有的分散于各职能部门中的“行政记录”，完善多种信息来源的数据采集制度，实现工商、质监、劳动、人社等部门的数据注册、查询、共享和交换，在一个数据平台(包括标准、指标、数据库等)，能够揭示传统技术方式难以展现的关联关系，为有效处理复杂社会问题提供新的手段，有助于建立现代化的政府统计调查体系，最大限度地发掘这些数据资源的价值，提高政府统计部门的生产力，建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理体制机制，提升政府治理能力。
六是“以小见大”与“以大见小”。统计学是关于数据的科学，统计是研究结构化“小数据”，其优势在于“以小见大”，通过设计抽取个体样本数据进而分析推断总体特征。大数据的优势在于“以大见小”，通过对各种来源各种结构数据(特别是各种电子网络数据)实时进行整合、量化、关联、识别等，发现其个体特征，进而对总体进行任意细分的描述。
七是“记录历史”与“预测未来”。德国统计学家斯勒兹曾说过：“统计是动态的历史，历史是静态的统计。”这是在300多年前说的，也揭示了统计的基本功能，那就是记录历史。这当然是非常重要的，也是预测的基础。统计预测就是利用历史数据建模、外推进行预测，这里包含了一个假定的前提，就是未来的发展趋势是按照历史数据呈现的规律变化的，或者在对未来可能的选择，改变参数进行人为的调整。这种预测方法和思路，对于今天快速变化发展的社会经济状况，特别是很多不可预测的突发事件的影响，显然是不适应的。技术与创新成为时代的主题，新产业、新业态、新模式等新经济层出不穷，未来的经济发展不能完全用历史的模式来描述，这也要求有新的预测方法。大数据时代，各种传感器和网络设施遍布社会的各个角落，而这些数据是实时的、动态的，具有“零延迟”、即时性等特点，采用智能计算、实时计算等方法，极大地提高了数据的时效性和预测质量。特别是，随着电子商务、互联网金融、社交网络等的飞速发展，互联网已经成为人们生产生活不可或缺的重要场所。人们在互联网上购物、交流、搜索、浏览的各种行为所产生的数据量越来越大。这些数据记录人们搜索内容、搜索频率以及位置等信息，反映了人们社会经济活动、心理活动、情感取向、个体需求、兴趣关注等，未来的变化趋势，体现在今天人们的行为中。
八是“归纳推断”与“演绎推理”。统计研究的任务就是为了发现新的知识，归纳法则是发现新知识的基本方法。因此，归纳推断法成为最主要的统计研究方法，使得我们能够从足够多的个体信息中归纳出关于总体的特征。对于大数据，依然要从中去发现新的知识，依然要通过具体的个体信息去归纳出一般的总体特征，因此归纳法依然是大数据分析的主要方法。大数据是一个信息宝库，仅仅重视一般特征的归纳与概括是不够的，还需要分析研究子类信息乃至个体信息，以及某些特殊的、异常的信息——或许它(们)代表着一种新生事物或未来的发展方向，还需要通过已掌握的分布特征和相关知识与经验去推理分析其他更多、更具体的规律，去发现更深层次的关联关系，去对某些结论做出判断，这就需要运用演绎推理法。演绎法可以充分利用已有的知识去认识更具体、细小的特征，形成更多有用的结论。只要归纳法与演绎法结合得好，就既可以从大数据的偶然性中发现必然性，又可以利用全面数据的必然性去观察偶然性、认识偶然性、甚至利用偶然性，从而提高驾驭事物发展的能力。
新的起点
用数据说话，已经成为现代社会的基本理念。中国古代的管仲说过：“不明于计数而欲举大事，犹无舟楫而欲经于水险也。”著名经济学家马寅初曾说：“学者们不能离开统计而究学，政治家不能离开统计而施政，事业家不能离开统计而执业。”美国管理学家、统计学家戴明说：“除了上帝，任何人都必须用数据来说话。”印度统计学家C.R.RAO表示：“理性来讲，人们的行为过程就是统计。”这些都说明了统计的重要性。
大数据时代为统计提供了大舞台，统计将为大数据添上翅膀。大数据时代的来临，带来新的机遇。我们要真正站在同一起跑线上了，以开放的态度、创新的勇气、不懈的努力抓住历史赋予的机会。古代结绳计数能够记录下的数据与今天海量存储器记录下的数据本质上是一样的，不同的是，古代人知道他们养了多少牛羊、知道每人分多少，但记录不下来;而今天，我们可以记录一切，但传统处理分析能力还不能完全知道这些海量数据中蕴含的规律和见解，这是统计的新战场，也是统计人要努力探寻的新领域。
内容来源：网络大数据
“微信公众号：灯塔大数据；微信：DTbigdata”
移除
移