20世纪统计学的回顾与展望

作者：张南来源：日期：2006-07-24 点击：25

字体大小:
小
中
大

一、20世纪统计学的发展

按照统计学科体系的基本原理与应用的不同，统计学可分为理论统计学与应用统计学两大类。理论统计学指的是统计学的数学性原理，也就是数理统计学，具有通用方法论的理学性质。应用统计学指的是基于理论统计学的基本原理，应用于各个领域的数据处理方法，统计解析方法及统计推测方法。其特征有二：一是其数理性原理为各研究领域通用；二是具有对应于某特定领域的特有的分析方法。比如经济统计学中的指数分析法，医药统计学中的生存解析法等。

理论统计学的基础理论在20世纪的20-30年代已经基本完成。其中由英國统计学家费舍(R.A.Fisher，1890-1962)所确立的统计推测理论，样本分布理论，试验计划法及F分布理论对奠定20世纪统计学的基础理论作出了很大的贡献。

40-50年代对统计学来说是分布理论的时代。以概率分布的形式成功地将各種随机现象的数量特征、性质加以归纳、描述。

60年代是分布偏差有效(Robust)推定理论盛行的时代。即采用古典的方法论成功地解决了概率分布的假定与实际数据分布偏离的問題。但是，其研究所假定的概率模型侧重于数学形式的完整可能，而对数据所遵从的概率分布的拟合准确性的考虑尚有欠缺。在以后的系统控制论中，分布偏差有效理论起到了很大的作用。

70年代可以认为是规范化线性模型的时代。自德國统计学家高斯(C.F.Gauss，1777一1855)创立误差与正态分布理论及最小二乘法以来，在70年代，从正态分布的假定，发展到将共变量的条件分布线性模型化。其方法论的核心是剔除正态性的假定，实现了包括从二项分布到咖码分布的规范线性化。此理论与概率随机过程理论相结合，促成了对医学数据可进行深入考察的生存解析法的产生。从分布的假定与数据的偏差这種关系来看，规范化线性模型理论与60年代的分布偏差有效理论是从不同的角度对推定统计量进行的研究。【交易知识macd.org.cn收集整理】

80年代的前期侧重于渐进理论的研究，高次渐进性理论运用高等数学公式推导出了复杂的展开式，对高次渐进的有效性与充分性进行了探讨。以往很多都是固定模型的次元，在样本容量极限的条件下研究其确定的变动，结果失去了许多有用的信息。之后作为改进，在决定理论的结构中用有限的样本进行更为严密的考察。但由于理论设计忽视了分布模型与数据的吻合，出现了即使模型与实际的拟合受到影响也要一味追求模型近似的精确度等問題，使得为此所进行的较严密的计算并没有多大的实际意义。由此可见，如果数据的分布是在模型之外，单纯依靠数学性的推导是不能指望这種理论会有何应用价值的。在这一方面理论统计学有它的局限性，数理统计学所具有的本质弱点也正在于此。80年代后期统计学对计算机的利用引人瞩目，如数据模拟(Bootstrap)，回归变量的推定等非参数估计的方法应运而生。与此同期可称为统计学一大成果的，还有通过运用在70年代开发出来的标准信息量，交差检验法，缩小法等，使得平滑化法的拟合有了很大的改进。

90年代对"复杂性"研究较为瞩目。这对90年代的一些技术性方法的研究起到了理论先导的作用。其中，特别是对马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo：MCMC)的研究对建立可实际应用的统计模型开辟了广阔的前景。90年代以来，很多应用問題都存在着分析对象比较复杂与正确识别模型结构的困难。现在根据MCMC理论，通过使用专用统计软件进行MCMC模拟，可解决许多复杂性問題。此外，得益于MCMC理论的运用，使得贝叶斯(Bayes)统计得到了再度复兴，以往被认为不可能实施计算的统计方法变得是很轻而易举了。

另外，按照统计数据整理分析的不同阶段，统计学还区分为记述统计学(descriptive statistics)与推测统计学(inferential statistics)。从统计数据的收集整理这一统计记述过程来看，20世纪中记述统计学的最大功绩首推1953年创立的國际通用的國民收入帐户(A System of National Accounts and Supporting Tables，國民帐户体系及辅助表)，及1968年的以國民收入帐户为主，包括了投入产出表，资金循环表，國民资产负债表，國际收支表的新SNA体系，以及1993年的更新概念，扩大兼容性，完善记述功能的改订SNA体系。作为统计学源流的17世纪德國國势学及英國政治算术的统计学思想在20世纪得到了极大的发展。

在20世纪，如同经济统计学中产生了罗伦斯(Lorenz)曲线的计测方法，经济的时间序列分析方法，经济预测方法一样，应用于各个领域的应用统计学也有了长足的发展。但是，自90年代以来，随着信息科学的发展，统计学的应用环境發生了很大的变化，统计学受到了信息科学发展的影响，出现了许多依靠以往的统计学的理论所不能解决的新問題。比如，与遗传基因，环境，气象，金融等相关联的庞大数据的处理(将庞大数据压缩收集后取出有用信息的方法)；信息社会中有关个人隐私的数据收集与个人隐私保护；计算机互连网的使用使得数据取得方式的改变；统计软件的普及所带来的对数据含意的不求甚解，导致脱离现实的统计模型的滥用等。

值得注意的是这些新出现的問題都是统计学外部环境發生了变化所带来的問題。这些問題并不能通过以往的统计学的理论框架解决，并不能通过单纯地设定数学假定，修改概率模型就可以得到数学性的解决。因此，20世纪以来基本成型的统计学的理论框架受到了新的挑战。

二、统计学与信息科学

统计学是处理数据的科学。教科书中的记述统计侧重数据的收集加工整理，而数理统计侧重数据处理的"科学性"。一般而言"科学"要求有客观性，再观性，普遍性。为表现这種科学性，研究者常喜欢用数学模型。因为数学比较简明，严谨，比较抽象。数理统计就运用数学工具，记述数据产生的过程，描述概率分布，进行推定，作假定检验，形成了一个比较完整的理论体系。

但是如上所述，数理统计学的基本理论框架产生于20世纪的20-30年代。当时所处理的数据也就是一张统计表上的少量数据。其目的在于如何从较少的数据中得到反映现象的数量特征。其后数理统计学急速发展，愈加严谨系统，愈加数学化了。但主要的作用还是处理数据。

计算机的发展使得比较复杂的数据计算变的简便了，成为统计计算的重要工具。当今，微机的普及，英特网的使用，使社会产生了很大的变革，使信息传递的质和量都發生了飞跃的变化。同时，由英特网所联接起来的微机，使得个人也能处理以往仅由國家和企业所控制的信息。计算机的功能已经大大超出了计算，更重要的是可以广泛大量地进行各種数据信息的检索处理。

在这種状况下对统计学的应用而言，一个常见的問題就是可利用数据量的显著增大。在有自动计测的计算机的地方，从工场的流水线到超级市场的收款机，都是直接连续地记录数据，数据的单位有时会超过兆亿，甚至兆兆亿。这与费舍时代的数据处理量相比较，原有统计学教科书的理论框架就不太适用了。比如在固定的模型中对超大样本条件下所进行的假设检验，都会得出被拒绝的结果。

从计算机中出现的大量数据中取得有用的信息被称之为数据挖掘(data mining)。在数据采集挖掘阶段，具有尽可能简捷地记述现象本质这種功能的模型还尚未被开发。更多的则是使用计算机运用各種手段进行大量的数据计算，从而取得有价值的信息。但是按照计算机的信息处理能力，除去计算功能之外，应该是可以将各種信息进行再分类的。这将是一个还有待开发的领域。

数据挖掘可认为是对迄今为止的非常精确化的统计模型的一个启示。作为一種语言，数学语言的缺陷在于过于抽象，很难记述比较复杂的社会现象。对用数学公式可以简捷地记述物理性的规律来说，处理人类社会这種较复杂的社会科学则多使用带有丰富含意的自然语言来记述。现在我们看到的社会经济现象的复杂性的因素越多，越是难以用数学模型近似描述，数学的用途是广泛有效的，但绝不是万能的。【交易知识macd.org.cn收集整理】

因此，数据挖掘既然也是数据处理，统计学也就应该积极借鉴。借鉴的形式之一就是将以往的统计学数据处理的经验方法与数据采集挖掘相结合；另一種形式就是将计算机作为统计学的新的工具来使用，象在统计学中使用数学一样，要将以往只作为超级算盘使用的计算机，更加注意发挥其作为模式化(modeling)工具的作用。

共3页: 上一页 1 [2] [3] 下一页

↑返回顶部打印本页关闭窗口↓

推荐文章

热点文档

20世纪统计学的回顾与展望

相关文章