欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

数据挖掘中所需的概率论与数理统计知识、下

更新时间: 2014-01-05 02:29:37 责任编辑: Author_N1

 

数据挖掘中所需的概率论与数理统计知识、上

数据挖掘中所需的概率论与数理统计知识、上

  (关键词:微积分、概率分布、数理统计简史、正态分布、期望、方差、协方差、大数定律、中心极限定理


前言

    一个月余前,在微博上感慨道,不知日后是否有无机会搞DM,微博上的朋友只看不发的围脖评论道:算法研究领域,那里要的是数学,你可以深入学习数学,将算法普及当兴趣。想想,甚合我意。自此,便从rickjin写的“正态分布的前世今生”开始研习数学。

    如之前微博上所说,“今年5月接触DM,循序学习决策树.贝叶斯,SVM.KNN,感数学功底不足,遂补数学,从‘正态分布的前后今生’中感到数学史有趣,故买本微积分概念发展史读,在叹服前人伟大的创造之余,感微积分概念模糊,复习高等数学上册,完后学概率论与数理统计,感概道:微积分是概数统计基础,概数统计则是DM&ML之必修课。”包括读者相信也已经感觉到,我在写这个Top 10 Algorithms in Data Mining系列的时候,其中涉及到诸多的数学概念与基础知识(例如此篇SVM文章内诸多max.s.t.对偶.KKT条件.拉格朗日.松弛因子等问题则皆属于数学内一分支:最优化理论与算法范畴内),特别是概率论与数理统计部分。更进一步,在写上一篇文章的时候,看到机器学习中那么多距离度量的表示法,发现连最起码的期望,方差,标准差等基本概念都甚感模糊,于此,便深感数学之重要性。

    很快,我便买了一本高等教育出版社出版的概率论与数理统计一书,此书“从0-1分布、到二项分布、正态分布,概率密度函数,从期望到方差、标准差、协方差,中心极限定理,样本和抽样,从最大似然估计量到各种置信区间,从方差分析到回归分析,bootstrap方法,最后到马尔可夫链,以前在学校没开概率论与数理统计这门课,现在有的学有的看了”。且人类发明计算机,是为了辅助人类解决现实生活中遇到的问题,然计算机科学毕竟只发展了数十年,可在数学.统计学中,诸多现实生活问题已经思考了数百年甚至上千年,故,计算机若想更好的服务人类解决问题,须有效借鉴或参考数学.统计学。世间万事万物,究其本质乃数学,于变化莫测中寻其规律谓之统计学。

    话休絮烦。本文结合高数上下册等书、微积分概念发展史,概率论与数理统计、数理统计学简史等书(此文亦可看作此些书的读书笔记)与wikipedia,对数据挖掘中所需的概率论与数理统计相关知识概念作个科普,方便你我随时查看复习相关概念,而欲深入学习研究的课后还需参看相关专业书籍.资料。同时,本文篇幅会比较长,简单来说:

  1. 第一节讲概念:微积分中极限、导数,微分、积分;
  2. 第二节讲概念:关于随机变量及其分布;
  3. 第二节讲历史:从数理统计学简史中窥探正态分布的前后由来;
  4. 第四节继续讲概念:关于数学期望.方差等。

    4部分起承转合,彼此依托。且在本文中,会出现诸多并不友好的大量各种公式,但基本的概念.定理是任何复杂问题的根基,所以,你我都有必要硬着头皮好好细细阅读。最后,本文若有任何问题或错误,恳请广大读者朋友们不吝批评指正,谢谢。


第一节、微积分的基本概念

    开头前言说,微积分是概数统计基础,概数统计则是DM&ML之必修课”,是有一定根据的,包括后续数理统计当中,如正态分布的概率密度函数中用到了相关定积分的知识,包括最小二乘法问题的相关探讨求证都用到了求偏导数的等概念,这些都是跟微积分相关的知识。故咱们第一节先复习下微积分的相关基本概念。

    事实上,古代数学中,单单无穷小、无穷大的概念就讨论了近200年,而后才由无限发展到极限的概念。

1.1、极限

    极限又分为两部分:数列的极限和函数的极限。

1.1.1、数列的极限

    定义  如果数列{xn}与常a 有下列关系:对于任意给定的正数e (不论它多么小), 总存在正整数N , 使得对于n >N 时的一切xn, 不等式 |xn-a |<e都成立, 则称常数a 是数列{xn}的极限, 或者称数列{xn}收敛于a , 记为

    也就是说,

1.1.2、函数的极限

    设函数f(x)在点x0的某一去心邻域内有定义. 如果存在常数A, 对于任意给定的正数e (不论它多么小), 总存在正数d, 使得当x满足不等式0<|x-x0|<d 时, 对应的函数值f(x)都满足不等式     |f(x)-A|<e , 那么常数A就叫做函数f(x)时的极限, 记为

    也就是说,

    几乎没有一门新的数学分支是某个人单独的成果,如笛卡儿和费马的解析几何不仅仅是他们两人研究的成果,而是若干数学思潮在16世纪和17世纪汇合的产物,是由许许多多的学者共同努力而成。

    甚至微积分的发展也不是牛顿与莱布尼茨两人之功。在17世纪下半叶,数学史上出现了无穷小的概念,而后才发展到极限,到后来的微积分的提出。然就算牛顿和莱布尼茨提出了微积分,但微积分的概念尚模糊不清,在牛顿和莱布尼茨之后,后续经过一个多世纪的发展,诸多学者的努力,才真正清晰了微积分的概念。

    也就是说,从无穷小到极限,再到微积分定义的真正确立,经历了几代人几个世纪的努力,绝非仅牛顿与莱布尼茨两人之功,而课本上所呈现的永远只是冰山一角。

1.2、导数

24楼xuqianghit10小时前
期待下面的博文
23楼zhouziting10小时前
单纯码农的进阶,要么有管理能力,要么有数学统计功底
22楼masikkk昨天 21:27
专业啊
21楼mljlover昨天 21:21
毕业半年不到,这数理统计与概率忘的也差不多了。现在看到博主的这篇文章,又有种大学考试前的感觉了。博主继续,支持!
20楼hcit_ld昨天 21:18
一直关注楼主,晓得楼主是个牛逼任务,感慨,鄙人合适能赶上君之神威啊!
19楼nadia_yin昨天 20:14
如果要做算法,数学是基础!楼主有毅力!
18楼dyf2886136昨天 19:40
还是不清楚高斯怎么一下子就把那个正态分布密度函数找出来了,期待后续文章
Re: v_JULY_v昨天 19:47
回复dyf2886136n哈哈,你这个问题问的很及时,刚好原文正在补充,你现在可以再刷新查看下。
17楼duanml61昨天 19:09
细读上面的基础概念整理之后发现我的基础知识差很多,临渊羡鱼不如退而结网,回补去了。
Re: v_JULY_v昨天 19:15
回复duanml61nEN,这也是本文的目的,借此机会补补你我的概率论与数理统计等基础知识呢,也不一定非得回去补,我为君慢慢补。
16楼yangliuy昨天 15:41
顶!对数理统计的公式历史和联系介绍写得很有趣!
Re: v_JULY_v昨天 17:31
回复yangliuyn原文有很多地方可进一步完善,欢迎随时不吝批评指正哈
15楼linwaterbin昨天 15:28
期待你能把DM十大经典算法实现讲讲
14楼l287317761昨天 13:15
附上打油诗一首,支持July:天若有情天亦老,人学数学死得早。商女不知忘国恨,隔江犹看概率论。两岸猿声啼不住,互相谈论倾斜度。问君能有几多愁?不定积分不会求。忽如一夜春风来,正交矩阵不会排。风萧萧兮易水寒,各种数学各种难。垂死病中惊坐起,学数学你伤不起!nJuly走你!
Re: a06062125昨天 13:24
回复l287317761n“忽如一夜春风来,正交矩阵不会排。” 说到伤心处了T_T
Re: v_JULY_v昨天 15:25
回复l287317761nGood Job,有才!
13楼zhongyijun159昨天 17:59
博主数学不错啊。n最近在学数学分析。
Re: v_JULY_v昨天 18:24
回复zhongyijun159n吖,汗颜了,以前的全忘光了,这个月才决心开始恶补数学(相互学习交流)..
12楼zhuankeshumo昨天 15:05
其实是高中数学知识 只不过高考不是重点 所以就悲催了
Re: jon_me昨天 15:14
回复zhuankeshumon高中那点概率知识少的可怜啊!概率没有高数的支持,没有多大的用法。
Re: wyjie1987昨天 15:27
回复zhuankeshumon现在高中都开始学概率论了???
Re: zhuankeshumo昨天 16:25
回复wyjie1987n嗯 但不是考试重点
11楼java43135昨天 13:40
记得考研的时候,狠狠的学习了。。。许久不用,又遗忘了好多。
Re: v_JULY_v昨天 14:22
回复java43135n精彩在第二节,在后头哦。
10楼qzs_13933908434昨天 13:00
刚考完,考的都是疏忽的,悲剧了
9楼yang63515074昨天 12:57
[quote=zhuankeshumo]回复wyjie1987n嗯 但不是考试重点[/quote]nn很好
8楼yingzisangongfen昨天 12:39
工作了才发现很多知识要重新拾起来啊
7楼liulefirst前天 10:34
顶个。
6楼herer前天 10:23
谢谢July。现在我也在补数学,但一直没时间系统性的阅读。你的汇总对我帮助很大,一些不清楚的我再看看后面的参考文献。
Re: v_JULY_v前天 10:26
回复herern具体哪些不清楚你完全可以提出来,我可以立马修补完善原文。
5楼wangba_456前天 09:59
学技术了
4楼Cages前天 09:45
支持july 看好你 工作的事情相信你可以找个更好的
3楼wangyaohui8888前天 09:43
其实概率在数学中理论简单 难得是具体问题的应用 容易算错
2楼Moriarty_Xu前天 21:28
个人意见,如果每个知识点配一些例子就更好了
Re: v_JULY_v前天 22:24
回复Moriarty_Xun是需要每一个还是重点哪些个?
Re: Moriarty_Xu前天 08:49
回复v_JULY_vn仅是个人意见,如果你的把这篇文章定位为概率统计知识的简介,例子应该可以不用了,我们可以以此为提纲来深入研究
Re: v_JULY_v前天 09:28
回复Moriarty_XunEN,有深有浅,有详有略,本文中一些知识点一直在加以修补完善,逐步扩展深入。
1楼beijiguangyong前天 21:27
感谢楼主~~
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:29:37
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10510/
本文WWW.DOC100.NET DOC100.NET版权所有。