假設檢驗的步驟和原理,一文讀懂統(tǒng)計學中的“假設檢驗”到底是什么
最佳答案 問答題庫1698位專家為你答疑解惑
關于【假設檢驗的步驟和原理】,今天犇涌小編給您分享一下,如果對您有所幫助別忘了關注本站哦。
內容導航:1、假設檢驗的步驟和原理:一文讀懂統(tǒng)計學中的“假設檢驗”到底是什么?2、假設檢驗的步驟和原理,一篇搞懂假設檢驗1、假設檢驗的步驟和原理:一文讀懂統(tǒng)計學中的“假設檢驗”到底是什么?
今天給大家講一篇關于統(tǒng)計學的知識,雖然當前機器學習,深度學習等大數(shù)據(jù)技術火得一塌糊涂,但歸根結底,離不開統(tǒng)計學的基礎,而談到統(tǒng)計學,假設檢驗幾乎是提到的最多的詞語,到底什么是假設檢驗, 什么是P值,什么時候用t檢驗,什么時候用F檢驗,非統(tǒng)計學背景的同學可能一臉懵逼,接下來我就講下什么是假設檢驗
什么是假設檢驗?
首先明確下假設檢驗在統(tǒng)計學里的地位:統(tǒng)計推斷是統(tǒng)計學的重要分支,做統(tǒng)計推斷有兩個重要方法,即參數(shù)估計與假設檢驗。參數(shù)估計是用樣本統(tǒng)計量估計總體參數(shù),簡單來說就是樣本表現(xiàn)啥樣,我就推斷總體是啥樣。而假設檢驗,則顧名思義,先提出一個假設,然后檢驗假設是否靠得住,例如假設均值為μ,然后根據(jù)樣本信息檢驗均值是不是μ,通常我們是要去證明均值不是μ,也就是去推翻原假設。邏輯上采用的是反證法,根據(jù)統(tǒng)計上的小概率原理,即假設是這樣,但樣本表現(xiàn)卻不是這樣,從而否定原假設。
舉例來說,某官方數(shù)據(jù)說居民人均收入10000,但我覺得這個不對,于是就局部范圍內做了個統(tǒng)計(假如樣本有代表性),統(tǒng)計出來平均值為7000, 那我這個結果有沒有信服力,那我們可以檢驗一下,計算出P值為0.0002,那我可以很自信地說官方數(shù)據(jù)不對,不值得信。因為P值為0.0002意味著,如果居民人均工資為1w, 那么我統(tǒng)計出均值為7k的概率為0.0002,這么小的概率竟然這么容易就讓我選的這個局部統(tǒng)計碰上了,顯然真實的人均工資不可能為1w啊, 這就是根據(jù)小概率原理來推翻原假設。
假設檢驗的基本步驟
接下來我們講一下假設檢驗的步驟,講述過程中你也許會有疑問,為什么這樣,不要擔心,先往下看,我會陸續(xù)對假設檢驗的細節(jié)作出補充,如果未涉及到可以在評論中提出,我會補充上):
步驟1,提出假設,也就是我猜結果會是什么。猜完之后進入步驟2,即我要拿什么去驗證假設,這里我們叫做檢驗統(tǒng)計量。檢驗沒有絕對的對錯,所以我們要設定一個顯著性水平,就是步驟3,相當于設定一個門檻,在門外面就拒絕進門,統(tǒng)計學上叫拒絕域,拒絕的是原假設。套路第四步就是將門在哪兒計算出來,依據(jù)的是前兩步確定的檢驗統(tǒng)計量以及顯著性水平。最后就可以做出決策啦,看一下到底在門里面還是門外面。
接下來將提到的步驟跟大家詳細說一下:
假設的提出包括原假設與備擇假設。原假設(H0)則是我們收集證據(jù)想要推翻的假設, 而備擇假設(H1)則是要去支持的,所以大家可以根據(jù)實際情況來設定原假設與備擇假設。原假設與備擇假設互斥。假設檢驗是圍繞著對原假設是否成立展開的。假設檢驗還會涉及到兩類錯誤的問題,這個內容較多,會單獨講解。
檢驗統(tǒng)計量是用于假設檢驗決策的統(tǒng)計量。如何去選擇統(tǒng)計量呢?這與參數(shù)估計相同,需要考慮樣本總體個數(shù),樣本大小,通常大于30個樣品我們認為是大樣本,以及總體方差是否已知,如果未知,可以用樣品方差近似計算。是不是感覺有些頭暈,撐住,這是做假設檢驗的關鍵,告訴你什么情況下采用什么樣的檢驗方法,記住這兒,以后就不會沒心沒肺的只會t檢驗啦。貼心的我給大家整理了檢驗統(tǒng)計量的選擇圖譜,對家直接對號入座就可以啦,記住這些,再遇到假設檢驗的問題,你會感覺厲(niu)害(bi)的不要不要的。
配對樣本的檢驗:兩個總體參數(shù)的假設檢驗過程中,我們假定樣本是獨立的,但有種情況下樣本間可能存在相依的關系,這種情況下兩個正態(tài)總體的問題可以按照一個樣品總體進行分析。舉個例子:我想測試某個洗滌產(chǎn)品的洗滌效果,我可以測一下衣服洗之前的潔凈程度,用產(chǎn)品洗之后的潔凈程度,這樣就得到了兩個總體,可以按照方差未知的小樣本t檢驗進行分析。但是,同是一件衣服,洗之前和洗之后數(shù)據(jù)之間是有對應關系的,我可以將洗前洗后的潔凈程度做差值,檢驗差值是否為0,這樣就轉化為一個總體樣本的t檢驗。
具體的統(tǒng)計量的計算公式此處未給出,主要考慮到現(xiàn)在都用統(tǒng)計軟件進行計算,關鍵要明確自己的統(tǒng)計問題,選擇恰當?shù)臋z驗統(tǒng)計量,然后在統(tǒng)計軟件上就可以開掛了!
顯著性α:這是犯一類錯誤的概率,即原假設為真時,拒絕原假設的概率。比如警察抓小偷時,明明是小偷,卻判斷失誤當好人給放了的概率。也被稱為抽樣分布的拒絕域,這個可以由研究者事先確定。
計算檢驗統(tǒng)計量的值。當確定了檢驗統(tǒng)計量以及顯著性α的值,通常為0.01, 0.05,0.001,就可以通過統(tǒng)計軟件或查表得到統(tǒng)計量的臨界值za或za/2,ta或ta/2
作出統(tǒng)計決策。統(tǒng)計決策的確定有兩種方式,一種是將檢驗統(tǒng)計量的絕對值與α水平的臨界值進行比較,高于臨界值則拒絕原假設,低于臨界值則不能拒絕。另外一種方式是采用P值進行決策。個人比較傾向第二種,當然現(xiàn)在的統(tǒng)計學軟件會將這些值一并給出。我們通常將P值稱為觀測到的顯著性水平,即當原假設為真時得到樣本觀察結果或者更極端結果的概率,如果P值很小,說明得到觀測結果的概率很小,如果出現(xiàn)了,根據(jù)小概率原理,我就有理由拒絕原假設了。如果事先確定了顯著性水平,比如α= 0.05,在雙側檢驗中可以比較P值與0.025的大小決定是否拒絕原假設,單側檢驗中可以比較P值與0.05的大小進行決策。當然也可以直接使用P值,按照我們所需要的顯著性水平進行決策。
雙側檢驗
單側檢驗
以上就是假設檢驗的基本原理及流程。懂了這些就幾乎可以秒殺一切你所遇到的假設檢驗問題。還有同學經(jīng)常問為何把小概率標準定為0.05, 哈哈,不要問我,因為我不知道。著名英國統(tǒng)計學家Fisher就這樣用的,無解。
舉例說明:
“多吃谷物,將有助于減肥。”為了驗證這個假設,隨機抽取了35人,詢問他們早餐和午餐的通常食譜,根據(jù)他們的食譜,將其分為二類,一類為經(jīng)常的谷類食用者(總體1),一類為非經(jīng)常谷類食用者(總體2)。然后測度每人午餐的大卡攝取量。經(jīng)過一段時間的實驗,得到如下結果:檢驗該假設(a = 0.05)
1. 原假設:u1-u2>=0
備擇假設:u1-u2<0
2. 該情況為兩個總體的t檢驗, 計算得t=2.4869。注意此處為單側檢驗。
3. 在0.05顯著性水平上拒絕原假設。
4. 結論,沒有證據(jù)證明多次谷物有助于減肥。
2、假設檢驗的步驟和原理,一篇搞懂假設檢驗
一、常用核心概念
什么是假設檢驗:假設就是對從總體參數(shù)(均值、比例等)的具體數(shù)值所作的陳述,比如,我認為配方一比配方二的效果要好。而假設檢驗就是先對總體的參數(shù)提出某種假設,然后利用樣本的信息判斷假設是否成立的過程,比如上面的假設信息我該接受還是拒絕。
什么是顯著性水平:顯著性水平是一個概率值,原假設為真時,拒絕原假設的概率,表示為α,常取值為0.05、0.01、0.10。一個公司招聘,本來準備招聘100個人,公司希望只有5%的人是混水摸魚招聘進來,所以可能會有5個人混進來,所謂顯著性水平α,就是你允許有多少比例混水摸魚的能通過測試。
原假設與備擇假設:待檢驗的假設又叫原假設(零假設),一般表示為H0,原假設一般表示兩者沒有顯著性差異。與原假設進行對比的叫備擇假設,表示為H1。一般在比較的時候,主要有等于、大于、小于。
檢驗統(tǒng)計量:即計算檢驗的統(tǒng)計量。根據(jù)給定的顯著性水平,查表得出相應的臨界值。再將檢驗統(tǒng)計量的值與該顯著性水平的臨界值進行比較,得出是否拒絕原假設的結論。
P值:是一個概率值,如果原假設為真,p值是抽樣分布中大于或小于樣本統(tǒng)計量的概率。左檢驗時,p值為曲線上方小于等于檢驗統(tǒng)計量部分的面積。右檢驗時,p值為曲線上方大于等于檢驗統(tǒng)計量部分的面積。
假設檢驗的兩種錯誤:類型 I 錯誤(棄真),如原假設為真,但否定它,則會犯類型 I 錯誤。犯類型 I 錯誤的概率為 α(即您為假設檢驗設置的顯著性水平)。α 為 0.05 表明,當您否定原假設時,您愿意接受 5% 的犯錯概率。為了降低此風險,必須使用較低的 α 值。但是,使用的α值越小,在差值確實存在時檢測到實際差值的可能性也越小。類型 II 錯誤(采偽),如原假設為假,但無法否定它,則會犯類型 II 錯誤。犯類型 II 錯誤的概率為 β,β 依賴檢驗功效。可以通過確保檢驗具有足夠大的功效來降低犯類型 II 錯誤所帶來的風險。方法是確保樣本數(shù)量足夠大,以便在差值確實存在時檢測到實際差值。
單雙測檢驗:當假設關鍵詞有不得少于/低于的時候用左側檢驗,比如燈泡的使用壽命不得少于/低于700小時時;當假設關鍵詞有不得多于/高于的時候用右側檢驗,比如次品率不得多于/高于5%時。雙側檢驗指按分布兩端計算顯著性水平概率的檢驗,應用于理論上不能確定兩個總體一個一定比另一個大或小的假設檢驗。一般假設檢驗寫作H0:μ1=μ2。
檢驗結果:單側,若p值>α,不拒絕H0,若p值<α,拒絕H0;雙側,若p值>1/2α,不拒絕H0,若p值<1/2α,拒絕H0
二、假設檢驗方法
假設檢驗方法:z檢驗,t檢驗,卡方檢驗(卡方本篇不詳述,應用較少)
2.1 Z檢驗
Z檢驗原理:當總體標準差已知,樣本量較大時用標準正態(tài)分布的理論來推斷差異發(fā)生的概率,從而比較兩個平均數(shù)的差異是否顯著。如果檢驗一個樣本平均數(shù)與一個已知的總體平均數(shù)的差異是否顯著,其Z值計算公式為:
如果檢驗來自兩個的兩組樣本平均數(shù)的差異性,從而判斷它們各自代表的總體的差異是否顯著,其Z值計算公式為:
Z檢驗實例:
研究正常人與高血壓患者膽固醇含量,比較兩組血清膽固醇含量有無顯著差異。
正常人組數(shù)據(jù):n1=506(樣本量) μ1=180.6(樣本均值) s1=34.2(標準差)
高血壓組數(shù)據(jù):n2=142 μ2=223.6 s2=45.8
1、提出假設,規(guī)定適當檢驗統(tǒng)計量,確定檢驗水平:
H0:μ1=μ2
H1:μ1≠μ2
α=0.05,樣本量較大,且檢驗來自兩組樣本平均數(shù)的差異性,故選擇z檢驗統(tǒng)計量
2、計算統(tǒng)計量z值
將已知數(shù)據(jù)帶入z檢驗公式,
計算假設檢驗統(tǒng)計量 z=10.4
α=0.05,雙側故 α/2=0.025,1-α=0.975 查表,確認臨界值為1.96
3、確定p值,做出推斷結論
10.4(z值)>1.96(臨界值),故p<0.05,按α=0.05水準拒絕H0,接受H1,可以認為正常人和高血壓患者的血清膽固醇含量有差異。
2.2 t檢驗
t檢驗:分為單樣本的t檢驗、配對樣本均數(shù)t檢驗(本篇不詳細說)、兩獨立樣本均數(shù)t檢驗。t檢驗應用于兩組計量資料小樣本比較,樣本對總體有較好代表性,對比組間有較好組間均衡性,即隨機抽樣和隨機分組。且樣本來自正態(tài)分布總體。單個樣本t檢驗適用于樣本均數(shù)與已知總體均數(shù)μ0的比較,目的是檢驗樣本均數(shù)所代表的總體均數(shù)μ是否與已知總體均數(shù)μ0有差別。應用于總體標準α未知的小樣本資料,且服從正態(tài)分布。
單樣本t檢驗實例:
某地新生兒出生體重為3.3kg,從該地難產(chǎn)兒中隨機抽取35名嬰兒,平均體重為3.42kg,標準差為0.4kg,問該地難產(chǎn)兒出生體重與新生兒體重是否不同?
1、提出假設,規(guī)定適當檢驗統(tǒng)計量,確定檢驗水平:
H0:μ=μ0
H1:μ≠μ0
α=0.05 ,樣本均數(shù)與已知總體均數(shù)μ0的比較,所以選擇單樣本t檢驗
2、計算統(tǒng)計量z值
n=35 μ0=3.3 μ=3.42 s=0.4
自由度=n-1=34,α=0.05,雙側故 α/2=0.025,1-α=0.975,自由度34,查表得出臨界值為2.032
3、確定p值,做出推斷結論
因為1.77(z值)<2.032(臨界值),故p>0.05,按α=0.05水平,差別無統(tǒng)計學意義,不拒絕h0,不能認為該地難產(chǎn)兒與新生兒體重有差異。
兩獨立樣本t檢驗(ab實驗背后原理):適用于完全隨機設計的兩樣本均數(shù)的比較,其目的是檢驗兩樣本所來自總體的均數(shù)是否相等。兩獨立樣本t檢驗要求兩樣本所代表的總體服從正態(tài)分布N(μ1,σ^2)和N(μ2,σ^2),且兩總體方差σ1^2、σ2^2相等,即方差齊性。若兩總體方差不等需要先進行變換。兩獨立樣本t檢驗的檢驗假設是兩總體均數(shù)相等,即H0:μ1=μ2,統(tǒng)計量計算公式為:
兩獨立樣本t檢驗實例:
25例糖尿病患者隨機分成兩組,甲單純藥物治療,乙采用藥物合并飲食治療,二月后測空腹血糖如下,問兩種療法血糖值是否相同?
數(shù)據(jù):n1=12 s1=182.5 n2=13 s2=141
1、提出假設,規(guī)定適當檢驗統(tǒng)計量,確定檢驗水平:
H0:μ1=μ2 H1:μ1≠μ2
α=0.05, 選用兩獨立樣本t檢驗方法
2、計算統(tǒng)計量z值
將數(shù)據(jù)帶入公式,計算得t=2.639
自由度=n1 n2-2=23 α=0.05,雙側故 α/2=0.025,1-α=0.975,查表得臨界值為 t=2.069
3、確定p值,做出推斷結論
因為2.639(t值)>2.069(臨界值) ,故 p<0.05 , 在0.05水準下,拒絕H0,接受H1,存在顯著性差異,故認為兩種療法效果不同。
作者:趙小洛 一線互聯(lián)網(wǎng)公司數(shù)據(jù)分析師、商業(yè)分析師,主刊互聯(lián)網(wǎng)數(shù)據(jù)分析相關、方法論、復盤、思考總結。
本文關鍵詞:假設檢驗的一般步驟包括哪些,假設檢驗的具體步驟,假設檢驗的步驟及原理,假設檢驗的步驟和原理,假設檢驗的基本原理和步驟。這就是關于《假設檢驗的步驟和原理,一文讀懂統(tǒng)計學中的“假設檢驗”到底是什么》的所有內容,希望對您能有所幫助!更多的知識請繼續(xù)關注《犇涌向乾》百科知識網(wǎng)站:!
99%的人還看了
相似問題
猜你感興趣
版權申明
本文" 假設檢驗的步驟和原理,一文讀懂統(tǒng)計學中的“假設檢驗”到底是什么":http://eshow365.cn/3-11036-0.html 內容來自互聯(lián)網(wǎng),請自行判斷內容的正確性。如有侵權請聯(lián)系我們,立即刪除!