高中數學/機率與統計/抽樣方法與對總體的估計

閱讀指南

基礎知識

知識引入

由初中/國中階段的數學知識可知，考察數據的形式分為普查和抽查。從總體（statistical population）或者叫母體中調查到或取出的個體都被叫做樣本，抽出的樣本多少叫做樣本容量。由於許多實際問題所涉及的總體容量較大，抽查往往比普查更為可行。這一節，我們先介紹幾種不同類型的抽樣方法，其次再談論從樣本可得到的統計信息能不能代替所調查總體的特徵。

抽樣方法的細分

常見抽樣方法包括：

• 簡單隨機抽樣（simple random sampling）：從一個個體數目為N的總體中，逐次地抽樣，每次抽取1個樣本，並且每次能被抽取的各個個體被抽到的機率相等。
• 系統抽樣（systematic sampling）或機械抽樣：將總體分成均衡的幾個部分，然後對其中每一部分分別抽取1個個體，共同組成獲得的樣本。
• 分層抽樣（stratified sampling）：當總體由差異明顯的幾部分組成時，按各部分所占比例進行分別抽樣，再匯總抽取到的結果。所劃分出來的每個部分都叫做一個層。

提示：簡單隨機抽樣並未嚴格限定在抽取過程中，是否需要放回已抽中過的樣本。事實上，在數理統計學中，我們總是假定總體是無限容量的，此時即使是無放回的抽樣也不會影響總體的機率分布。在高中階段一般都是考慮總體容量為無限的常見情形。使用重複抽樣法（resampling）可以模擬大容量的總體，這也是機器學習中應對樣本容量偏小問題的常見解決做法（特別是應用於交叉驗證中）。

提示：還有一些其它抽樣方法沒有被列入高中的數學知識學習範圍，例如在市場調研中應用廣泛的成簇抽樣（cluster sampling）法。

三種抽樣方法的比較如下：

類別	共同點	各自特點	相互聯繫	適用範圍
簡單隨機抽樣	抽樣過程中每個個體被抽取的機率相等	從總體中逐個抽取		總體中的個體數較少
系統抽樣		將總體均分成幾部分，然後分別抽取	在起始部分抽樣時採用簡單隨機抽樣	總體的個體數較多
分層抽樣		將總體按明顯差異分成幾層，然後分層抽取	各層抽樣時採用簡單隨機抽樣或系統抽樣	總體由差異特別明顯的幾部分組成

樣本的數字統計量與矩

先前提及大數定理時也粗略地講過，當使用次數無限增大時，試驗發生的頻率能夠嚴格地逼近真實的機率。這是因為當試驗次數無限增大時，能儘可能減少抽樣造成的隨機性誤差。除了事件發生的機率，我們同樣也希望通過計算樣本的平均值、方差、標準差等信息，估計總體的相應信息。

為了估計總體的某種數字特徵，而從樣本中計算出的信息就是樣本的統計量。

提示：樣本的統計量是樣本信息的多元函數。

我們對樣本定義下列的常用統計量：

• 均值的估計量或稱為樣本均值（sample mean）：$\mu _{x}=x_{1}+x_{2}+...+x_{n}$
• 方差的估計量或稱為樣本方差（sample variance）：$\sigma _{x}^{2}={\frac {(x_{1}-\mu )^{2}+(x_{2}-\mu )^{2}+...+(x_{n}-\mu )^{2}}{n-1}}$

注意：這種基於樣本的方差估計量也叫做修正樣本方差。請注意它與總體的方差計算方式是不一樣的，分母部分不是樣本數n，而是n-1。它並非是將樣本看成是總體時的方差，而是基於樣本信息定義的一種對總體方差的估計量。樣本的方差估計量也並非只能這樣規定，這只是樣本的方差估計量的常用定義。

玩笑：矩是一個由來說法比較複雜的概念。統計學家們認為它來源於物理學，但是物理學家們認為它來源於統計學。

至於為什麼要將樣本方差的分母取為n-1而不是像總體方差一樣取為n，這涉及到多種估計量的比較。為此，下面我們先介紹矩和矩估計的概念：

設隨機變量X取值為$X_{1},X_{2},\cdots ,X_{n},\cdots$時的取值依次為$p_{1},p_{2},\cdots ,p_{n},\cdots$，c為常數，k為正整數，則下列統計量叫做總體（即隨機變量的）分布的k階矩：

$p_{1}(X_{1}-c)^{k}+p_{2}(X_{2}-c)^{k}+...+p_{n}(X_{n}-c)^{k}+\cdots$

當c取0時，上述式子叫做樣本的k階原點矩；當c為均值$\mu$時，上述式子叫做樣本的k階中心矩。隨機變量的數學期望和方差都是總體分布的矩。

換句話說，設X為隨機變量，c為常數，k為正整數，則量$E[(X-c)^{k}]$稱為X關於點c的k階矩（the n-th moment of X about a point c）。c=0時，$E(X^{k})$稱為X的k階原點矩；c=EX時（EX是一個常數），$E[(X-EX)^{k}]$稱為X的k階中心矩。

我們對樣本也定義類似的概念：

設$X_{1},X_{2},X_{3}$為一組樣本，k為正整數，c為常數，下列統計量叫做k階樣本矩：

${\frac {(X_{1}-c)^{k}+(X_{2}-c)^{k}+...+(X_{n}-c)^{k}}{n}}$

c取0時，上述式子叫做k階樣本原點矩；c取為該組樣本均值${\bar {X}}$時，上述式子叫做k階樣本中心矩。一組樣本的數學期望和方差都是樣本的矩。

提示：對於總體機率分布，我們總能從形式上定義其中無窮項的和作為矩（假設求和的結果是一個有限的定值）。但是對於樣本而言，由於我們在現實世界中操作時不可能做到無限地抽樣，所以只能對有限個樣本定義矩。

如果使用樣本平均值的矩代表未知總體的矩，或者使用樣本方差的矩代表未知總體的方差，這種做法就叫做未知參數的矩估計法。一般來說，由於抽樣時隨機誤差的存在，樣本一般不能完全代表總體的信息，所以樣本的矩與總體的矩算出來一般是不同的。不過，當抽取的樣本容量很大時，可以想像樣本的矩有很大可能性趨近於總體的矩。

無偏估計與自由度修正

當不論參數取何值時，如果都存在一個只與樣本信息有關的統計量$g(X_{1},X_{2},...)$，使其計算結果的均值$E(g(X_{1},X_{2},...))$等於總體的數字特徵G，我們就稱$g(X_{1},X_{2},...)$是G的無偏差估計量（unbiased estimator）或無偏估計值（unbiased estimated value），簡稱無偏估計。

更通俗地講，如果所有可能樣本的某一統計量的平均數等於總體的相應參數，則稱該統計量為總體相應參數的無偏估計值。我們先通過實例計算說明無偏估計的含義，再通過公式演算論證樣本均值和方差估計公式的無偏性。

設有一個隨機變量可以等可能性地隨機取得3、4、5這3個數值，易知其期望值$\mu =4$，方差$\sigma ^{2}\approx 0.6667$，標準差$\sigma \approx 0.8165$。如果每次獨立、有放回地從中抽取2個值，總共可以得到$N^{n}=3^{2}=9$種不同的結果。其抽樣結果以及我們後續討論所需的相關量可以列舉如下：

樣本組編號	各組的2個具體樣本值	平均值估計量（樣本方差）$\mu ={\bar {x}}$	方差估計量（樣本方差）$s_{x}^{2}$	方差估計量的算術平均數$s_{x}$
1	3, 3	3.0	0.0	0.000
2	3, 4	3.5	0.5	0.7071
3	3, 5	4.0	2.0	1.4142
4	4, 3	3.5	0.5	0.7071
5	4, 4	4.0	0.0	0.0000
6	4, 5	4.5	0.5	0.7071
7	5, 3	4.0	2.0	1.4142
8	5, 4	4.5	0.5	0.7071
9	5, 5	5.0	0.0	0.0000
匯總		36.0	6.0	5.6568

根據上表中的數據，可以進而求出：

樣本統計量的計算及其與真實總體參數值的比較（僅取近似值）	初步結論
樣本平均數${\bar {x}}$的平均數$\mu _{\bar {x}}={\frac {36}{9}}=4=\mu$	樣本平均數就是總體的平均數的期望，或者說是其無偏估計
樣本方差$s_{x}^{2}$的平均數$\mu _{s_{x}^{2}}={\frac {6}{9}}\approx 0.6667\approx \sigma ^{2}$	樣本方差就是總體的平均數的期望，或者說是其無偏估計
樣本方差算術平方根$s_{x}$的平均數$\mu _{s_{x}}\approx {\frac {5.6568}{9}}\approx 0.6285\neq 0.8165\approx \sigma$	樣本方差的平方根不是總體的平均數的期望，或者不是其無偏估計

注意：(1)統計量的無偏性是從統計平均意義上而言的。對於單次抽到的樣本，其計算出的無偏估計量是有可能受隨機誤差的影響而偏移總體參數的。但是如果我們對無偏估計量在各個可能抽到的樣本之下求得期望值，就會發現計算結果等於總體參數，即體現了其無偏性。(2)無偏性保證的是單次測量中系統誤差的消除，但是不能消除每一次測量時的隨機誤差，隨機誤差的抵消仍然需要通過大量重複進行抽樣過程然後取平均值（期望）。

接下來，我們證明之前規定的樣本均值和樣本方差計算公式的無偏性：
${\begin{array}{l}E(EX)=E({\frac {X_{1}+X_{2}+...+X_{n}}{n}})\\={\frac {EX_{1}+EX_{2}+...+EX_{n}}{n}}\\={\frac {\mu +\mu +...+\mu }{n}}={\frac {n\mu }{n}}=\mu \end{array}}$

關於樣本分布，我們有下列結論：

• 樣本平均數${\bar {x}}$是總體平均數$\mu$的無偏估計值。
• 樣本方差$s^{2}$是總體方差$\sigma ^{2}$的無偏估計值。
• 樣本方差的算術平均數不是總體標準差$\sigma$的無偏估計值。

提示：樣本方差的算術平均數雖然不是總體標準差的無偏估計值，但是將其乘以一個與樣本容量有關的係數因子補救後，仍可以作為對總體標準差的無偏估計量。

習慣上，將樣本統計量中獨立變化的變數數目叫做該統計量的自由度（free degree）。我們看到，樣本方差的公式只是對總體方差公式中的自由度進行了調整，即成為了其無偏估計量。這種簡單但是管用的做法叫做對自由度的修正（correction）。

補充習題

參見

• 聯合分布的協方差與相關係數
• 列聯表與兩套分類標準的獨立性檢驗簡介
• 一元連續性樣本數據的差異顯著性檢驗簡介
• 統計學/統計抽樣
• 統計學/抽樣分布與抽樣誤差

外部連結

維基百科中的相關條目：

抽樣

維基百科中的相關條目：

參數估計

維基百科中的相關條目：

矩 (數學)

維基百科中的相關條目：

樣本均值

維基百科中的相關條目：

樣本方差

維基百科中的相關條目：

估計量的偏差

維基百科中的相關條目：

自由度 (統計學)

維基百科中的相關條目：

標準得分