Contents

1 概率论与数理统计-数理统计-参数估计

概率论与数理统计-数理统计-参数估计

统计推断的基本问题可以分为两大类，一类是估计问题，另一类是假设检验问题。本章讨论总体参数的点估计和区间估计.

点估计

设总体X的分布函数的形式已知，但它的一个或多个参数未知，借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题

点估计问题的一般提法如下: 设总体 $X$ 的分布函数 $F(x ; \\theta)$ 的形式为已知, $ \theta$ 是待估参数. $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是 $X$ 的一个样本 $, x\_{1}, x\_{2}, \\cdots, x\_{n}$ 是相应的一个样本值. 点估计间题就是要构造一个适当的统计量 $\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right),$ 用它的观察值 $\\hat{\\theta}\\left(x\_{1}, x\_{2}, \\cdots, x\_{n}\\right)$ 作为未知参数 $\\theta$ 的近似值. 我们称 $\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 为 $\\theta$ 的估计量,称 $\\hat{\\theta}\\left(x\_{1}, x\_{2}, \\cdots, x\_{n}\\right)$ 为 $\\theta$ 的估计值. 在不致混淆的情况下统称估计量和估计值为估计。

注意：由于估计量是样本的函数. 因此对于不同的样本值， $\\theta$ 的估计值一般是不相同的.

矩估计法

设 $X$ 为连续型随机变量,其概率密度为 $f\\left(x ; \\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right),$ 或 $X$ 为离散型随机变量,其分布律为 $P{X=x}=p\\left(x ; \\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right),$ 其中 $\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}$ 为待估参数 $, X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自 $X$ 的样本. 假设总体 $X$ 的前 $k$ 阶矩（$l=1,2, \\cdots, k$）： \[
\\mu\_{l}=E\\left(X^{l}\\right)=\\int\_{-\\infty}^{\\infty} x^{l} f\\left(x ; \\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right) \\mathrm{d} x \\quad(X \\text { 连续型 })
\] 或者： \[
\\mu\_{l}=E\\left(X^{l}\\right)=\\sum\_{x \\in R\_{X}} x^{\\prime} p\\left(x ; \\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right) \\quad(X \\text { 离散型 })
\] （其中 $R\_{X}$ 是 $X$ 可能取值的范围）一般来说,它们(总体 $X$ 的前 $k$ 阶矩)是 $\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}$ 的函数.

对于$(l=1,2, \\cdots, k)$,样本矩$A\_{l}=\\frac{1}{n} \\sum\_{i=1}^{n} X\_{i}^{l}$依概率收敛于相应的总体矩$\\mu\_{l}$, 样本矩的连续函数依概率收敛于相应的总体矩的连续函数。

这样我们就用样本矩作为相应总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。这种估计方法称为矩估计法。

矩估计法的具体做法：设总体的各阶矩（总体分布已知的情况下，各阶矩显然是参数的函数）： $\\left{\\begin{aligned} \\mu\_{1} \&=\\mu\_{1}\\left(\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right) \\ \\mu\_{2} \&=\\mu\_{2}\\left(\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right) \\ \& \\vdots \\ \\mu\_{k} \&=\\mu\_{k}\\left(\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}\\right) \\end{aligned}\\right.$ 这是一个包含 $k$ 个未知参数 $\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}$ 的联立方程组.一般来说,可以从中解出 $\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k},$ 得到： $\\left{\\begin{aligned} \\theta\_{1} \&=\\theta\_{1}\\left(\\mu\_{1}, \\mu\_{2}, \\cdots, \\mu\_{k}\\right) \\ \\theta\_{2} \&=\\theta\_{2}\\left(\\mu\_{1}, \\mu\_{2}, \\cdots, \\mu\_{k}\\right) \\ \& \\vdots \\ \\theta\_{k} \&=\\theta\_{k}\\left(\\mu\_{1}, \\mu\_{2}, \\cdots, \\mu\_{k}\\right) \\end{aligned}\\right.$ 然后以样本的各阶矩$A\_{i}$替换上面总体的各阶矩$\\mu\_i$, 即将$\\hat{\\theta}_{i}=\\theta_{i}\\left(A\_{1}, A\_{2}, \\cdots, A\_{k}\\right), i=1,2, \\cdots, k$作为$\\theta\_{i}, i=1,2, \\cdots, k$ 的估计量,这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。

例子：设总体 $X$ 在 $\[a, b\]$ 上服从均匀分布 $, a, b$ 未知 $. X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自$X$ 的样本,试求 $a, b$ 的矩估计量. $\\begin{aligned} \\mu\_{1} \&=E(X)=(a+b) / 2 \\ \\mu\_{2} \&=E\\left(X^{2}\\right)=D(X)+\[E(X)\]^{2} \\ \&=(b-a)^{2} / 12+(a+b)^{2} / 4 \\end{aligned}$ $\\left{\\begin{array}{l}a+b=2 \\mu\_{1} \\ b-a=\\sqrt{12\\left(\\mu\_{2}-\\mu\_{1}^{2}\\right)}\\end{array}\\right.$ 解得$a=\\mu\_{1}-\\sqrt{3\\left(\\mu\_{2}-\\mu\_{1}^{2}\\right)}, \\quad b=\\mu\_{1}+\\sqrt{3\\left(\\mu\_{2}-\\mu\_{1}^{2}\\right)}$ 然后以$A\_{1}, A\_{2}$ 代替 $\\mu\_{1}, \\mu\_{2},$ 得到 $a, b$ 的矩估计量： $\\hat{a}=A\_{1}-\\sqrt{3\\left(A\_{2}-A\_{1}^{2}\\right)}=\\bar{X}-\\sqrt{\\frac{3}{n} \\sum\_{i=1}^{n}\\left(X\_{i}-\\bar{X}\\right)^{2}}$ $\\hat{b}=A\_{1}+\\sqrt{3\\left(A\_{2}-A\_{1}^{2}\\right)}=\\bar{X}+\\sqrt{\\frac{3}{n} \\sum\_{i=1}^{n}\\left(X\_{i}-\\bar{X}\\right)^{2}}$ （注意到$\\frac{1}{n} \\sum\_{i=1}^{n} X\_{i}^{2}-\\bar{X}^{2}=$$\\frac{1}{n} \\sum\_{i=1}^{n}\\left(X\_{i}-\\bar{X}\\right)^{2}$）

极大似然估计法

极大似然估计法是英国统计学家费希尔(R.A.Fisher)于1922年提出的。它是建立在极大似然原理的基础上的一种估计方法。

极大似然原理

极大似然原理是人们从长期的生活实践中提炼出来的，其内容可以简单叙述为：若一个随机试验由若干可能结果：$A\_1,A\_2,\\cdots$,如果在一次试验中，结果$A\_1$发生了，那么就说明试验的条件对事件$A\_1$最有利，即认为事件$A\_1$发生的概率最大。比如两个箱子：甲箱放了99白球和1黑球，乙箱子放了99黑球和1白球，从两箱子任选一箱子，取出一球，结果取到了黑球，就认为当前情况下很可能取到黑球的概率最大（对取到黑球最有利），即最有可能是从乙箱子取出的，这也是“极大似然”之意。

似然函数

我们从极大似然原理出发，对离散型和连续型总体量汇总情形来阐述极大似然法的具体实现途径。为此我们先介绍似然函数的概念。

若总体 $X$ 属离散型,其分布律 $P{X=x}=p(x ; \\theta), \\theta \\in \\Theta$ 的形式为已知, $\\theta$为待估参数, $\\Theta$ 是 $\\theta$ 可能取值的范围. 设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自 $X$ 的样本,则 $X\_{1}$,$X\_{2}, \\cdots, X\_{n}$ 的联合分布律为$\\prod\_{i=1}^{n} p\\left(x\_{i} ; \\theta\\right)$，又设 $x\_{1}, x\_{2}, \\cdots, x\_{n}$ 是相应于样本 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 的一个样本值. 易知样本 $X\_{1},X\_{2}, \\cdots, X\_{n}$ 取到观察值 $x\_{1}, x\_{2}, \\cdots, x\_{n}$ 的概率（即事件 $\\left{X\_{1}=x\_{1}, X\_{2}=x\_{2}, \\cdots, X\_{n}\\right.$ $\\left.=x\_{n}\\right}$ 发生的概率）为： $L(\\theta)=L\\left(x\_{1}, x\_{2}, \\cdots, x\_{n} ; \\theta\\right)=\\prod\_{i=1}^{n} p\\left(x\_{i} ; \\theta\\right), \\theta \\in \\Theta$，$L(\\theta)$ ，称为样本的似然函数。

注意：这里的$x\_{1}, x\_{2}, \\cdots, x\_{n}$ 是已知的样本值，它们都是常数。

若总体 $X$ 属连续型,其概率密度 $f(x ; \\theta), \\theta \\in \\Theta$ 的形式已知, $\\theta$ 为待估参数，$\\Theta$ 是 $\\theta$ 可能取值的范围. 设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自 $X$ 的样本,则 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 的联合密度为$\\prod\_{i=1}^{n} f\\left(x\_{i}, \\theta\\right)$，又设 $x\_{1}, x\_{2}, \\cdots, x\_{n}$ 是相应于样本 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 的一个样本值. 则随机点$(X\_{1}, X\_{2}, \\cdots, X\_{n})$ 落在点 $\\left(x\_{1}, x\_{2}, \\cdots, x\_{n}\\right)$ 的邻域 $\\left(\\right.$ 边长分别为 $\\mathrm{d} x\_{1}, \\mathrm{~d} x\_{2}, \\cdots, \\mathrm{d} x\_{n}$ 的 $n$ 维立方体内的概率近似为$\\prod\_{i=1}^{n} f\\left(x\_{i} ; \\theta\\right) \\mathrm{d} x\_{i}$，又因为因子 $\\prod\_{i=1}^{n} \\mathrm{~d} x\_{i}$ 不随 $\\theta$ 而变,故将联合密度函数： $L(\\theta)=L\\left(x\_{1}, x\_{2}, \\cdots, x\_{n} ; \\theta\\right)=\\prod\_{i=1}^{n} f\\left(x\_{i} ; \\theta\\right)$，称为样本的似然函数。

参数$\\theta$的极大似然估计

关于最大似然估计原理,我们有直观想法: 现在已经取到样本值 $x\_{1}$ ，$x\_{2}, \\cdots, x\_{n}$ 了,这表明取到这一样本值的概率 $L(\\theta(x\_{1}, x\_{2}, \\cdots, x\_{n}))$ 比较大。也即在$ \theta \in \Theta$的范围内，找到一个$\hat\theta$，使取得样本值$x_{1}, x_{2}, \cdots, x_{n}$的概率$L(\theta)$最大。

设$L(\\theta) = L\\left(x\_{1}, x\_{2}, \\cdots, x\_{n} ; \\theta\\right)$为似然函数，若存在$\\hat{\\theta}\\left(x\_{1}, x\_{2}, \\cdots, x\_{n}\\right)$，使得$L(\\hat{\\theta})=\\max _{\\theta \\in \\Theta} L(\\theta)$，则称$\\hat{\\theta}\\left(x_{1}, x\_{2}, \\cdots, x\_{n}\\right)$为未知参数$\\theta$的极大似然估计值，$\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$为未知参数$\\theta$的极大似然估计值。

这样，确定最大似然估计量的问题就归结为微分学中的求最大值的问题了。

若似然函数可微

在很多情形下 $, p(x ; \\theta)$ 和 $f(x ; \\theta)$ 关于 $\\theta$ 可微, 这时 $\\hat{\\theta}$ 常可从方程$\\frac{\\mathrm{d}}{\\mathrm{d} \\theta} L(\\theta)=0$解得，该方程也称似然方程。又因 $L(\\theta)$ 与 $\\ln L(\\theta)$ 在同一 $\\theta$ 处取到极值，因此 $, \\theta$ 的最大似然估计 $\\theta$ 也可从方程$\\frac{\\mathrm{d}}{\\mathrm{d} \\theta} \\ln L(\\theta)=0$，该方程称为对数似然方程。函数取对数可以将连乘化为加法，后一方程求解往往比较方便。

例子：设 $X \\sim b(1, p) . X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自 $X$ 的一个样本,试求参数 $p$ 的极大似然估计量。设 $x\_{1}, x\_{2}, \\cdots, x\_{n}$ 是相应于样本 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 的一个样本值. $X$ 的分布律为$P{X=x}=p^{x}(1-p)^{1-x}, \\quad x=0,1$。故似然函数为$L(p)=\\prod\_{i=1}^{n} p^{x\_{i}}(1-p)^{1-x\_{i}}=p^{\\sum\_{i=1}^{n} x\_{i}}(1-p)^{n-\\sum\_{i=1}^{n} x\_{i}}$ 对数似然函数为$\\ln L(p)=\\left(\\sum\_{i=1}^{n} x\_{i}\\right) \\ln p+\\left(n-\\sum\_{i=1}^{n} x\_{i}\\right) \\ln (1-p)$ 令$\\frac{\\mathrm{d}}{\\mathrm{d} p} \\ln L(p)=\\frac{\\sum\_{i=1}^{n} x\_{i}}{p}-\\frac{n-\\sum\_{i=1}^{n} x\_{i}}{1-p}=0$ 解得p的极大似然估计值$\\hat{p}=\\frac{1}{n} \\sum\_{i=1}^{n} x\_{i}=\\bar{x}$， p的极大似然估计量为$\\hat{p}=\\frac{1}{n} \\sum\_{i=1}^{n} X\_{i}=\\bar{X}$

若似然函数不可微

除了一些简单的情况外,似然方程往往没有有限函数形式的解,这就需要用数值方法求近似解 .常用算法是牛顿一拉弗森（Newton-Raphson）算法。

多个参数的情况

若似然函数可微

最大似然估计法也适用于分布中含多个未知参数 $\\theta\_{1}, \\theta\_{2}, \\cdots, \\theta\_{k}$ 的情况. 这时,似然函数 $L$ 是这些未知参数的函数. 分别令：$\\frac{\\partial}{\\partial \\theta\_{i}} L=0, i=1,2, \\cdots, k$ 或者令：$\\frac{\\partial}{\\partial \\theta\_{i}} \\ln L=0, i=1,2, \\cdots, k$ 解上述由 $k$ 个方程组成的方程组,即可得到各未知参数 $\\theta\_{i}(i=1,2, \\cdots, k)$ 的最大似然估计值$\\hat{\\theta}\_{i}$。

若似然函数不可微

似然方程组没有有限函数形式的解,这就需要用数值方法求近似解 .常用拟牛顿法等最优化方法。

进一步阅读：https://kangcai.github.io/2018/12/17/ml-overall-9-algorithm-QNM/ 进一步阅读：最优化问题总结

基于截尾样本的最大似然估计

在研究产品的可靠性时，需要研究产品寿命T的各种特征。产品寿命T是一个随机变量，它的分布称为寿命分布，为了对寿命分布进行统计推断，就需要通过产品的寿命试验，以取得寿命数据。一种典型的寿命试验是,将随机抽取的 $n$ 个产品在时间 $t=0$ 时,同时投入试验,直到每个产品都失效。记录每一个产品的失效时间，这样得到的样本 (即由所有产品的失效时间 $0 \\leqslant t\_{1} \\leqslant t\_{2} \\leqslant \\cdots \\leqslant t\_{n}$ 所组成的样本) 叫完全样本。然而产品的寿命往往较长,由于时间和财力的限制，我们不可能得到完全样本,于是就考虑截尾寿命试验。截尾寿命试验常用的有两种 : 一种是定时截尾寿命试验。假设将随机抽取的 $n$ 个产品在时间 $t=0$ 时同时投入试验,试验进行到事先规定的截尾时间 $t\_{0}$ 停止。如试验截止时共有 $m$ 个产品失效,它们的失效时间分别为$0 \\leqslant t\_{1} \\leqslant t\_{2} \\leqslant \\cdots \\leqslant t\_{m} \\leqslant t\_{0}$，此时 $m$ 是一个随机变量,所得的样本 $t\_{1}, t\_{2}, \\cdots, t\_{m}$ 称为定时截尾样本 。另一种是定数截尾寿命试验。假设将随机抽取的 $n$ 个产品在 $t=0$ 时同时投入试验。试验进行到有 $m$ 个 $(m$ 是事先规定的 $, m\<n)$ 产品失效时停止， $m$ 个失效产品的失效时间分别为$0 \\leqslant t\_{1} \\leqslant t\_{2} \\leqslant \\cdots \\leqslant t\_{m}$，这里 $t\_{m}$ 是第 $m$ 个产品的失效时间 $, t\_{m}$ 是随机变量。所得的样本 $t\_{1}, t\_{2}, \\cdots, t\_{m}$ 称为定数截尾样本。

用截尾样本来进行统计推断是可靠性研究中常见的问题 .

设产品的寿命服从指数分布，其概率密度为$f(t)=\\left{\\begin{array}{l}\\frac{1}{\\theta} \\mathrm{e}^{-t / \\theta}, t\>0 \\ 0, \\quad t \\leqslant 0\\end{array}\\right.$ $\\theta\>0$ 未知 $.$ 设有 $n$ 个产品投入定数截尾试验,截尾数为 $m,$ 得定数截尾样本 $0 \\leqslant t\_{1} \\leqslant t\_{2} \\leqslant \\cdots \\leqslant t\_{m},$ 现在要利用这一样本来估计未知参数 $\\theta$ (即产品的平均寿命). 在时间区间 $\\left\[0, t\_{m}\\right\]$ 有 $m$ 个产品失效,而有 $n-m$ 个产品在 $t\_{m}$ 时尚未失效,即有 $n-m$ 个产品的寿命超过 $t\_{m} .$ 我们用最大似然估计法来估计 $\\theta,$ 为了确定似然函数,需要知道上述观察结果出现的概率 . 我们知道一个产品在 $\\left(t\_{i}, t\_{i}+\\mathrm{d} t\_{i}\\right\]$ 失效的概率近似地为 $f\\left(t\_{i}\\right) \\mathrm{d} t\_{i}=\\frac{1}{\\theta} \\mathrm{e}^{-t\_{i} / \\theta} \\mathrm{d} t\_{i}, i=1,2, \\cdots, m,$ 其余 $n-m$ 个产品寿命超过 $t\_{m}$ 的概率为 $\\left(\\int\_{t\_{m}}^{\\infty} \\frac{1}{\\theta} \\mathrm{e}^{-t / \\theta} \\mathrm{d} t\\right)^{n-m}=\\left(\\mathrm{e}^{-t\_{m} / \\theta}\\right)^{n-m},$ 故上述观察结果出现的概率近似为： $\\left(\\begin{array}{l}n \\ m\\end{array}\\right)\\left(\\frac{1}{\\theta} \\mathrm{e}^{-t\_{1} / \\theta} \\mathrm{d} t\_{1}\\right)\\left(\\frac{1}{\\theta} \\mathrm{e}^{-t\_{2} / \\theta} \\mathrm{d} t\_{2}\\right) \\cdots\\left(\\frac{1}{\\theta} \\mathrm{e}^{-t\_{m} / \\theta} \\mathrm{d} t\_{m}\\right)\\left(\\mathrm{e}^{-t\_{m} / \\theta}\\right)^{n-m}$ $\\quad=\\left(\\begin{array}{l}n \\ m\\end{array}\\right) \\frac{1}{\\theta^{m}} \\mathrm{e}^{-\\frac{1}{\\theta}\\left\[t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{m}\\right\]} \\mathrm{d} t\_{1} \\mathrm{~d} t\_{2} \\cdots \\mathrm{d} t\_{m}$ 其中$\\mathrm{d} t\_{1}, \\cdots, \\mathrm{d} t\_{m}$为常数。因忽略一个常数因子不影响θ的最大似然估计，故可取似然函数为$L(\\theta)=\\frac{1}{\\theta^{m}} \\mathrm{e}^{-\\frac{1}{\\theta}\\left\[t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{m}\\right\]}$ 对数似然函数为$\\ln L(\\theta)=-m \\ln \\theta-\\frac{1}{\\theta}\\left\[t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{m}\\right\]$ 令$\\frac{\\mathrm{d}}{\\mathrm{d} \\theta} \\ln L(\\theta)=-\\frac{m}{\\theta}+\\frac{1}{\\theta^{2}}\\left\[t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{m}\\right\]=0$ 于是得到$\\theta$ 的最大似然估计为$\\hat{\\theta}=\\frac{s\\left(t\_{m}\\right)}{m}$，其中$s\\left(t\_{m}\\right)=t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{m}$ 称为总试验时间 $,$ 它表示直至时刻 $t\_{m}$ 为止n个产品的试验时间的总和。

对于定时截尾样本$0 \\leqslant t\_{1} \\leqslant t\_{2} \\leqslant \\cdots \\leqslant t\_{m} \\leqslant t\_{0}$（其中 $t\_{0}$ 是截尾时间 $)$, 与上面的讨论类似，可得似然函数为$L(\\theta)=\\frac{1}{\\theta^{m}} \\mathrm{e}^{-\\frac{1}{\\theta}\\left\[t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{0}\\right\]}$ $\\theta$ 的最大似然估计为$\\hat{\\theta}=\\frac{s\\left(t\_{0}\\right)}{m}$，其中$s\\left(t\_{0}\\right)=t\_{1}+t\_{2}+\\cdots+t\_{m}+(n-m) t\_{0}$ 称为总试验时间, 它表示直至时刻 $t\_{0}$ 为止n个产品的试验时间的总和。

估计量的评选标准

自前一节可以看到，对于同一参数，用不同的估计方法求出的估计量可能不相同.而且，很明显，原则上任何统计量都可以作为未知参数的估计量。我们自然会问，采用哪一个估计量为好呢？这就涉及用什么样的标准来评价估计量的问题。下面介绍几个常用的标准。

无偏性

设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是总体 $X$ 的一个样本 $, \\theta \\in \\Theta$ 是包含在总体 $X$ 的分布中的待估参数,这里 $\\Theta$ 是 $\\theta$ 的取值范围.

无偏性：若估计量 $\\hat{\\theta}=\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 的数学期望 $E(\\hat{\\theta})$ 存在,且对于任意 $\\theta \\in \\Theta$ 有$E(\\hat{\\theta})=\\theta$，则称$\\hat{\\theta}$是 $\\theta$ 的无偏估计量。

估计量的无偏性是说对于某些样本值,由这一估计量得到的估计值相对于真值来说偏大,有些则偏小. 反复将这一估计量使用多次,就“平均”来说其偏差为零. 在科学技术中 $E(\\hat{\\theta})-\\theta$ 称为以含作为 $\\theta$ 的估计的系统误差. 无偏估计的实际意义就是无系统误差.

例子：设总体 $X$ 的均值为 $\\mu,$ 方差 $\\sigma^{2}\>0$ 均未知，前面已经计算过$E(\\bar{X})=\\mu, \\quad E\\left(S^{2}\\right)=\\sigma^{2}$，则不论总体服从什么分布,样本均值 $\\bar{X}$ 是总体均值 $\\mu$ 的无偏估计；样本方差$S^{2}=\\frac{1}{n-1} \\sum\_{i=1}^{n}\\left(X\_{i}-\\bar{X}\\right)^{2}$ 是总体方差的无偏估计，而估计量$\\frac{1}{n} \\sum\_{i=1}^{n}\\left(X\_{i}-\\right.$$\\bar{X})^{2}$ 却不是 $\\sigma^{2}$ 的无偏估计,因此我们一般取 $S^{2}$ 作为 $\\sigma^{2}$ 的估计量。

有效性

现在来比较参数 $\\theta$ 的两个无偏估计量 $\\hat{\\theta}_{1}$ 和 $\\hat{\\theta}_{2},$ 如果在样本容量 $n$ 相同的情况下, $\\hat{\\theta}_{1}$ 的观察值较 $\\hat{\\theta}_{2}$ 更密集在真值 $\\theta$ 的附近,我们就认为 $\\hat{\\theta}_{1}$ 较 $\\hat{\\theta}_{2}$ 为理想. 由于方差是随机变量取值与其数学期望(无偏估计的数学期望 $\\left.E\\left(\\hat{\\theta}_{1}\\right)=E\\left(\\hat{\\theta}_{2}\\right)=\\theta\\right)$ 的偏离程度的度量,所以无偏估计以方差小者为好. 这就引出了估计量的有效性这一概念.

有效性：设 $\\hat{\\theta}_{1}=\\hat{\\theta}_{1}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 与 $\\hat{\\theta}_{2}=\\hat{\\theta}_{2}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 都是 $\\theta$ 的无偏估计量,若对于任意 $\\theta \\in \\Theta$,有$D\\left(\\hat{\\theta}_{1}\\right) \\leqslant D\\left(\\hat{\\theta}_{2}\\right)$，且至少对于某一个 $\\theta \\in \\Theta$ 上式中的不等号成立,则称 $\\hat{\\theta}_{1}$ 较 $\\hat{\\theta}_{2}$ 有效.

相合性

前面讲的无偏性与有效性都是在样本容量n固定的前提下提出的。我们自然希望随着样本容量的增大，一个估计量的值稳定于待估参数的真值。这样，对估计量又有下述相合性的要求。

相合性 ：设 $\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 为参数 $\\theta$ 的估计量, 若对于任意 $\\theta \\in \\Theta,$ 当 $n \\rightarrow \\infty$时 $\\hat{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 依概率收敛于 $\\theta,$ 则称 $\\hat{\\theta}$ 为 $\\theta$ 的相合估计量. 即,若对于任意 $\\theta \\in \\Theta$ 都满足 : 对于任意 $\\varepsilon\>0,$ 有$\\lim \_{n \\rightarrow \\infty} P{|\\hat{\\theta}-\\theta|\<\\varepsilon}=1$，则称 $\\hat{\\theta}$ 是 $\\theta$ 的相合估计量。

在矩估计法中，我们知道样本 $k(k \\geqslant 1)$ 阶矩是总体 $X$ 的 $k$ 阶矩 $\\mu\_{k}=E\\left(X^{k}\\right)$ 的相合估计量（样本矩依概率收敛于对应总体矩），进而若待估参数 $\\theta=g\\left(\\mu\_{1}, \\mu\_{2}, \\cdots, \\mu\_{k}\\right),$ 其中 $g$ 为连续函数,则 $\\theta$ 的矩估计量 $\\hat{\\theta}=g\\left(\\hat{\\mu}_{1}, \\hat{\\mu}_{2}, \\cdots, \\hat{\\mu}_{k}\\right)=g\\left(A_{1}, A\_{2}, \\cdots, A\_{k}\\right)$ 是 $\\theta$ 的相合估计量（样本矩的连续函数依概率收敛于对应总体矩的连续函数）

极大似然估计法得到的估计量, 在一定条件下也具有相合性. 其详细讨论已超出本书范围,从略.

上述无偏性、有效性、相合性是评价估计量的一些基本标准，其他的标准这里就不讲了。

区间估计

对于一个未知量,人们在测量或计算时,常不以得到近似值为满足,还需估计误差,即要求知道近似值的精确程度(亦即所求真值所在的范围). 类似地,对于未知参数 $\\theta,$ 除了求出它的点估计 $\\hat{\\theta}$ 外,我们还希望估计出一个范围,并希望知道这个范围包含参数 $\\theta$ 真值的可信程度. 这样的范围通常以区间的形式给出,同时还给出此区间包含参数 $\\theta$ 真值的可信程度. 这种形式的估计称为区间估计,这样的区间即所谓置信区间. 现在我们引人置信区间的定义.

置信区间

设总体 $X$ 的分布函数 $F(x ; \\theta)$ 含有一个未知参数 $\\theta, \\theta \\in \\Theta(\\Theta$ 是 $\\theta$ 可能取值的范围 $)$, 对于给定值 $\\alpha(0\<\\alpha\<1),$ 若由来自 $X$ 的样本 $X\_{1}, X\_{2}, \\cdots,$ $X\_{n}$ 确定的两个统计量 $\\theta=\\underline{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 和 $\\bar{\\theta}=\\bar{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)(\\theta\<\\bar{\\theta}),$ 对于任意 $\\theta \\in \\Theta$ 满足$P\\left{\\underline{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)\<\\theta\<\\bar{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)\\right} \\geqslant 1-\\alpha$，则称随机区间 $(\\theta, \\bar{\\theta})$ 是 $\\theta$ 的置信水平为 $1-\\alpha$ 的置信区间 $, \\theta$ 和 $\\bar{\\theta}$ 分别称为置信水平为 $1-\\alpha$ 的双侧置信区间的置信下限和置信上限, $1-\\alpha$ 称为置信水平.

$P\\left{\\underline{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)\<\\theta\<\\bar{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)\\right} \\geqslant 1-\\alpha$的含义：若反复抽样多次(各次得到的样本的容量相等,都是 $n$ ). 每个样本值确定一个区间 $(\\theta, \\bar{\\theta})$,每个这样的区间要么包含 $\\theta$ 的真值,要么不包含 $\\theta$ 的真值. 按伯努利大数定理,在这么多的区间中,包含 $\\theta$ 真值的约占 $100(1-\\alpha) %$,不包含 $\\theta$ 真值的约仅占 $100 \\alpha % .$ 例如,若 $\\alpha=0.01,$ 反复抽样 1000 次,则得到的 1000 个区间中不包含 $\\theta$ 真值的约仅为 10 个.

当 $X$ 是连续型随机变量时,对于给定的 $\\alpha,$ 按 $P{\\theta\<\\theta\<\\bar{\\theta}}$ $=1-\\alpha$ 求置信区间 $.$ 而当 $X$ 是离散型随机变量时,对于给定的 $\\alpha,$ 可能找不到 $P{\\theta\<\\theta\<\\bar{\\theta}}$ 恰为 $1-\\alpha$的区间 $(\\theta, \\bar{\\theta})$ ，则取 $P{\\theta\<\\theta\<\\bar{\\theta}}$至少为 $1-\\alpha,$ 且尽可能地接近 $1-\\alpha$区间 $(\\theta, \\bar{\\theta})$ （向外取近似区间）

例子设总体 $X \\sim N\\left(\\mu, \\sigma^{2}\\right), \\sigma^{2}$ 为已知 $, \\mu$ 为未知,设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自$X$ 的样本,求 $\\mu$ 的置信水平为 $1-\\alpha$ 的置信区间. 我们知道 $\\bar{X}$ 是 $\\mu$ 的无偏估计. 且有$\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}} \\sim N(0,1)$， $\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}}$ 所服从的分布 $N(0,1)$ 不依赖于任何未知参数. 按标准正态分布的上 $\\alpha$ 分位点的定义，有： $P\\left{\\left|\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}}\\right|\<z\_{\\alpha / 2}\\right}=1-\\alpha$ 即$P\\left{\\bar{X}-\\frac{\\sigma}{\\sqrt{n}} z\_{a / 2}\<\\mu\<\\bar{X}+\\frac{\\sigma}{\\sqrt{n}} z\_{a / 2}\\right}=1-\\alpha$ 这样,我们就得到了 $\\mu$ 的一个置信水平为 $1-\\alpha$ 的置信区间： $\\left(\\bar{X}-\\frac{\\sigma}{\\sqrt{n}} z\_{\\alpha / 2}, \\quad \\bar{X}+\\frac{\\sigma}{\\sqrt{n}} z\_{\\alpha / 2}\\right)$ 这样的置信区间常写成$\\left(\\bar{X} \\pm \\frac{\\sigma}{\\sqrt{n}} z\_{\\alpha / 2}\\right)$ 若取$1-\\alpha=0.95,$ 即 $\\alpha=0.05,$ 又若 $\\sigma=1, n=16,$ 查表得 $z_{\alpha / 2}=z_{0.025}=1.96 $。于是我们得到一个置信水平为 0.95 的置信区间$\left(\bar{X} \pm \frac{1}{\sqrt{16}} \times 1.96\right), \quad$ 即 $(\\bar{X} \\pm 0.49)$ 再者,若由一个样本值算得样本均值的观察值 $\\bar{x}=5.20,$ 则得到一个区间$(5.20 \\pm 0.49),$ 即 $\\quad(4.71,5.69) .$ 注意,这已经不是随机区间了.但我们仍称它为置信水平为 0.95 的置信区间. 含义:若反复抽样多次,每个样本值 $(n=16)$ 按置信区间定义确定一个区间,按上面的解释,在这么多的区间中,包含 $\\mu$ 的约占 $95 %$,不包含 $\\mu$ 的约仅占 $5 % .$ 现在抽样得到区间 $(4.71,5.69),$ 则该区间属于那些包含 $\\mu$ 的区间的可信程度为 $95 %$, 或“该区间包含 $\\mu$”这一陈述的可信程度为 $95 %$.

置信水平为 $1-\\alpha$ 的置信区间并不是唯一的. 以上面的例子来说,若给定 $\\alpha=0.05$则又有 $P\\left{-z\_{0.04}\<\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}}\<z\_{0.01}\\right}=0.95$，即$P\\left{\\bar{X}-\\frac{\\sigma}{\\sqrt{n}} z\_{0.01}\<\\mu\<\\bar{X}+\\frac{\\sigma}{\\sqrt{n}} z\_{0.04}\\right}=0.95$，即$\\left(\\bar{X}-\\frac{\\sigma}{\\sqrt{n}} z\_{0.01}, \\bar{X}+\\frac{\\sigma}{\\sqrt{n}} z\_{0.04}\\right)$ 与之前得到的置信区间比较可以得到：使用$z\_{\\alpha/2}$的区间更小，区间小则精度高。易知，像 $N(0,1)$ 分布那样其概率密度的图形是单峰且对称的情况,当 $n$ 固定时，使用$z\_{\\alpha/2}$的区间其长度为最短,我们自然选用它.

寻求未知参数 $\\theta$ 的置信区间的具体做法如下： 1）寻求一个样本 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 和 $\\theta$ 的函数 $W=W\\left(X\_{1}, X\_{2}, \\cdots, X\_{n} ; \\theta\\right),$ 使得 $W$ 的分布不依赖于 $\\theta$ 以及其他未知参数,称具有这种性质的函数 $W$ 为枢轴量. 2）对于给定的置信水平 $1-\\alpha,$ 定出两个常数 $a, b$ 使得$P\\left{a\<W\\left(X\_{1}, X\_{2}, \\cdots, X\_{n} ; \\theta\\right)\<b\\right}=1-\\alpha$，若能从 $a\<W\\left(X\_{1}, X\_{2}, \\cdots, X\_{n} ; \\theta\\right)\<b$ 得到与之等价的 $\\theta$ 的不等式 $\\underline{\\theta}\<\\theta\<\\bar{\\theta},$ 其中$\\theta=\\underline{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right), \\bar{\\theta}=\\bar{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right)$ 都是统计量.那么 $(\\underline{\\theta}, \\bar{\\theta})$ 就是 $\\theta$ 的一个置信水平为 $1-\\alpha$ 的置信区间.

函数 $W\\left(X\_{1}, X\_{2}, \\cdots, X\_{n} ; \\theta\\right)$ 的构造,通常可以从 $\\theta$ 的点估计着手考虑.常用的正态总体的参数的置信区间可以用上述步骤推得.

正态总体均值与方差的区间估计

设已给定置信水平为 $1-\\alpha$,并设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 为总体 $N\\left(\\mu, \\sigma^{2}\\right)$ 的样本. $\\bar{X}$, $S^{2}$ 分别是样本均值和样本方差.

单个总体 $N\\left(\\mu, \\sigma^{2}\\right)$ 的情况

均值 $\\mu$ 的置信区间

$\\sigma^{2}$ 为已知

$\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}} \\sim N(0,1)$，且 $\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}}$是枢轴量，上面置信区间的例子中已得到 $\\mu$ 的一个置信水平为 $1-\\alpha$ 的置信区间为$\\left(\\bar{X} \\pm \\frac{\\sigma}{\\sqrt{n}} z\_{\\alpha / 2}\\right)$

$\\sigma^{2}$ 为未知

在实际问题中,总体方差 $\\sigma^{2}$ 未知的情况居多。因此不能使用上面给出的置信区间,因其中含未知参数 $\\sigma .$

考虑到到 $S^{2}$ 是 $\\sigma^{2}$ 的无偏估计,将$\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}} \\sim N(0,1)$中的 $\\sigma$ 换成 $S=\\sqrt{S^{2}}$，再根据t分布的性质$\\frac{\\bar{X}-\\mu}{S / \\sqrt{n}} \\sim t(n-1)$ 即$\\frac{\\bar{X}-\\mu}{S / \\sqrt{n}}$是枢轴量。可得$P\\left{-t\_{\\alpha / 2}(n-1)\<\\frac{\\bar{X}-\\mu}{S / \\sqrt{n}}\<t\_{a / 2}(n-1)\\right}=1-\\alpha$，$P\\left{\\bar{X}-\\frac{S}{\\sqrt{n}} t\_{\\alpha / 2}(n-1)\<\\mu\<\\bar{X}+\\frac{S}{\\sqrt{n}} t\_{\\alpha / 2}(n-1)\\right}=1-\\alpha$

于是得 $\\mu$ 的一个置信水平为 $1-\\alpha$ 的置信区间$\\left(\\bar{X} \\pm \\frac{S}{\\sqrt{n}} t\_{a / 2}(n-1)\\right)$

方差 $\\sigma^{2}$ 的置信区间

$\\mu$ 已知的情况

由于样本各 $X\_{i}$ 相互独立,且与总体 $X$ 同分布, 故每个 $\\frac{X\_{i}-\\mu}{\\sigma} \\sim N(0,1)$且相互独立，则$\\frac{1}{\\sigma^{2}} \\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}=\\sum\_{i=1}^{n}\\left(\\frac{X\_{i}-\\mu}{\\sigma}\\right)^{2} \\sim \\chi^{2}(n)$，且该分布不依赖于任何未知参数，故此样本函数可作为枢轴量。由$\\chi^2$分布上的$\\alpha$分位点的定义，有$P\\left(\\chi\_{1-\\frac{\\alpha}{2}}^{2}(n)\<\\frac{1}{\\sigma^{2}} \\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}\<\\chi\_{\\frac{\\alpha}{2}}^{2}(n)\\right)=1-\\alpha$ 即$P\\left(\\frac{\\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}}{\\chi\_{\\frac{\\alpha}{2}}^{2}(n)}\<\\sigma^{2}\<\\frac{\\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}}{\\chi\_{1-\\frac{\\alpha}{2}}^{2}(n)}\\right)=1-\\alpha$ 由此得到方差$\\sigma^2$的一个置信度为$1-\\alpha$的置信区间： $\\left(\\frac{\\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}}{\\chi\_{\\frac{\\alpha}{2}}^{2}(n)}, \\frac{\\sum\_{i=1}^{n}\\left(X\_{i}-\\mu\\right)^{2}}{\\chi\_{1-\\frac{\\alpha}{2}}^{2}(n)}\\right)$

$\\mu$ 未知的情况

实际问题的需要,一般是 $\\mu$ 未知的情况.

$\\sigma^{2}$ 的无偏估计为 $S^{2},$ 再根据卡方分布的性质以及正态总体的抽样分布：$\\frac{(n-1) S^{2}}{\\sigma^{2}} \\sim \\chi^{2}(n-1)$,

且上式右端的分布不依赖于任何未知参数，取 $\\frac{(n-1) S^{2}}{\\sigma^{2}}$ 作为枢轴量, 得$P\\left{\\chi\_{1-\\alpha / 2}^{2}(n-1)\<\\frac{(n-1) S^{2}}{\\sigma^{2}}\<\\chi\_{a / 2}^{2}(n-1)\\right}=1-\\alpha$，即$P\\left{\\frac{(n-1) S^{2}}{\\chi\_{a / 2}^{2}(n-1)}\<\\sigma^{2}\<\\frac{(n-1) S^{2}}{\\chi\_{1}^{2}-\\alpha / 2(n-1)}\\right}=1-\\alpha$，这就得到方差 $\\sigma^{2}$ 的一个置信水平为 $1-\\alpha$ 的貴信区间： $\\left(\\frac{(n-1) S^{2}}{\\chi\_{\\alpha / 2}^{2}(n-1)}, \\frac{(n-1) S^{2}}{\\chi\_{1-\\alpha / 2}^{2}(n-1)}\\right)$ 注意：在密度函数不对称时,如 $\\chi^{2}$ 分布和 $F$ 分布,习惯上仍是取对称的分位点来确定置信区间的.（如上面取了分位点 $\\chi\_{1-a / 2}^{2}(n-1)$ 与 $\\chi\_{\\alpha / 2}^{2}(n-1)$ ）。

两个总体 $N\\left(\\mu\_{1}, \\sigma\_{1}^{2}\\right), N\\left(\\mu\_{2}, \\sigma\_{2}^{2}\\right)$ 的情况

在实际中常遇到下面的问题 : 已知产品的某一质量指标服从正态分布,但由于原料、设备条件、操作人员不同,或工艺过程的改变等因素,引起总体均值、总体方差有所改变. 我们需要知道这些变化有多大,这就需要考虑两个正态总体均值差或方差比的估计问题.

设已给定置信水平为 $1-\\alpha$,并设 $X\_{1}, X\_{2}, \\cdots, X\_{n\_{1}}$ 是来自第一个总体的样本 $Y\_{1}, Y\_{2}, \\cdots, Y\_{n\_{2}}$ 是来自第二个总体的样本,这两个样本相互独立. 且设 $\\bar{X}, \\bar{Y}$ 分别为第一、第二个总体的样本均值, $S\_{1}^{2}, S\_{2}^{2}$ 分别是第一、第二个总体的样本方差.

两个总体均值差 $\\mu\_{1}-\\mu\_{2}$ 的置信区间

$\\sigma\_{1}^{2}, \\sigma\_{2}^{2}$ 均为已知

因 $\\bar{X}, \\bar{Y}$ 分别为 $\\mu\_{1}, \\mu\_{2}$ 的无偏估计,故 $\\bar{X}-\\bar{Y}$ 是 $\\mu\_{1}-\\mu\_{2}$的无偏估计. 由 $\\bar{X}, \\bar{Y}$ 的独立性以及 $\\bar{X} \\sim N\\left(\\mu\_{1}, \\sigma\_{1}^{2} / n\_{1}\\right), \\bar{Y} \\sim N\\left(\\mu\_{2}, \\sigma\_{2}^{2} / n\_{2}\\right)$ 得$\\bar{X}-\\bar{Y} \\sim N\\left(\\mu\_{1}-\\mu\_{2}, \\frac{\\sigma\_{1}^{2}}{n\_{1}}+\\frac{\\sigma\_{2}^{2}}{n\_{2}}\\right)$，得$\\frac{(\\bar{X}-\\bar{Y})-\\left(\\mu\_{1}-\\mu\_{2}\\right)}{\\sqrt{\\frac{\\sigma\_{1}^{2}}{n\_{1}}+\\frac{\\sigma\_{2}^{2}}{n\_{2}}}} \\sim N(0,1)$ 取左边的函数为枢轴量,即得 $\\mu\_{1}-\\mu\_{2}$ 的一个置信水平为 $1-\\alpha$ 的置信区间： $\\left(\\bar{X}-\\bar{Y} \\pm z\_{a / 2} \\sqrt{\\frac{\\sigma\_{1}^{2}}{n\_{1}}+\\frac{\\sigma\_{2}^{2}}{n\_{2}}}\\right)$

$\\sigma\_{1}^{2}=\\sigma\_{2}^{2}=\\sigma^{2},$ 但 $\\sigma^{2}$ 为未知

根据正态总体的抽样分布有：$\\frac{(\\bar{X}-\\bar{Y})-\\left(\\mu\_{1}-\\mu\_{2}\\right)}{S\_{w} \\sqrt{\\frac{1}{n\_{1}}+\\frac{1}{n\_{2}}}} \\sim t\\left(n\_{1}+n\_{2}-2\\right)$，取左边的函数为枢轴量，可得 $\\mu\_{1}-\\mu\_{2}$ 的一个置信水平为 $1-\\alpha$ 的置信区间为： $\\left(\\bar{X}-\\bar{Y} \\pm t\_{a / 2}\\left(n\_{1}+n\_{2}-2\\right) S\_{w} \\sqrt{\\frac{1}{n\_{1}}+\\frac{1}{n\_{2}}}\\right)$ 这里$S\_{w}^{2}=\\frac{\\left(n\_{1}-1\\right) S\_{1}^{2}+\\left(n\_{2}-1\\right) S\_{2}^{2}}{n\_{1}+n\_{2}-2}, S\_{w}=\\sqrt{S\_{w}^{2}}$

两个总体方差比 $\\sigma\_{1}^{2} / \\sigma\_{2}^{2}$ 的置信区间

我们仅讨论总体均值 $\\mu\_{1}, \\mu\_{2}$ 均为未知的情况。

根据正态总体的抽样分布有：$\\frac{S\_{1}^{2} / S\_{2}^{2}}{\\sigma\_{1}^{2} / \\sigma\_{2}^{2}} \\sim F\\left(n\_{1}-1, n\_{2}-1\\right)$，并且分布 $F\\left(n\_{1}-1, n\_{2}-1\\right)$ 不依赖任何未知参数. 取 $\\frac{S\_{1}^{2} / S\_{2}^{2}}{\\sigma\_{1}^{2} / \\sigma\_{2}^{2}}$ 为枢轴量，得$P\\left{F\_{1-\\alpha / 2}\\left(n\_{1}-1, n\_{2}-1\\right)\<\\frac{S\_{1}^{2} / S\_{2}^{2}}{\\sigma\_{1}^{2} / \\sigma\_{2}^{2}}\<F\_{a / 2}\\left(n\_{1}-1, n\_{2}-1\\right)\\right}=1-\\alpha$ 即$P\\left(\\frac{S\_{1}^{2}}{S\_{2}^{2}} \\frac{1}{F\_{a / 2}\\left(n\_{1}-1, n\_{2}-1\\right)}\<\\frac{\\sigma\_{1}^{2}}{\\sigma\_{2}^{2}}\<\\frac{S\_{1}^{2}}{S\_{2}^{2}} \\frac{1}{F\_{1-\\alpha / 2}\\left(n\_{1}-1, n\_{2}-1\\right)}\\right}=1-\\alpha$ 于是得 $\\sigma\_{1}^{2} / \\sigma\_{2}^{2}$ 的一个置信水平为 $1-\\alpha$ 的置信区间为： $\\left(\\frac{S\_{1}^{2}}{S\_{2}^{2}} \\frac{1}{F\_{a / 2}\\left(n\_{1}-1, n\_{2}-1\\right)}, \\frac{S\_{1}^{2}}{S\_{2}^{2}} \\frac{1}{F\_{1-a / 2}\\left(n\_{1}-1, n\_{2}-1\\right)}\\right)$

若 $\\sigma\_{1}^{2} / \\sigma\_{2}^{2}$ 的置信区间包含 1 ,在实际中我们就认为 $\\sigma\_{1}^{2}, \\sigma\_{2}^{2}$ 两者没有显著差别。

正态总体的区间估计汇总

非正态整体参数的区间估计

前面我们主要介绍了关于正态总体参数的区间估计问题，但再很多的实际问题中，有时我们无法判断总体是否服从正态分布。这时，只要样本容量n很大($n\\leqslant 50$)时，可用中心极限定理求得其近似的置信区间。

对于总体 $X,$ 设 $E(X)=\\mu, D(X)=\\sigma^{2}($ 已知 $)$ 均存在, $\\mu$ 是未知参数. 设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是来自 $X$ 的一组样本, 根据中心极限定理, 对充分大的 $n,$ 近似地有$\\frac{\\sum\_{i=1}^{n} X\_{i}-n \\mu}{\\sqrt{n} \\sigma} \\sim N(0,1)$ 即$\\frac{\\bar{X}-\\mu}{\\sigma / \\sqrt{n}} \\sim N(0,1)$，因此，当样本容量n充分大时，若总体方差$\\sigma^2$已知，可得总体均值$\\mu$的置信度为$1-\\alpha$的一个近似区间$\\begin{equation} \\left(\\bar{X} \\pm \\frac{\\sigma}{\\sqrt{n}} z\_{\\frac{\\alpha}{2}}\\right) \\end{equation}$ 若总体方差$\\sigma^2$未知，用$\\sigma$的估计无偏估计$S$来替代，总体均值$\\mu$的置信度为$1-\\alpha$的一个近似区间$\\left(\\bar{X} \\pm \\frac{S}{\\sqrt{n}} z\_{\\frac{\\alpha}{2}}\\right)$

可以看到，当样本容量n充分大时，非正态总体均值$\\mu$的置信区间于正态总体区间估计一致。

$(0-1)$ 分布参数的区间估计

设有一容量 $n\>50$ 的大样本,它来自 $(0-1)$ 分布的总体 $X$, $X$ 的分布律为$f(x ; p)=p^{x}(1-p)^{1-x}, x=0,1$ 已知 $(0-1)$ 分布的均值和方差分别为$\\mu=p, \\quad \\sigma^{2}=p(1-p)$, 设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是一个样本. 因样本容量 $n$ 较大,由中心极限定理, 知$\\frac{\\sum\_{i=1}^{n} X\_{i}-n p}{\\sqrt{n p(1-p)}}=\\frac{n \\bar{X}-n p}{\\sqrt{n p(1-p)}}$近似地服从 $N$ (0,1)分布, 于是有$P\\left{-z\_{a / 2}\<\\frac{n \\bar{X}-n p}{\\sqrt{n p(1-p)}}\<z\_{a / 2}\\right} \\approx 1-\\alpha$ 而不等式$-z\_{\\alpha / 2}\<\\frac{n \\bar{X}-n p}{\\sqrt{n p(1-p)}}\<z\_{a / 2}$等价于$\\left(n+z\_{\\alpha / 2}^{2}\\right) p^{2}-\\left(2 n \\bar{X}+z\_{\\alpha / 2}^{2}\\right) p+n \\bar{X}^{2}\<0$ 记：$p\_{1}=\\frac{1}{2 a}\\left(-b-\\sqrt{b^{2}-4 a c}\\right)$ $p\_{2}=\\frac{1}{2 a}\\left(-b+\\sqrt{b^{2}-4 a c}\\right),$ 其中$a=n+z\_{\\alpha / 2}^{2}, b=-\\left(2 n \\bar{X}+z\_{\\alpha / 2}^{2}\\right), c=n \\bar{X}^{2}$ 于是得得 $p$ 的一个近似的置信水平为 $1-\\alpha$ 的置信区间为$\\left(p\_{1}, p\_{2}\\right)$

单侧置信区间

前面讨论中,对于未知参数 $\\theta,$ 我们给出两个统计量 $\\theta, \\bar{\\theta},$ 得到 $\\theta$ 的双侧置信区间 $(\\underline{\\theta}, \\bar{\\theta}) .$ 但在某些实际问题中,例如，对于设备、元件的寿命来说,平均寿命长是我们所希望的,我们关心的是平均寿命 $\\theta$ 的“下限”;与之相反,在考虑化学药品中杂质含量的均值 $\\mu$ 时,我们常关心参数 $\\mu$ 的“上限”。这就引出了单侧置信区间的概念.

对于给定值 $\\alpha(0\<\\alpha\<1),$ 若由样本 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 确定的统计量 $\\theta=\\underline\\theta\\left(X\_{1},\\right.\\left.X\_{2}, \\cdots, X\_{n}\\right),$ 对于任意 $\\theta \\in \\Theta$ 满足$P{\\theta\>\\theta} \\geqslant 1-\\alpha$，称随机区间 $(\\underline\\theta, \\infty)$ 是 $\\theta$ 的置信水平为 $1-\\alpha$ 的单侧置信区间 $, \\underline\\theta$ 称为 $\\theta$ 的置信水平为 $1-\\alpha$ 的单侧置信下限.

对于给定值 $\\alpha(0\<\\alpha\<1),$ 又若统计量 $\\bar{\\theta}=\\bar{\\theta}\\left(X\_{1}, X\_{2}, \\cdots, X\_{n}\\right),$ 对于任意 $\\theta \\in \\Theta$ 满足$P{\\theta\<\\bar{\\theta}} \\geqslant 1-\\alpha$，称随机区间 $(-\\infty, \\bar{\\theta})$ 是 $\\theta$ 的置信水平为 $1-\\alpha$ 的单侧置信区间 $, \\bar{\\theta}$ 称为 $\\theta$ 的置信水平为 $1-\\alpha$ 的单侧置信上限.

例子例如对于正态总体 $X,$ 若均值 $\\mu,$ 方差 $\\sigma^{2}$ 均为未知, 设 $X\_{1}, X\_{2}, \\cdots, X\_{n}$ 是一个样本, 由$\\frac{\\bar{X}-\\mu}{S / \\sqrt{n}} \\sim t(n-1)$ 有$P\\left{\\frac{\\bar{X}-\\mu}{S / \\sqrt{n}}\<t\_{a}(n-1)\\right}=1-\\alpha$ 即$P\\left{\\mu\>\\bar{X}-\\frac{S}{\\sqrt{n}} t\_{a}(n-1)\\right}=1-\\alpha$，于是得到 $\\mu$ 的一个置信水平为 $1-\\alpha$ 的单侧置信区间$\\left(\\bar{X}-\\frac{S}{\\sqrt{n}} t\_{a}(n-1), \\infty\\right)$ $\\mu$ 的置信水平为 $1-\\alpha$ 的单侧置信下限为$\\mu=\\bar{X}-\\frac{S}{\\sqrt{n}} t\_{\\alpha}(n-1)$

例子2 $\\frac{(n-1) S^{2}}{\\sigma^{2}} \\sim \\chi^{2}(n-1)$ 有$P\\left{\\frac{(n-1) S^{2}}{\\sigma^{2}}\>\\chi\_{1-\\alpha}^{2}(n-1)\\right}=1-\\alpha$ 即$P\\left{\\sigma^{2}\<\\frac{(n-1) S^{2}}{\\chi\_{1-a}^{2}(n-1)}\\right}=1-\\alpha$ 于是得 $\\sigma^{2}$ 的置信水平为 $1-\\alpha$ 的单侧置信区间$\\left(0, \\frac{(n-1) S^{2}}{\\chi\_{1-\\alpha}^{2}(n-1)}\\right)$ $\\sigma^{2}$ 的置信水平为 $1-\\alpha$ 的单侧置信上限为$\\bar{\\sigma}^{2}=\\frac{(n-1) S^{2}}{\\chi\_{1}^{2}-\\alpha}$

相同条件下，同一置信度的单侧置信上/下限与双侧置信区间的上下限，对比发现，只是$\\alpha$与$\\frac{\\alpha}{2}$的区别。这种规律对前面介绍的各种条件下的正态总体都适用，即值序将双侧置信区间的上（或下）限中的$\\frac{\\alpha}{2}$换成$\\alpha$，就是相同条件下相同参数的同一置信度的单侧置信上（或下）限。

概率论与数理统计-数理统计-参数估计

概率论与数理统计-数理统计-参数估计

点估计