ML1-7 指数族

1. 指数族分布

到目前为止，我们已认识：

• 回归问题：线性回归方法
• 分类问题：逻辑回归方法

实际上，这两种方法都是更广泛的模型族——广义线性模型（GLMs）的特例。

我们首先定义指数族分布：

如果某类分布的概率密度函数可以写成以下形式，我们就说它属于指数族：

$$p(y; \eta) = b(y) \exp(\eta^T T(y) - a(\eta)) \tag{1}$$

上式中， $y$ 是上式给出的概率分布试图建模的数据。

主要组成部分：

• $\eta$ 称为自然参数（natural parameter）或者规范参数(canonical parameter)
• $T(y)$ 称为充分统计量（对于我们考虑的大多数分布，通常 $T(y) = y$）
• $a(\eta)$ 是对数配分函数（量 $e^{-a(\eta)}$ 本质上起到归一化常数的作用）
• $b(y)$ 是基测度

$T$、$a$ 和 $b$ 的一种固定选择定义了一个由 $\eta$ 参数化的分布族（或集合），当我们改变 $\eta$ 时，我们在这个家族中得到不同的分布。

许多分布都可以写成指数族形式。最著名的有正态分布、Beta 分布、Gamma 分布等。

2. 指数族示例

2.1 伯努利分布

均值为 $\phi$ 的伯努利分布 $\text{Bernoulli}(\phi)$ 指定了 $y \in \{0, 1\}$ 上的分布，使得

$p(y = 1; \phi) = \phi$
$p(y = 0; \phi) = 1 - \phi$

当我们改变 $\phi$ 时，我们得到具有不同均值的伯努利分布。

我们现在展示这个伯努利分布类在指数族中，即存在 $T$、$a$ 和 $b$ 的选择方程 $(1)$ 恰好成为伯努利分布。

我们将伯努利分布写为：

$$\begin{aligned}p(y; \phi) &= \phi^y (1 - \phi)^{1-y} \\&= \exp(y \log \phi + (1 - y) \log(1 - \phi)) \\&= \exp\left( \left( \log \frac{\phi}{1 - \phi} \right) y + \log(1 - \phi) \right)\end{aligned}$$

可以见到：

• 自然参数 $\eta = \log(\phi/(1 - \phi))$
• 充分统计量 $T(y) = y$
• 对数配分函数 $a(\eta) = -\log(1 - \phi) = \log(1 + e^\eta)$
• 基测度 $b(y) = 1$

值得注意的是，对于自然参数的表达式，若用 $\eta$ 求解 $\phi$ ，我们可以得到

$$\phi = 1/(1 + e^{-\eta}) = \frac{1}{1 + e^{-\eta}}$$

正好是我们熟悉的 Sigmoid 函数！

2.2 高斯分布

由于我们在推导线性回归时，$\sigma^2$ 的值对我们最终选择 $\theta$ 和 $h_\theta(x)$ 没有影响（即其缩放不影响优化）。因此，我们可以任意选择 $\sigma^2$ 的值而不改变任何东西。为简化下面的推导，令 $\sigma^2 = 1$ ，那么我们有：

$$\begin{aligned}p(y; \mu) &= \frac{1}{\sqrt{2\pi}} \exp\left( -\frac{1}{2}(y - \mu)^2 \right) \\&= \frac{1}{\sqrt{2\pi}} \exp\left( -\frac{1}{2} y^2 \right) \cdot \exp\left( \mu y - \frac{1}{2} \mu^2 \right)\end{aligned}$$

可以见到：

• 自然参数 $\eta = \mu$
• 充分统计量 $T(y) = y$
• 对数配分函数 $a(\eta) = \mu^2 / 2 = \eta^2 / 2$
• 基测度 $b(y) = \frac{1}{\sqrt{2\pi}} \exp\left( -\frac{1}{2} y^2 \right)$

同样注意到，反解自然参数的表达式，可以得到

$$\mu = \eta$$

这是一个恒等函数！

提示

如果我们将 $\sigma^2$ 作为一个变量，高斯分布也可以展示为在指数族中，其中 $\eta \in \mathbb{R}^2$ ，是一个依赖于 $\mu$ 和 $\sigma$ 的二维向量。

然而，对于 GLM 的目的，$\sigma^2$ 参数也可以通过考虑更一般的指数族定义来处理：$p(y;\eta,\tau) = b(a,\tau)\exp\left(\left(\eta^T T(y)-a(\eta)\right)/c(\tau)\right)$。这里，$\tau$ 称为离散参数，对于高斯分布，$c(\tau)=\sigma^2$；但由于我们的简化，对于这里考虑的示例，我们不需要更一般的定义。

3. 对指数族的简单理解

对于指数族分布的概率密度函数统一形式：

$$p(y; \eta) = b(y) \cdot \exp\left(\eta^\top T(y) - a(\eta)\right)$$

固定选择 $T、a、b$ 后，改变 $η$ 能得到族内不同的分布（得到由 $\eta$ 参数化的一族）。

3.1 自然参数

自然参数（Natural Parameter）特指将概率分布表示为指数族（Exponential Family）标准形式时，与充分统计量（Sufficient Statistic）线性相乘的那个参数。

所谓自然参数，是指该参数是原始的，未经约束的参数，其代表了模型中所有未知的参数。

自然参数通常与概率分布的参数相关。对于指数族来说，通常有两个参数：

• 代表位置（location）的参数：通常与分布的期望相关
• 代表尺度（scale）的参数：通常与分布的方差相关

3.2 充分统计量

查阅维基百科可知：

在统计学中，一个关于一个统计模型和相关的未知母数（参数）的充分统计量是指 “没有任何其他可以以同一样本中计算得出的统计量可以提供任何有关未知参数的额外讯息”。

也就是说，充分统计量压缩了样本中关于未知参数的全部信息，任何其他的统计量都无法在此基础上提供更多关于未知参数的信息，即：

$$T(y): \mathcal{Y} \to \mathbb{R}^d$$

上式表示 $T$ 接受数据点 $y$（在输出空间 $\mathcal{Y}$ 中）并将其映射到一个 $d$ 维实数向量。

充分统计量的数学定义如下：

设统计量为 $t=T(X)$，未知参数为 $θ$。如果在已知统计量 $T(X)$ 的值的情况下，原始数据 $X$ 的条件概率分布与参数 $θ$ 无关，那么 $T(X)$ 就是 $θ$ 的充分统计量。即：

$$Pr(x∈A∣t,θ)=Pr(x∈A∣t)$$

上式表明，一旦知道了 $T(X)$ 的值，数据的其他随机性就与 $θ$ 无关了。

即对于预测 $\theta$ 这件事，$T(X)$ 和 $X$ 包含的信息的量是一致的，$X$ 包含的信息无法帮助我们了解更多关于 $\theta$ 的信息。

提示

为什么对于我们考虑的大多数分布，通常 $T(y) = y$ ？

• 对于我们前述探讨的分布，样本都是独立同分布（$i.i.d.$）的，且只预测一个标量。
  • 对于这单个样本 $y$，它的充分统计量恰好就是它自己。
  • 对于整个数据集（指数族），它的充分统计量是 $Σ_iT(y_i)$

满足 $T(y) = y$ 的指数族称为自然指数族。

信息

在一定的正则条件下，指数族是唯一拥有"有限规模充分统计量"（finite-dimensional sufficient statistics，即统计量维数不随样本数增长）的分布族。

3.3 对数配分函数

$a(\eta): \mathcal{D} \to \mathbb{R}$ 是对数配分函数。它通过对配分函数取对数得到：

$$a(\eta) = \log \int_{\mathbf{Y}} b(y)\exp\left(\eta^\top T(y)\right) dy$$

配分函数（partition function）本身是归一化常数，保证分布积分为 1：

$$\int p(y;\eta)\,dy = 1 \iff e^{a(\eta)} = \int b(y)e^{\eta^\top T(y)}dy$$

对数配分函数因指数族结构，产生了很多好用的性质。其在指数族分布中几个作用如下：

• 归一化
• 生成矩
• 凸性确保可优化

3.4 基测度

基测度（base measure） $b(y)$ 是一个仅与数据 $y$ 有关，而与参数 $η$ 无关的非负函数。

基测度这个名字来源于测度论，常见两种测度：

• 计数测度是可以定义在任意集合上的测度，它将每个集合含有的元素个数作为这个集合的测度。
• 勒贝格测度（Lebesgue measure）是欧几里得空间上的标准测度（如通常的长度、面积和体积）。

在指数族分布中，令自然参数 $\eta = 0$，那么有

$$p(y;\eta=0) = b(y)\cdot\exp(0) \propto b(y)$$

可见基测度表现的是当自然参数为零的分布情况。

4. 指数族性质

4.1 封闭性

假设我们有一个指数族，两种不同参数化 $η_1$ 和 $\eta_2$ ：

$p_1(y) \cdot p_2(y) = b(y)\exp\left(\eta_1^\top T(y) - a(\eta_1)\right) \cdot b(y)\exp\left(\eta_2^\top T(y) - a(\eta_2)\right)$
$= e^{-a(\eta_1)}\exp((\eta_1 + c)T(y)) \cdot e^{-a(\eta_2)}\exp((\eta_2 + c)T(y))$
$\propto e^{-a(\eta_{extra})} b(y) \cdot \exp(\eta' T(y))$

结果再次是同一个指数族的形式。除法也有类似结果。

说明指数族对乘法和除法是封闭的，对于自然参数 $\eta$ 则是加减法。这意味着可以通过简单的加法来更新分布参数。

4.2 共轭性（Conjugacy）

贝叶斯推断通过贝叶斯定理进行：

$$p(\theta \mid X) = \frac{p(X \mid \theta) p(\theta)}{p(X)} = \frac{p(X \mid \theta) p(\theta)}{\int p(X \mid \theta) p(\theta)} = \frac{\text{似然} \cdot \text{先验}}{\text{证据}}$$

一般来说，两个概率分布的乘积不会以闭式形式产生新的概率分布（因为作为证据的积分项往往算不出准确的数值）。因此必须用近似或昂贵的采样策略来得到后验密度。

根据维基百科，在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验（Conjugate prior）。

当先验分布与似然共轭时，后验与先验形式相同，其参数可以闭式更新。大多数分布彼此不共轭，但对常用的似然函数，一般都存在一个指数族共轭先验。

例：伯努利似然有 Beta 共轭先验

• 似然（伯努利）：$p(y∣ϕ)=ϕ^y(1−ϕ)^{1−y}$
• 先验（贝塔分布）：$p(ϕ)∝ϕ^{α−1}(1−ϕ)^{β−1}$

先验参数为 $(α,β)$，看完样本数据后有

• 后验：$p(ϕ∣y)∝ϕ^{α+∑yi−1}(1−ϕ)^{β+n−∑yi−1}$

即更新规则：

$$\alpha' = \alpha + \sum_i y_i, \quad \beta' = \beta + n - \sum_i y_i$$

4.3 矩计算（Moment Calculation）

指数族的矩可以通过对对数配分函数 $a(\eta)$ 求导来计算。

根据指数族的性质，矩计算直接等价于：

• 一阶矩（均值/期望）
  $E\text{ }[\text{ }T(y)∣η\text{ }]=∇a(η)$
• 二阶中心矩（协方差/方差）
  $Var\text{ }[\text{ }T(y)∣η\text{ }]=∇^2a(η)$

一般地，随机变量 $y$ 的矩生成函数（Moment Generating Function, MGF）是：

$$M_X(t) := \mathbb{E}\left[e^{tX}\right], \quad t \in \mathbb{R}$$

对离散型变量：$M_X(t)=∑_xe^{tx}p(x)$
对连续型变量：$M_X(t)=∫_{−∞}^{∞}e^{tx}f(x)dx$
注意到只要期望存在 $M_X(0)$ 总是存在且为 1，因为概率密度积分必须为 1。
通过矩生成函数，可以得到所有阶的矩。

矩生成函数的对数称为累积量生成函数（Cumulant Generating Function, CGF）

$$K_X(t) = log\text{ }M_X(t), \quad t \in \mathbb{R}$$

对指数族，充分统计量 $T(y)$ 的 MGF 是：

$$M_{T(y)}(u) = \mathbb{E}[e^{u^\top T(y)} \mid \eta] = \int_y b(y) \exp((\eta+u)^\top T(y) - a(\eta)) dy = \exp(a(\eta+u) - a(\eta))$$

（因为需要归一化，所以 $∫b(y)\exp\{(η+u)^TT(x)−a(η+u)\}dx=1$）

取对数，得到 CGF：

$$K_{T(y)}(u) = a(\eta+u) - a(\eta)$$
对 $K(u)$ 关于 $u$ 求导然后令 $u=0$，通过生成函数可知上述结论。

4.4 矩匹配（Moment Matching）

假设有两个分布 $p(y)$ 和 $q(y)$，其中 $p$ 是任意固定分布，$q$ 是指数族成员。

可以证明，两个分布之间的 KL 散度 $KL(p\|q)$ 通过匹配它们的矩来最小化。

KL 散度

又称为相对熵（Relative Entropy）。
对于离散随机变量，其概率分布 P 和 Q 的 KL 散度定义为下式（可由信息熵推导）

$$D_{\text{KL}}(P\|Q) = -\sum_{i} P(i) \ln\frac{Q(i)}{P(i)}$$

等价于

$$D_{\text{KL}}(P\|Q) = \sum_{i} P(i) \ln\frac{P(i)}{Q(i)}$$

对于连续随机变量，其概率分布P和Q的KL散度可按积分方式定义为

$$D_{\text{KL}}(P\|Q) = \int_{-\infty}^{\infty} p(x) \ln \frac{p(x)}{q(x)} \, dx$$

其中 $p$ 和 $q$ 分别表示分布 $P$ 和 $Q$ 的密度。

KL 散度衡量的是用错误的分布 $Q$ 去编码来自真实分布 $P$ 的数据时，每个符号平均多浪费了多少比特。需要注意，$D_{\text{KL}}(P\|Q) \neq D_{\text{KL}}(Q\|P)$。

$e.g.$ 把 $p(y)$ 的均值和方差设为 $q(y)$ 的（匹配前两项矩），基于指数族的性质，这只要调整自然参数 $\eta$ 就行了。

推导如下：

$KL(p||q) = \int p(y)\log\frac{p(y)}{q(y)} dy=\int p(y)\log p(y)\,dy - \int p(y)\log q(y)\,dy$
从而有 $\boxed{D_{KL}(p \parallel q) = \mathbb{E}_p\left[\log p\right] - \mathbb{E}_p\left[\log q\right]}$

因为 $q(y)$ 是指数族：$\log q(y) = \log h(y) + \eta T(y) - a(\eta)$
把它代入 $KL(p\|q) = E_p[\log p] - E_p[\log q]$，得到： $KL = E_p[\log p] - E_p[\log h(y)] - E_p[\eta T(y)] + E_p[a(\eta)]$

通过找到合适的 $\eta$ 来最小化上式 $KL$ 散度，因此将上式简化为 $\eta$ 的函数：
$KL_{\eta} = -\eta \cdot E_p\left[T(y)\right] + a(\eta)$

要最小化这个函数，对 $\eta$ 求一阶导：
$\nabla_{\eta} KL_{\eta} = -E_p\left[T(y)\right] + \nabla_{\eta} a(\eta) = 0$

移项得
$\nabla_{\eta} a(\eta) = E_p\left[T(y)\right]$

即
$\boxed{E_{q}\big[T(y)\big] = E_{p}\big[T(y)\big]}$

参考

1. https://cs229.stanford.edu/main_notes.pdf
2. https://aman.ai/cs229/glm/#the-exponential-family

3. A (visual) Tutorial on Exponential Families

   https://www.mariushobbhahn.com/2021-06-10-ExpFam_tutorial/

4. 维基百科-充分统计量

   https://zh.wikipedia.org/wiki/%E5%85%85%E5%88%86%E7%BB%9F%E8%AE%A1%E9%87%8F

5. 张振虎的博客

   https://www.zhangzhenhu.com/glm/source/%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/content.html#equation-eq-glm-08

6. 维基百科-共轭先验

   https://zh.wikipedia.org/wiki/%E5%85%B1%E8%BD%AD%E5%85%88%E9%AA%8C