feng's Blog

Happy coding

Relevance Vector Machine 2

feng posted @ Mon, 01 Oct 2012 19:39:44 +0800 in PRML , 1825 readers

接下来,我们讨论一下在已经得到训练样本的情况下,$\mathbf{w}$的后验概率。

--------------------------------------------------------------------------------------------------------------------------------------------

在获得训练数据之前。$\mathbf{w}$是0均值的,那么给定一个$\mathbf{x}$之后,期望的输出应该是0。现在得到训练数据之后,我们可能发现输出的$\mathbf{t} = [t_1, t_2, ..., t_N]^T$并不完全是0。这个时候,在给定的训练数据之后,我们可以计算出来$\mathbf{x}$的后验概率。也就是计算

\[p(\mathbf{w}|\mathbf{t}, \mathbf{X}, \mathbf{\alpha}, \beta)\]。

在这里,我们暂时应该把$\mathbf{\alpha}$和$\beta$看作是已知的,或者说实在给定的情况下。根据概率公式,我们有

\[p(\mathbf{w}|\mathbf{t}, \mathbf{X}, \mathbf{\alpha}, \beta) = \frac{p(\mathbf{w}|\mathbf{\alpha})p(\mathbf{t}|\mathbf{X}, \mathbf{\alpha}, \beta)}{p(t|\mathbf{X}, \mathbf{\alpha}, \beta)}\]。

首先看分母,分母其实是一个归一化的参数,保证了对$\mathbf{w}$在整个空间上积分的值为1。再看一下分子,第一项是一个关于$\mathbf{w}$的高斯分布,第二项也是一个高斯分布。参数$\mathbf{w}$都在这个高斯分布的指数上面,并且可以看出,都是关于$\mathbf{w}$的二项式。也就是说,从这里我们可以断定,这个$\mathbf{w}$的后验概率,也是一个高斯分布。如果对于高斯分布的具体形式不是很清楚的话,请看附录。

 

既然是一个高斯分布,我们只需要求解出来它的均值和方差就行了。在这里,我们只需要计算化简指数上面跟$\mathbf{w}$相关的二项式。我们把这个二项式写出来

\[-\frac{1}{2}\mathbf{w}^T A \mathbf{w} - \frac{1}{2}\sum_{i = 1}^{N}{\beta(t_i - \mathbf{w}^T \phi(\mathbf{x}_i))^2}\]

这里的$A = diag(\alpha_i)$。接下来进行化简,化简的过程中,我们可以尽情的扔掉与$\mathbf{w}$无关的项。最后得到的结果为

\[-\frac{1}{2}(\mathbf{w}^T(A + \beta \Phi^T\Phi)\mathbf{w} - 2\beta \mathbf{w}^T\Phi^T\mathbf{t})\]

其中$\Phi$是一个矩阵,每一行是一个样本$\phi_{\mathbf{x}_i}^T$。根据前面的讨论,我们已经知道$\mathbf{w}$的后验概率是一个高斯分布,假定其均值为$\mathbf{m}$,协方差矩阵为$\Sigma$,那么它的指数项为

\[-\frac{1}{2}(\mathbf{w} - \mathbf{m})^T\Sigma^{-1}(\mathbf{x} - \mathbf{m}) = -\frac{1}{2}(\mathbf{w}^T\Sigma^{-1}\mathbf{w} - 2 \mathbf{w}^T\Sigma^{-1}\mathbf{m})+const\]

这里面的$const$代表了跟$\mathbf{w}$无关系的项。这两项进行对比,我们可以得到如下的结论

\[\Sigma = (A + \beta\Phi^T\Phi)^{-1}\]

\[\mathbf{m} = \beta\Sigma\Phi^{T}\mathbf{t}\]

 

自此,我们得到了在给定训练样本的情况下,参数$\mathbf{w}$的后验概率。

 

附录

1,高斯函数

\[\mathcal{N}(\mathbf{x}|\mathbf{m}, \mathbf{\Sigma}) = \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}} exp{-\frac{1}{2}(\mathbf{x} - \mathbf{m})^T \Sigma^{-1} (\mathbf{x} - \mathbf{m})}\]

Avatar_small
AAA said:
Sat, 01 Jan 2022 15:12:12 +0800

Tremendous guide! Make took pleasure in the exact looking at. I hope to find out much from your business. My partner and i you might incredible knowledge together with view. What i’m particularly fascinated in this area material. 토토사이트

Avatar_small
AAA said:
Thu, 17 Feb 2022 04:57:53 +0800

when i am relaxing, i would love to just hear some instrumental music instead of regualr music,. 토토사이트


Login *


loading captcha image...
(type the code from the image)
or Ctrl+Enter