内容关于PRML7.2节的

---------------------------------------------------------------------------------------------------------------------------

这个Relevance Vector Machine(RVM)跟SVM差不多，可以处理Regression问题，也可以处理classification问题。这里我们先讨论regression问题。

首先讨论一下什么是regression问题。我们拿到一些训练的样本$(\mathbf{x}_i, t_i)$，希望从中训练出来一个映射关系$t=y(\mathbf{x})$。在测试的时候，给定一个$\mathbf{x}$，我们就可以估计出来$t$的数值。其中$t$一般认为是连续的，$\mathbf{x}$和$\mathbf{t}$一般也都是实数。如何求解这个映射关系$y$，是该问题的重点所在。

在RVM这个模型中，假设$t$是这样产生的，

\[p(t|\mathbf{x})=\mathcal{N}(t|y(\mathbf{x}), \beta^-1)$\]

也就是说，给定了$\mathbf{x}$之后，通过映射得到$y(\mathbf{x})$，然后加上一个高斯噪声，输出$t$。这个高斯噪声的平均值是0，方差是$\beta^-1$，其中$\beta$也称之为准确率，未知的。而$y(\mathbf{x})$的形式假定为线性的，也就是说

\[y(\mathbf{x}) = \sum_{i = 1}^{M}{w_i \phi_i(\mathbf{x})} = \mathbf{w}^T \phi(\mathbf{x})\]

这是一种很广义的写法。其中$w_i$是未知的；$M$是未知参数的个数；$\phi_i(\mathbf{x})$是一个预先设置好的函数映射。其实具体在做的时候，$\phi_i(\mathbf{x})=k(\mathbf{x}, \mathbf{x}_i)$。也就是说

\[y(\mathbf{x}) = \sum_{n = 1}^N{w_{n}k(\mathbf{x}, \mathbf{x}_n)} + b\]

其中$N$是训练样本的个数；$k(\cdot, \cdot)$是一个核函数，如果不是很清楚什么是核函数的话，姑且认为是一个普通的函数就好，这里的核函数也是预先设置好，不需要求解的；$b$是一个常数，未知。

实际中用到的是核函数的表达式子，但是以下的推到，也同样适用于广义的写法。所以，我们就直接用$y(\mathbf{x})=\mathbf{w}^T \phi(\mathbf{x})$的写法。

现在的问题是，如何求解$\mathbf{w}$和$\beta$。

RVM中又假定了$\mathbf{w}$这样的分布性质

\[p(\mathbf{w}|\mathbf{\alpha}) = \prod_{i = 1}^{M}\mathcal{N}(w_i | 0, \alpha_i^{-1})\]

也就是说，每一个$w_i$都是互相独立的，都是符合高斯分布的，而这个分布的均值是0，方差是$\alpha_i^{-1}$。

再接下来的问题就是，如何估计这个方差$\mathbf{\alpha}$和$\beta$。