Skip to content

Commit

Permalink
merge
Browse files Browse the repository at this point in the history
Former-commit-id: 55062eee8ec8be602b4bc62f5e2041a8b9ae0c2d
  • Loading branch information
liber145 committed Jan 11, 2017
2 parents 2143356 + f0428e4 commit 98f4220
Show file tree
Hide file tree
Showing 3 changed files with 146 additions and 123 deletions.
10 changes: 5 additions & 5 deletions Chapter19/approximate_inference.tex
Original file line number Diff line number Diff line change
Expand Up @@ -623,9 +623,9 @@ \subsection{\glsentrytext{calculus_of_variations}}
% p 638


我们不能简单的关于函数$p(x)$最大化$H[p]$,因为那样的话结果可能不是一个概率分布。
我们不能简单地仅仅关于函数$p(x)$最大化$H[p]$,因为那样的话结果可能不是一个概率分布。
为了解决这个问题,我们需要使用一个拉格朗日乘子来添加一个$p(x)$积分值为1的约束。
此外,当方差增大的时候,熵也会无限制的增加。
同样的,当方差增大的时候,熵也会无限制的增加。
因此,寻找哪一个分布有最大熵这个问题是没有意义的。
但是,在给定固定的方差$\sigma^2$的时候,我们可以寻找一个最大熵的分布。
最后,这个问题还是无法确定因为在不改变熵的条件下一个分布可以被随意的改变。
Expand Down Expand Up @@ -675,7 +675,7 @@ \subsection{\glsentrytext{calculus_of_variations}}
为什么我们无法发现第二个最小值的临界点呢?
原因是没有一个特定的函数能够达到最小的熵值。
当函数把越多的概率密度加到$x = \mu + \sigma$$x = \mu - \sigma$两个点上和越少的概率密度到其他点上时,他们的熵值会减少,而方差却不变。
然而任何把所有的权重都放在这两点的函数的积分并不为1
然而任何把所有的权重都放在这两点的函数的积分并不为$1$也不是一个有效地概率分布
所以不存在一个最小熵的概率分布函数,就像不存在一个最小的正实数一样。
然而,我们发现存在一个收敛的概率分布的序列,收敛到权重都在两个点上。
这种情况能够退化为混合\gls{dirac_distribution}。
Expand All @@ -698,8 +698,8 @@ \subsection{连续型\gls{latent_variable}}


% 640 head
在大多数情况下,研究者并不需要解决任何的\gls{calculus_of_variations}的问题。
取而代之的是,\gls{mean_field}固定点迭代有一种通用的方程
在大多数情况下,研究者并不需要解决任何\gls{calculus_of_variations}的问题。
取而代之的是,\gls{mean_field}固定点迭代更新有一种通用的方程
如果我们做了\gls{mean_field}的近似:
\begin{align}
\label{eqn:1955}
Expand Down
Loading

0 comments on commit 98f4220

Please sign in to comment.