Skip to content

Commit

Permalink
update md; update format
Browse files Browse the repository at this point in the history
  • Loading branch information
SwordYork committed Mar 2, 2017
1 parent 769fff1 commit eff5b86
Show file tree
Hide file tree
Showing 6 changed files with 78 additions and 76 deletions.
6 changes: 3 additions & 3 deletions Chapter14/autoencoders.tex
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@ \chapter{\glsentrytext{AE}}
\firstgls{AE}内部有一个\gls{hidden_layer} $\Vh$,可以产生\firstgls{code}表示输入。
该网络可以看作由两部分组成:一个由函数$ \Vh = f(\Vx)$表示的\gls{encoder}和一个生成\gls{reconstruction}的\gls{decoder} $\Vr=g(\Vh)$
\figref{fig:chap14_autoencoder}展示了这种架构。
如果一个\gls{AE}只是简单地学会将处处设置为$g(f(\Vx)) =\Vx$,那么这个\gls{AE}就没什么特别的用处。
如果一个\gls{AE}只是简单地学会将处处设置为$g(f(\Vx)) =\Vx$,那么这个\gls{AE}就没什么特别的用处。
相反,我们不应该将\gls{AE}设计成输入到输出完全相等。
这通常需要向\gls{AE}强加一些约束,使它只能近似地复制,并只能复制与训练数据相似的输入。
这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。
Expand Down Expand Up @@ -104,7 +104,7 @@ \subsection{\glsentrytext{sparse}\glsentrytext{AE}}


我们可以简单地将惩罚项$\Omega(\Vh)$视为加到\gls{feedforward_network}的正则项,这个\gls{feedforward_network}的主要任务是将输入复制到输出(\gls{unsupervised_learning}的目标),并尽可能地根据这些\gls{sparse}特征执行一些\gls{supervised_learning}任务(根据\gls{supervised_learning}的目标)。
不像其它正则项如\gls{weight_decay}——没有直观的贝叶斯解释。
不像其它正则项如\gls{weight_decay}——没有直观的贝叶斯解释。
\secref{sec:maximum_a_posteriori_map_estimation}描述,\gls{weight_decay}和其他正则惩罚可以被解释为一个\glssymbol{MAP}近似贝叶斯\gls{inference},\gls{regularization}的惩罚对应于模型参数的先验概率分布。
这种观点认为,\gls{regularization}的最大似然对应最大化$p(\Vtheta \mid \Vx)$, 相当于最大化$\log p(\Vx \mid \Vtheta) + \log p(\Vtheta)$$\log p(\Vx \mid \Vtheta)$即通常的数据似然项,参数的对数先验项$\log p(\Vtheta)$则包含了对$\Vtheta$特定值的偏好。
这种观点在\secref{sec:bayesian_statistics}有所描述。
Expand Down Expand Up @@ -221,7 +221,7 @@ \section{表示能力、层的大小和深度}


\gls{universal_approximation_theorem}保证至少有一层\gls{hidden_layer}且\gls{hidden_unit}足够多的\gls{feedforward_neural_network}能以任意精度近似任意函数(在很大范围里),这是非平凡深度(至少有一层\gls{hidden_layer})的一个主要优点。
这意味着具有单\gls{hidden_layer}的\gls{AE}在数据域内能表示任意逼近数据的恒等函数
这意味着具有单\gls{hidden_layer}的\gls{AE}在数据域内能表示任意近似数据的恒等函数
但是,从输入到\gls{code}的映射是浅层的。
这意味这我们不能任意添加约束,比如约束\gls{code}\gls{sparse}。
深度\gls{AE}(\gls{encoder}至少包含一层额外\gls{hidden_layer})在给定足够多的\gls{hidden_unit}的情况下,能以任意精度近似任何从输入到\gls{code}的映射。
Expand Down
2 changes: 1 addition & 1 deletion Chapter2/linear_algebra.tex
Original file line number Diff line number Diff line change
Expand Up @@ -90,7 +90,7 @@ \section{标量、向量、矩阵和张量}
(\MA^\top)_{i,j}= \SA_{j,i}.
\end{equation}

\begin{figure}[!htb]
\begin{figure}[!bht]
\ifOpenSource
\centerline{\includegraphics{figure.pdf}}
\else
Expand Down
2 changes: 1 addition & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -52,7 +52,7 @@
| [第十一章 实用方法](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter11_practical_methodology/) | @liber145 | @wheaio, @angrymidiao | | 需要校对 |
| [第十二章 应用](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter12_applications/) | @swordyork, @futianfan | @wheaio | @corenel | 等待合并 |
| [第十三章 线性因子模型](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter13_linear_factor_models/) | @futianfan | @ZhiweiYang | | 需要校对 |
| [第十四章 自编码器](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter14_autoencoders/) | @swordyork | @zizhan, ljl | @Seaball, @huangpingchun | 等待合并 |
| [第十四章 自编码器](https://exacity.github.io/deeplearningbook-chinese/Chapter14_autoencoders/) | @swordyork | | @Seaball, @huangpingchun | 完成合并 |
| [第十五章 表示学习](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter15_representation_learning/) | @liber145 | @cnscottzheng | | 需要校对 |
| [第十六章 深度学习中的结构化概率模型](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter16_structured_probabilistic_modelling/) | @futianfan | @cnscottzheng | | 需要校对 |
| [第十七章 蒙特卡罗方法](https://via.hypothes.is/https://exacity.github.io/deeplearningbook-chinese/Chapter17_monte_carlo_methods/) | @futianfan | @zhangyafeikimi | | 需要校对 |
Expand Down
2 changes: 1 addition & 1 deletion applied_math_and_machine_learning_basics.tex
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@ \part{应用数学与机器学习基础}
我们需要指定代表某些信念的模型、设计衡量这些信念与现实对应程度的\gls{cost_function}以及使用训练算法最小化这个\gls{cost_function}。


这个基本框架是广泛多样的\gls{ML}算法的基础,包括非深度的\gls{ML}方法。
这个基本框架是广泛多样的\gls{ML}算法的基础,其中也包括非深度的\gls{ML}方法。
在本书的后续部分,我们将在这个框架下开发\gls{DL}算法。

\input{Chapter2/linear_algebra.tex}
Expand Down
4 changes: 2 additions & 2 deletions docs/_posts/2016-12-02-Chapter2_linear_algebra.md
Original file line number Diff line number Diff line change
Expand Up @@ -92,7 +92,7 @@ share: false
(\MA^\top)_{i,j}= \SA_{j,i}.
\end{equation}

\begin{figure}[!htb]
\begin{figure}[!bht]
\ifOpenSource
\centerline{\includegraphics{figure.pdf}}
\else
Expand Down Expand Up @@ -583,7 +583,7 @@ $L^1$范数可以简化如下:
在这里,矩阵$\MA$有两个标准正交的特征向量,对应特征值为$\lambda_1$的$\Vv^{(1)}$以及对应特征值为$\lambda_2$的$\Vv^{(2)}$。
(左)我们画出了所有的单位向量$\Vu\in\SetR^2$的集合,构成一个单位圆。
(右)我们画出了所有的$\MA\Vu$点的集合。
通过观察$\MA$拉伸单位圆的方式,我们可以看到它能够将$\Vv^{(i)}$方向的空间拉伸了$\lambda_i$倍。 }
通过观察$\MA$拉伸单位圆的方式,我们可以看到它将$\Vv^{(i)}$方向的空间拉伸了$\lambda_i$倍。 }
\end{figure}

<!-- % -- 41 -- -->
Expand Down
Loading

0 comments on commit eff5b86

Please sign in to comment.