Skip to content

Commit

Permalink
chap 10 fix exacity#82
Browse files Browse the repository at this point in the history
  • Loading branch information
SwordYork committed Jun 15, 2017
1 parent 0042d80 commit d3f1d8f
Show file tree
Hide file tree
Showing 3 changed files with 4 additions and 4 deletions.
2 changes: 1 addition & 1 deletion Chapter10/sequence_modeling_rnn.tex
Original file line number Diff line number Diff line change
Expand Up @@ -932,7 +932,7 @@ \subsection{\glsentrytext{leaky_unit}和一系列不同时间尺度}
线性自连接的\gls{hidden_unit}可以模拟滑动平均的行为。
这种\gls{hidden_unit}称为\firstgls{leaky_unit}。

$d$~\gls{time_step}的\gls{skip_connection}可以确保单元总能被先前的$d$\gls{time_step}值影响
$d$~\gls{time_step}的\gls{skip_connection}可以确保单元总能被$d$\gls{time_step}前的那个值影响
使用权重接近1的线性自连接是确保该单元可以访问过去值的不同方式。
线性自连接通过调节实值$\alpha$更平滑灵活地调整这种效果,而不是调整整数值的跳跃长度。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -690,8 +690,8 @@ p_x(\Vx) = p_y(g(\Vx)) \left | \det \left ( \frac{\partial g(\Vx)}{\partial \Vx}

信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。
它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。
在这种情况下,信息论告诉我们如何设计最优编码,以及计算从一个特定的概率分布上采样得到、使用多种不同编码机制的消息的期望长度
在机器学习中,我们也可以把信息论应用在连续型变量上,而信息论中一些消息长度的解释不怎么使用
在这种情况下,信息论告诉我们如何对消息设计最优编码以及计算消息的期望长度,这些消息是使用多种不同编码机制、从特定的概率分布上采样得到的
在机器学习中,我们也可以把信息论应用于连续型变量,此时某些消息长度的解释不再适用
信息论是电子工程和计算机科学中许多领域的基础。
在本书中,我们主要使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。
有关信息论的更多细节,参见~{cover-book2006}或者~{MacKay03}。
Expand Down
2 changes: 1 addition & 1 deletion docs/_posts/2016-12-10-Chapter10_sequence_modeling_rnn.md
Original file line number Diff line number Diff line change
Expand Up @@ -926,7 +926,7 @@ Jacobian~矩阵告诉我们$\Vh^{(t)}$一个微小的变化如何向前一步传
线性自连接的隐藏单元可以模拟滑动平均的行为。
这种隐藏单元称为渗漏单元。

$d$~时间步的跳跃连接可以确保单元总能被先前的$d$个时间步值影响
$d$~时间步的跳跃连接可以确保单元总能被$d$个时间步前的那个值影响
使用权重接近1的线性自连接是确保该单元可以访问过去值的不同方式。
线性自连接通过调节实值$\alpha$更平滑灵活地调整这种效果,而不是调整整数值的跳跃长度。

Expand Down

0 comments on commit d3f1d8f

Please sign in to comment.