diff --git a/Chapter12/applications.tex b/Chapter12/applications.tex index b59fe4d..17b1a17 100644 --- a/Chapter12/applications.tex +++ b/Chapter12/applications.tex @@ -140,7 +140,7 @@ \subsection{大规模的分布式实现} -在训练过程中,\gls{data_parallelism}某种程度上来说更加困难 +在训练过程中,\gls{data_parallelism}某种程度上来说更加困难。 对于\gls{SGD}的单步来说,我们可以增加\gls{minibatch}的大小,但是从优化性能的角度来说,我们得到的回报通常并不会线性增长。 使用多个机器并行地计算多个\gls{GD}步骤是一个更好的选择。 不幸的是,\gls{GD}的标准定义完全是一个串行的过程: