Skip to content

Commit

Permalink
add some content
Browse files Browse the repository at this point in the history
  • Loading branch information
scutan90 committed Jun 30, 2019
1 parent e12e38f commit cca57f8
Show file tree
Hide file tree
Showing 3 changed files with 13 additions and 4 deletions.
8 changes: 8 additions & 0 deletions ch04_经典网络/第四章_经典网络.md
Original file line number Diff line number Diff line change
Expand Up @@ -282,9 +282,17 @@ $Inception_{v4}$
### 4.6.3 模型特性

- 采用不同大小的卷积核意味着不同大小的感受野,最后拼接意味着不同尺度特征的融合;

- 之所以卷积核大小采用1、3和5,主要是为了方便对齐。设定卷积步长stride=1之后,只要分别设定pad=0、1、2,那么卷积之后便可以得到相同维度的特征,然后这些特征就可以直接拼接在一起了;

- 网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,3x3和5x5卷积的比例也要增加。但是,使用5x5的卷积核仍然会带来巨大的计算量。 为此,文章借鉴NIN2,采用1x1卷积核来进行降维。

#

## Restnet

## Densenet

## 4.7 为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的?

- 评测对比:为了让自己的结果更有说服力,在发表自己成果的时候会同一个标准的baseline及在baseline上改进而进行比较,常见的比如各种检测分割的问题都会基于VGG或者Resnet101这样的基础网络。
Expand Down
7 changes: 4 additions & 3 deletions ch11_迁移学习/第十一章_迁移学习.md
Original file line number Diff line number Diff line change
Expand Up @@ -167,9 +167,10 @@ Reference:
![1542812440636](./media/1542812440636.png)

<center>图 18: 基于马尔科夫逻辑网的关系迁移
## 11.3 迁移学习的常用方法
## 11.3 迁移学习的常见方法有哪些?



## 11.3 迁移学习的常用方法
### 11.3.1 数据分布自适应

​ 数据分布自适应 (Distribution Adaptation) 是一类最常用的迁移学习方法。这种方法的基本思想是,由于源域和目标域的数据概率分布不同,那么最直接的方式就是通过一些变换,将不同的数据分布的距离拉近。
Expand Down Expand Up @@ -209,7 +210,7 @@ Reference:

​ 联合分布自适应方法 (Joint Distribution Adaptation) 的目标是减小源域和目标域的联合概率分布的距离,从而完成迁移学习。从形式上来说,联合分布自适应方法是用*P*(**x**s) 和P(**x**t)之间的距离、以及P(ys\|**x**s)和P(yt\|**x**t)之间的距离来近似两个领域之间的差异。即:

​ $DISTANCE(D~s~,D~t~)\approx\lVert P(X_s)-P(X_t)\Vert-\lVert P(y_s|X_s)-P(y_t|X_t)\Vert$(6.10)
​ $DISTANCE(D~s~,D~t~)\approx\lVert P(X_s)-P(X_t)\Vert-\lVert P(y_s|X_s)-P(y_t|X_t)\Vert$(6.10)

​ 联合分布自适应对应于图[19](#bookmark84)中由图[19(a)](#bookmark101)迁移到图[19(b)](#bookmark83)的情形、以及图[19(a)](#bookmark101)迁移到
[19(c)](#bookmark85)的情形。
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -419,7 +419,7 @@ MobileNet 是Google团队于CVPR-2017的论文《MobileNets: Efficient Convoluti
* 直接在卷积时利用stride=2完成了下采样,从而节省了需要再去用pooling再去进行一次下采样的时间,可以提升运算速度。同时,因为pooling之前需要一个stride=1的 conv,而与stride=2 conv的计算量想比要高近4倍(**个人理解**)。
#### 2.2 网络架构
* DW conv和PW conv
MobileNet的网络架构主要是由DW conv和PW conv组成,相比于传统卷积可以降低`$\dfrac{1}{N} + \dfrac{1}{Dk}$`倍的计算量。
MobileNet的网络架构主要是由DW conv和PW conv组成,相比于传统卷积可以降低$\dfrac{1}{N} + \dfrac{1}{Dk}​$倍的计算量。
标准卷积与DW conv和PW conv如图所示:
![image](./img/ch17/12.png)
深度可分离卷积与传统卷积运算量对比:
Expand Down

0 comments on commit cca57f8

Please sign in to comment.