とくにテーマ毎にまとめてない論文で読んだものについて列挙してコメントをする。
Pan et al. Transfer Learning in Collaborative Filtering for Sparsity Reduction AAAI 2010
ユーザ、アイテムの双方についてよりリッチなドメインがあるときに、それらを使って転移学習をするCoordinate System Transfer(CST)という手法を提案。 元々SVDをかけたいRという行列と、R(1)とR(2)というより情報がリッチな行列があるとする。R(1)とR(2)それぞれSVDをして基底行列をとってきて、それに近くなるよう正則化をかけてRをSVDする。 NetflixとMovieLensのデータセットを使って実験を行い、SoTAを達成。
Gretton et al. A Kernel Two-Sample Test JMLR 2012
Migut et al. Visualizing Multi-Dimensional Decision Boundaries in 2D Data Min Knowl Disc 2015
Jaderberg et al. Decoupled Neural Interfaces using Synthetic Gradients arXiv:1608.05343 2016
Toderici et al. Full Resolution Image Compression with Recurrent Neural Networks arXiv:1608.05148 2016
Champandard Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artwor arXiv:1603.01768 2016
Reinforcement Learning in Spoken Dialogue Systems](https://arxiv.org/pdf/1508.03386v1.pdf) arXiv:1508.03386 2015
Cheng et al. Wide & Deep Learning for Recommender Systems arXiv:1606.07792 2016
Lipton et al. The Mythos of Model Interpretability ICMLWS 2016
解釈性の尺度について
Higgins et al. Early Visual Concept Learning with Unsupervised Deep Learning arXiv:1606.05579 2016
Jang et al. CATEGORICAL REPARAMETERIZATION WITH GUMBEL-SOFTMAX ICLR 2017
カテゴリカル分布の微分可能なバージョンとしてGumbel-Softmaxを提案した。 例えばVAEのようなモデルは目的関数中にカテゴリカル分布による期待値計算が入っているが、カテゴリカル分布からのone-hotなサンプル（[0, 1, 0, ...]など）を使ってサンプリングをして目的関数の値を求めると、微分不可能になってしまい誤差逆伝搬法ができなくなってしまう。 そこで、Gumbel分布からのサンプルを使ってsoftmax関数をかませることで"微分可能なカテゴリカル分布"であるGumbel-Softmaxを新しく提案した。 Gumbel-Softmaxは温度τをパラメータに持ち，τ↓0でカテゴリカル分布のようにサンプルがone-hotになっていく。 実験的には特に、VAEの学習をELBOで評価したときに良い性能を示した。