ざっくばらんメモ_15：capsule network, model switchingとdomain adaptation

最近急に話題になり始めたcapsule networkに関するHintonの講義を見た．

この新しいモデルの一つの動機として従来のconvnetはpooling処理があるせいで，同じ物体に関する様々な観点の特徴を捨てて代表値で代替してしまう事かある．

Capsule netはそれを回避する事が出来る．

これはautoencoderを用いたデータ再構成を考えた時に，従来のconvnetを使ったVAE的なやり方において，細かな復元が難しい問題へ対応可能かもしれないと考えた．

最近のdomain adaptationの手法はGANの要領でdomainギャップに関する目的関数を学習して最適化する手法が berkeleyからよく出ている（例えばCyCADA)．

ところでdomain adaptationの文脈ではtarget domainの教師情報が与えられていない想定が多いが，最近は教師情報のコストが下がり始めたおかげかそういう場合は減ってきたように思う（domainごとに偏りはあるが）．

なのでむしろどのdomainに対しても教師情報があって良いから状況に合わせて能動的にモデルをスイッチングできるようなネットワークがもっとあって良いように思えた．

最近だと制御分野で出始めているが，条件が色々限定されているのでまだ形式化されていないのかもしれない．

古典的にはswitching linear dynamics modelとか他にも色々あるが，最近のconvnet等でそれを効率よくやる方法はあるのだろうか（特に計算・メモリ効率的な意味で）