PFIセミナーで知識ベースに対する表現学習の話をしました

PFIセミナーで、知識ベースに対する埋め込みを学習する表現学習手法に関してまとめて発表しました。 タイトルがDeep Learningになってるのは釣りです。 色々調べると、想像以上に最近（2011年くらい）やられ始めた話で、またほとんどがBordesとWestonのもの、あるいは彼らが共著に入っていて、２人共気づいたらfacebookに入って、先日話題になったmemory networksにつながるというキレイな（？）展開になっていました。

「知識」のDeep Learning from Yuya Unno

言語処理に必要な知識をどうやって獲得するかということを考え始めたのは、それこそかなり前の話で、学部生の演習で係り受け解析をやった時にさかのぼります。 10年前ですね。 構文解析するさいに、それぞれの語（あるいは文節）がどのように振る舞うかは、語と語の組み合わせでずいぶん異なるというのは、ちょっとデータやエラーを見れば気づくことです（例えば「値段の高いワイン」と「兄の高いワイン」）。 当時は何にもわからなかったですから、単語クラスタリングみたいなことをしないといけないだろうけど粒度荒すぎるし、何か意味表現みたいなのが必要なのかとか、結局学習データを増やすのかなー、くらいにしか考えていませんでした。 そんなことよりも、大規模な離散的な知識リソースを獲得した方がいいのではないかという、例えば京大の河原先生の話だとかを聞くと、確かにこれで良かったと思いました。

ずっと、上記のような問題は極めて離散的な性質（特定の組合せだけが選択的に許されるような）を持っているから、連続量で表現するのはなじまないと思っていました。 その感覚にズレが生じたのがMikolovのword2vecの結果を見たときで、単にモデルが悪かったのであって高次元ベクトル空間を甘く見すぎていたと反省し、離散的な構造や性質を持っている色々な問題を連続的な表現で扱うならどうするかというのを、1つずつ見なおした方がいいなぁというのがこのところ考えているところ。 今回まとめた内容も、その延長の1つです。

また、今まで離散的にしか扱えなかった操作が連続的な空間中で表現できることで最も嬉しいのは、色々なリソース（学習データや生データや知識リソース、そして異分野のデータ）が表現ベクトルの空間中で自然に結合できることなんだとおもいます。 最近の画像のキャプション生成みたいなのが良い例で、これからは多分野にまたがって処理するような研究が伸びていくのかなという気もしています。 私も自然言語処理だけにとらわれず、今回のような知識処理や、推論の処理、画像や音声などを広く見て行きたいですね。