TokyoWebminingで久しぶりに発表しました

1/24に、フリークアウトで開催されたTokyoWebminingで深層学習系の自然言語処理について話しました。 以前から考えていた、表現力の高いモデルが既存の複雑な規則に基づく自然言語処理手法（例えばHPSGなどの）と同等の規則を学習しているんではないかというという話をしたかったんですが、ちょっと暴走しすぎた感。

深層学習時代の自然言語処理 from Yuya Unno

内容としては、Recurrent Neural Network（とLSTM）とRecursive Neural Networkの話です。 それから、前者とShift-Reuduce型のシーケンシャル手法との関係、後者とPCFG型の大域最適型の手法との関係がどうなってるのか、という問題提起でした。 こういう話をしたのは、例えば仮にRecursiveがHPSGの語彙項目相当の情報をベクトル空間の中に学習できるのであるとするのであれば、それ以外の言語学のアイデアや、まだ体系化されていない現象が同様に深層学習でデータから学習できるのではないかということを考えていました。 以前、PFIセミナーで生成語彙と深層学習を結びつけて話したのも、こうした思想からくるものです。 言語学の理論が人間の観測によって言語を体系化しようとする枠組みなのであるとすると、深層学習による学習がデータの観測によって言語を体系化するアプローチとして、両者に対応が取れたらおもしろいなぁ、と思っている次第。

参加者の方と沢山お話出来たのが大変に良かったです。 皆様に動くデモを見せていただけたり、個人で作っているプログラムの話を聞かせていただけたり、自分も色々モノを作りたいなぁと強烈におもいました。 それから、HPSGがまさか通じる方がいると思わなくて、それからたまたま読んだ論文の著者がいたりして、衝撃でした。 一番驚いたの、人生で一度はあってみたかったレンズ設計をやっている方にあえて、写真も激ウマで感動してしまった。

TokyoWebminingは4年ぶりくらいでしたが、濱田さんが工夫に工夫を凝らして運営している様子は大変参考になりました。 私もYANSを盛り立てたいなぁと思っていたので、進め方や仕事の振り方は大変参考になります。 主催者の皆様には大変感謝です。