PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました

先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていることを話しました。前半は生成語彙論の入門的な内容で、数式もなくてだれでも読めるような内容になっていると思います。生成語彙論の勉強を始めたのが最近なので、入門という程の内容にもなってないですが、こうした言語学の知見をもう一度紐解くと面白いかもしれません。

表現学習時代の生成語彙論ことはじめ from Yuya Unno

発表中にあまりちゃんと話さなかったことをちょっと書いておきます。2012年あたりから、Socherが既存のNLPタスクにバシバシ一連の手法を試していました。私もその辺りで初めて深層学習の話を聞いたわけですが、ちょうど構文解析をnon-terminalのところで表現ベクトルを使うという話がありました。これに対して、「素性構造のような複雑な構造と演算を、ベクトル空間と非線形関数の中に埋め込んでいることになるのでは」という感想を、宮尾さん（？）が話していたという話を聞いて、ちょっと衝撃を受けました。HPSGなどの複雑な文法理論は、「それが示す制約のような現象がある」ということは確かに合意できるのですが、「その文法理論が示すような表現形式」が適切かどうか、もっと別の適切な表現形式がないのだろうか、そのようなものは自動的に獲得できないかという疑問を持っていました。もっと極端に言えば、構文解析の結果が「木」でなくてもいいのでは？くらいに思っていました。こうした中間的な表現形式が自動で獲得しているのではという指摘は、大変興味深い。

そうすると、各語の意味についてももっと自動的に獲得できるのではないか。すると、語の意味について観察した体系的な知識が欲しくなり、結果的に生成語彙論に行き着きました。そして、少し勉強してみると語彙に対してかなり複雑な構造がないと説明できないような現象が有るよね、という指摘に行き当たります。これと同じ様な効果が、自動で獲得できるのであればそれは大変に面白い。生成語彙論が示す構造がそのまま使えるというふうにまでは思っていなくて、そうした「観察」によって得た定性的な性質を、表現学習のモデルの中にうまく反映させるのがよいのでは、というのがその時思ったことでした。ところが、言語学の本はなかなか読むのが大変で、PFIセミナーの機会にちょっとまとめてみようということになりました。

では、このあとどうしたいのか。意味というものをもう少し今までと違った形で扱いたいというのが、短期的に思っていることです。その辺は、次回までに何かできるといいんですけど。