認知科学会サマースクールで登壇しました

2015/08/31に、箱根湯本富士屋ホテルで開催された、認知科学会のサマースクールで登壇しました。 内容は最近の自然言語処理関連の、深層学習に関するまとめです。 単語、文法、知識の3つのテーマに対して、埋め込みベクトル、構造の学習（recurrentとrecursive）、知識ベースの学習の3つに分けて話しました。 この1年位で作ったslideのまとめみたいな感じになっています。

言語と知識の深層学習@認知科学会サマースクール from Yuya Unno

Slideshareを見ていただくと分かる通り、ここ1年位は深層学習系の自然言語処理について調べています。 特に注目している理由が2つあって、1つは単語埋め込み（word2vec）の最近の成果があまりにも良かったこと、もう1つはLSTM-RNNの言語モデルがあまりにも良かったこと。 前者は、数百次元程度のベクトルであっても、あれだけの表現力がありえるということが衝撃で、今まで数万以上の次元があるのが普通と思っていたわけですが、それはベクトル空間のポテンシャルを全く引き出せていなかったと（より良い表現があるはずだという議論を、前職の先輩としていたのを思い出します）。 また後者は、既存のN-gram系言語モデルでは絶対に実現できない、入れ子構造（例えば開いた括弧がちゃんと閉じる）が学習できており、文の生成にかんして一歩進んだということを感じさせます。

一方で、スライドの途中にもある通り、言語モデルだけではやはり知的な応用を実現するのは難しく、次にどうしたら良いのかというのが最近思っていることです。 よく思うのは、LSTMは複雑な文の構造を再現する一方で、子供が扱えるような簡単な意味の取り扱いや推論もできません。 そのため、この半年くらい子供の言語獲得などを調べていて、今井むつみ先生の本などを読んでいたら本人がいらっしゃっていてドキドキしてしまった。

ことばの発達の謎を解く (ちくまプリマー新書) 今井 むつみ 筑摩書房 2013-01-09 売り上げランキング : 14595 Amazonで詳しく見る by G-Tools

新・子どもたちの言語獲得 小林 春美 大修館書店 2008-03 売り上げランキング : 89046 Amazonで詳しく見る by G-Tools

こうしたことを考えると、記号接地問題をもっと本気で考えないといけないような気がしていて、分布仮説の延長で記号の中で閉じた議論を進めても進まなくなってしまうんではないかということをちょうど考えていました。 そういうことを考えていたら、ちょうどこのような機会を頂いて、誘っていただいた山川先生や、玉川大の岡田先生らに色々教えていただけたのは大変良かったです。

参加して印象的だったのは、大変議論が白熱していたことでした。 この辺りは、情報系の学会では見られないような光景だったので新鮮でした。 3日後にYANSを控えていたこともあって日帰りでしたが、夕食後もセッションが始まってすごいなぁと。 なるほど、イブニング・セッションという手があったのか・・・。