ある種の会話エージェントが、自分が経験した人間との会話内容を

自然言語処理 - Wikipedia

次回以降の自分の発話生成に利用
効率的に適切な発話文の選択（生成）

質問者の方は機械学習などの知識がおありになるということで、
長文ですがお茶を濁さずに技術的な（ただし実装に限らない）回答をしますね。

大別すると、「人工無能か、人工知能か」で方法がぜんぜん違います。
この両者は、「実装の効率性と、言語的な適切さ」のトレードオフになってます。


人工無能（無脳）でいいのなら、一番「効率的」なパターンでは、
「ドラえもん」のキーワードと返答は取得できている前提で、
あとは「ドラえもん」のキーワードが来たら返答を返すだけです。

もう少し実装寄りに言うと、相手の発言の文字列を検索して、
もし「ドラえもん」の文字列が含まれていたら、「IF THEN」式に、
「～猫型ロボットです」と返答を返すだけです。

データの取り出し方もたとえば、連想配列で「ドラえもん」をキーに、
「猫型ロボット」を値にすれば、シンプルな実装になります。

しかしもちろん、これは説明の例にしても原始的な仕組みで、
「ドラえもんのポケットは何て言う？」「～猫型ロボットです」
「ドラえもんとサザエさんのどっちを見る？」「～猫型ロボットです」
みたいな、人工無能によくありがちな、噛み合わない会話になります。

ここから一応、工夫する余地はあります。たとえば、
NGリストを作って、ブログの例で言えば「バカ」をNGにするとか。
もう少し高度な手法では、キーワードと反応をマルコフ過程で連鎖させるとか。

ただし、こうした細かいノウハウの寄せ集めでは、限界があります。
それよりもっと適切な選択がしたい、というのがご質問の意図でしょう。


そこで、「適切な」会話にしたいのであれば、人工知能を目指すことになります。

今度は人工無能と違って、正攻法で「自然言語処理」をします。
具体的には、相手が発言した文字列の文法を、
（「形態素解析」した後）、「構文解析」します。

かんたんなものを一部だけ言うと、助詞「の」で単語を接続しているから、
ドラえもんとポケットは所有格の関係だとか、
「と」で接続しているから、ドラえもんとサザエさんは並列関係だとか。
（これらは意味解析と連携してる部分はありますが）

こういう構文解析は、完全ではないものの、ある程度までは可能です。
機械翻訳は実現できているわけだから、その水準ではできています。

実装の話も少しすると、これはインタプリタやコンパイラの構文解析の延長線上にあります。
これは比喩ではなく、プログラミング言語も言語ですから、処理も共通しているのです。
けっきょく、トークンにバラした後で、パーサで構文木を作って処理します。

ただ、（文脈自由文法などの）プログラミング言語と自然言語では、
もちろんチョムスキー階層（言語の複雑度）は違いますが。


しかし一方で現実的には、意味の通る会話ができる人工知能はないですよね。
大資本IBMの「ワトソン」で、やっとクイズに正解するレベルまで来ましたが。

なぜできないかというと、「知識の獲得」（と文脈の判断）が問題になります。
「カラスは黒い」とか、常識は無数にあり、大変な労力がかかります。
「フレーム問題」みたいな、自然言語の際限のなさに突き当たります。


ここで話を振り出しに戻すと、まさにその知識獲得を自動化したい、という質問でした。
手作業は大変なので、文法だけやって、知識は会話から自動的に獲得したいところです。

しかし、文法解析だけでは表面上しか知識を理解できないのです。
高度な知識構造や推論機構を持たないと、実質的な意味を理解できません。

たとえば、「ドラえもんは夢物語」という発言を文法だけで解析すると、
「人間は動物」「動物は生命」式に、夢物語の集合にドラえもんを含める、
という処理になります。が、もちろん、人間の発話の意図はそこにありません。

（語用論的な）意味や文脈を理解できないと、発言者の意図が汲めないわけです。
しかし、形態素解析や構文解析はできても、意味解析や文脈解析はうまくできてないのが現状です。
フレーム問題と似たようなことで、文脈には限りがないので難しいのです。

それに、キャラクターをコントロールしたいのであれば、
どうしたって知識ベースなり意味ネットワークなりを作っておかないと、
会話エージェント自体の属性への質問に答えられません。

先の例で言えば「ドラえもんとサザエさんのどっちを見る？」とか。
ここを「乱数で決める」みたいな無能的なその場しのぎのやり方だと、
けっきょく後で話のつじつまが合わなくなり、話の文脈が持続不可能です。

といってじゃあ、事前にデータを用意できるかといえば、質問は無数にありうるので、やはりフレーム問題と同様に、全部に対応しきれないわけです。


だから、「実装の効率性と、言語的な適切さ」はトレードオフです。
「実装は容易だが、意味を理解せずオウムのように喋ってる人工無能」か、
「理論的に話せるはずだが、現実的に実装できてない人工知能」の二択になりがちです。

もちろん今ですと、流行の「ディープラーニング」とか、
数理的、統計的言語処理でどうにかしよう、という流れが強まってますね。
自然言語処理の壁も機械学習で乗り越えられる、という楽観的な見方もあります。

しかし、私見では、意図や文脈の理解と統計的意味論にはズレがあります。
猫かどうかの画像判断とかは正解があるから、統計的手法で解に到達しますが、
言語理解、とくに文脈判断には、そういう固定された正解はないわけです。


じゃあ、その難しいところを、実際の開発ではどうしているのかというと、
「エキスパートシステム」式に、ドメイン以外は切り捨てています。

チェスや将棋などフレームを固定した領域であれば、
フレーム問題は起きないわけで、それと同じことです。

逆に、ワトソン的になるべく汎用化すると、IBMのように大資本が必要です。
昔の「第五世代コンピュータ計画」でも、湯水のように国費を投入したわけですし。
だから、汎用的な自然言語処理システムなど、1億や2億ではとうてい作れません。

自然言語処理は大きな可能性を秘めたフロンティアですが、
まともな人工知能を作ろうとすると、開発コストが際限なくかかります。
とくに単語の辞書などデータ、言語リソースの作成にコストがかかります。

ですから、現実的な対話システム作成の落としどころとしては、
ツイッターのボットなんかが分かりやすい例ですが、
ベースは人工無能なんだけど、アニメとか会話のドメインを限定した上で、
人工知能的な解析も少しだけやって、差別化するパターンが多いと思います。

言い換えると、ドメインを限定すると、文脈も制限されるから、
相対的に無能の無能さが目立たなくなります。

たとえば、ツイッターのアニメキャラ系ボットなら、
「それなんてアニメキャラ？」とワンパターンに返しても、
人間側が文脈を作っているから、違和感が少ないのです。

それに、前述の「会話エージェント自体の属性」の知識ベース構築も、ドメインを限定すると小さく作れて楽です。
つまり、「好きなアニメ」だけ正確に答えて、ほかはごまかす。もしくはなりきりキャラなら、自作品の設定キーワードにだけ反応させられます。そして、そこだけ深く作り込む。つまり、一点豪華主義にできます。


もしかすると、質問者の方は、効率的な実装手段（だけ）を期待していたかもしれません。しかしこれは、たとえばWebサービスで、「何でもサーバサイドで処理せず、クライアントに任せる」ことと同じではないですか。

この要件定義でのドメイン特化では、プログラムを書かずしてメリットを得られます。だからコスパが最高で実践的です。ドメイン特化がベストプラクティスだと思ってます。逆にドメインがあいまいなままだと、プログラミングの技術があっても失敗する可能性があります。それは自然言語処理が非常に難しい分野だからです。

そういうわけで、対話システム作成にあたってはまず最初に、
対話のドメインを限定するのが重要です。