ChatGPTはめちゃくちゃ賢いんだけど、変な間違いをするし話が通じないこともあります。
ここで「もっと賢くなったら数年後には・・・」のように思ってしまいがちなのだけど、GPT4より目に見えて賢くするのは難しい気がします。
むしろ、人間くさくなったり使いやすくなったりするんじゃないだろうか。
ChatGPTなどの言語AIの中核になる大規模言語モデルは、多くのテキストを学習することで言葉や論理について学習しています。
ただ、そのための教師データになるテキストが枯渇するのではないかという話があります。
MIT Tech Review: 大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か
いまChatGPTの賢さで問題になるのは、論理の誤りや情報の間違いです。
論理構造が難しくなり思考手順の分解が必要になると間違いやすくなるように思います。
ニューラルネットの論理推論は、雑にいうと計算手続きをルックアップテーブルで置き換えてネットワークに保持するような形で実現されています。そうすると、教師データとして論理構造の整った文章をさらに多くのパターンで多数投入していくことで、言語モデルの論理力があがるはずなのだけど、論理構造の整った文章というのは集めておかれていて、学習に使いやすいため早期に学習に使われているのではないかと思います。
情報の誤りは、Webでの言及が少ないものについて起こりやすいです。これはなかなか対処が難しいように思っています。 ただ、これはSNSや掲示板などのフィルターをゆるめると対策ができるような気もします。
これはGPT3のデータですが、Webクロールしたテキストは重みが3割引きになります。一方でRedditで3vote以上された投稿からのリンクをたどったWebText2やWikipediaは5倍の重みになっています。
https://gregoreite.com/drilling-down-details-on-the-ai-training-datasets/
単にクロールしたテキストは質が悪いので重みを下げているということなのだけど、この重みをあげたり、掲示板やTwitterのような短いテキストを含めていくとニッチな情報も増えていくと思います。
しかし同時に論理や文法として乱れた言葉遣いも多くなって、もっと人間くさい話しかたをしていくかもしれません。いまChatGPTに乱暴な口調をお願いしても、どこか上品さの抜けきらない感じになるのだけど、真に乱暴な口調で話すようになるのかも。まあ調教で排除されそうだけど。
あと、モデル生成が技術的に難しいということの他に、「GPT4より賢いモデルが必要か？」という問題もあると思います。
コストかけてかしこいモデルを作って、それをまかなう需要があるのか、と。
「思考手順の分解が必要になると間違いやすくなる」と書いたけど、これは「段階的に説明して」のようなプロンプトで解決できたりします。
論文まとめ：Large Language Models are Zero-Shot Reasoners
あと、言語モデルが賢くならなくても、Bingのように検索結果を取り込むことで需要は満たせます。 ChatGPTもPluginを用意しています。なかなか利用できるようになｒないけど。 このように、GPT4程度に賢い言語モデルがあれば、プロンプトを工夫したり、質問を分解して多段で処理をさせたり、他のサービスと連携させたりすればほとんどの需要に対応できるということにもなりそうです。
それと、自分の手元で動かしやすいモデルがあれば、そこにドメイン情報を追加学習させることでローカルな需要を満たせるということにもなります。
つまり、まだもう少し賢くなっていくだろうけど、ひとつのとても賢いモデルで全部の需要を賄う必要はなくて、ほどほどに賢い言語モデルがあれば あとはロジックやアプリケーションの作りこみ、追加学習などでだいたいの需要は賄えるので、もっと賢いモデルを作るぞという方向ではなく、使いやすいという意味でも庶民的な方向でモデルが作られていくんじゃないかと思ったのでした。
追記 2023/4/7
やはり、ここからモデルの大規模化が進んでいっても、推論能力や発想力があがるのではなくて、冗談が通じるようになったり、役柄を与えなくても「もっとやさしくしてよ！」といったときに戸惑ったり、そういう人間くさい反応をするようになるんじゃないかと。
というのも、人間も、徹夜明けで疲れていると冗談が通じなくなったり「もっとやさしくしてよ！」と言われても塩対応したり、人間らしく対応するというのが難しくなっていくからです。疲れたとき、難しいコードは書けるんだけど人から話かけられると対応できないみたいなこともあります。
つまり、人間らしく相手を気遣った対応をするというのは推論や発想よりもコストがかかる反応で、モデルを大きくすることによって大規模言語モデルもそういう能力を獲得するのではないかと。
高度に発達した人工知能はアメちゃんを配りだす
