はじめに 「強化学習と自然言語処理を用いたチャットボット」を作る前工程として、「自然言語処理(BERT)を用いたチャットボット」を作ります。 レポジトリはこちらです。 BERTとは1 BERTは、google検索やDeeplなどで使われています。とても、高精度で使用しやすいです。 BERTの学習では、事前学習とファインチューニングの二つに分かれます。事前学習で言語の基礎を学習し、ファインチューニングで、個別のタスクに合うように調整します。 事前学習 事前学習は、その言語がどうゆう構造なのか、単語の意味はどういう意味なのかなど言語の基礎を理解させます。具体的には、TransformerがMask Language ModelとNext Sentence Predictionで文章から、文脈を双方向に学習します。 Mask Language Model 文章から、特定の単語を15%ランダムに選
