そして今、グーグルは新たに「Titans（タイタン）」と呼ばれるアーキテクチャを公開した。これはトランスフォーマーを直接進化させたもので、人間のように考えるAIに一歩近づくとされている。
トランスフォーマーアーキテクチャには長期記憶が存在しないため、人間の思考において本質的に重要な、長期間にわたって情報を保持し活用する能力が制限されている。一方、タイタンは短期記憶に加えてニューラル長期記憶と「驚き」に基づく学習システムを導入している。それらは、予想外または重要な出来事を記憶する上で、人間が使っている仕組みに近い。
簡単に言えば、トランスフォーマーは「アテンション機構」と呼ばれるスポットライトのような仕組みを使って、文章やデータセットに含まれる最も関連性の高い単語やデータに集中している。一方、タイタンはそのスポットライトを活用しつつ、重要な履歴情報を蓄える巨大な「図書館（長期記憶モジュール）」を追加した点が特徴だ。
これは、学生が頭の中だけにすべて詰め込む代わりに、学期の初めのノートを振り返るようなものだ。集中力による即時的な注目と、蓄積された知識の深い想起という2つのアプローチを組み合わせることで、タイタンは膨大なデータを処理しながらも重要なディテールを見失わない。
初期のベンチマークによれば、タイタンは重要なデータを優先的に扱う「驚きメトリック」により、言語モデリングや時系列予測、さらにはDNAモデリングにまでおよぶさまざまなタスクで既存モデルを上回ることが示唆されている。つまり機械知能が人間の認知に近づく大きな転換点となる可能性があるのだ。
