AIのトレーニングに使用されるデータをインターネット上からかき集めるために使用されるのがクローラーです。自身のウェブサイト上のデータをAIのトレーニングに利用されないようにするためのオプションを大手AI企業は提供していますが、この種のブロックを迂回してクローラーがウェブサイトから情報を抜き出していることも問題視されています。そんなクローラーを無限に生成される迷路に閉じ込めることができるのが「Nepenthes」です。 Developer Creates Infinite Maze That Traps AI Training Bots https://www.404media.co/email/7a39d947-4a4a-42bc-bbcf-3379f112c999/ 大規模言語モデル(LLM)をトレーニングするためのデータをスクレイピングするのがクローラーですが、そんなクローラーをターゲ