相談や質問に葦沢が必ず答えるというものではありませんが、情報共有や交流の場になればと思います。 現在「バレンタインデー」をお題にしたAI小説を募集する企画を開催中です。お気軽にご参加ください。 この記事の要約蒸留モデル(14B)は、体感でGPT-3~GPT-3.5のレベル。現時点では、小説に向いているとは言えない性能。 この性能がローカルでそれなりの速さで動かせるのは魅力的。 ローカルでAIエージェントを動かして文章を改善するサイクルを回せると面白そう。 方法環境構築ローカルでの実行は、以下のKohya S.さんの記事を参考にさせていただきました。感謝です。 基本的には上記の記事にしたがって、llama.cppを利用しました。私のPCのGPUはRTX3060 (12GB版)なので、記事でおすすめされている DeepSeek-R1-Distill-Qwen-14B-ggufのQ4_K_Mモデ