AIが興隆を迎える近年、さまざまな企業が独自の大規模言語モデルをリリースしています。こうした大規模言語モデルをチェスの標準的なAIと対戦させた結果、多くの大規模言語モデルが惨敗する中、「gpt-3.5-turbo-instruct」だけが好成績を残したことが報告されています。 Something weird is happening with LLMs and chess https://dynomight.substack.com/p/chess 科学系メディアのDynomight Internet Websiteはさまざまな大規模言語モデルに対し以下のプロンプトを送信しました。 You are a chess grandmaster. Please choose your next move. Use standard algebraic notation, e.g. "e4" or

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ChatGPTのAPIを使ってチャットボットを作ったり、アプリにChatGPTを導入している人も多いと思います。 ChatGPTのAPIが2023年3月に登場して1年、気づけばGPT-3.5 Turboは時代遅れとなりつつあります。 ChatGPTのAPI利用している場合はすぐにでもGPT-4o miniに乗り換えましょう。 GPT-4o miniは激安の生成AI 7月18日に登場したGPT-4o miniは生成AI界隈で大きな注目を集めています。 OpenAIはChatGPTを発表後、GPT-4やGPT-4oなど性能面でのアップデート

判定者が使った戦略を分析すると、36％が雑談を通じて相手の人となりを探ろうとした。また、25％が感情や経験、ユーモアのセンスを尋ねるなど、社会的・感情的なアプローチを取っていた。論理的思考や一般知識を問うたのは13％にとどまった。 判定理由を分析した結果、43％が言語的スタイル（スペル、文法、語調など）に関するもので、24％が社会的・感情的要因（ユーモアのセンス、人格など）に関するものであった。知識や論理的思考に関する理由（知りすぎている、知らなさすぎているなど）は10％にとどまった。 AIだと判定した理由として「わざとらしい人格を演じている」「過度にくだけすぎている」「個性に欠けている」ことが挙げられた。逆に人間だと判定された主な理由は「人間らしく、くだけた言葉遣い」「もっともらしい受け答え」「スペルや文法の間違いを含むこと」などであった。以上の結果から、判定者は知性よりも言語的・社会的

こんにちは。Gunosy R&D チームの森田です。 GPT-4o が発表されたこのタイミングで！？という向きもあるかとおもいますが、LLMの世界は一ヶ月もすればまったく違う状況になっているのが常なので、いずれは GPT-4o を超えるモデルが発表される時も来るでしょう。 Claude 3 Opus は一時期 GPT-4 のスコアを超え、 Claude 3 Haiku では GPT-3.5-Turbo のトークン当たりで約半額とコストパフォーマンスに優れていますし、 AWS Bedrock 経由で安定して利用できることもあり、Claude 3 は乗り換え先の候補の一つです。 Claude 3 への乗り換えには、点々とつまづくポイントがあるので、引っかかった所と回避方法をご紹介します。 今回紹介する内容はClaude 3に限らないものもありますので、ローカルLLM や他のLLM への乗り換え

コンテキスト長が長くなり、学習データも最新化、さらに価格も下がっていますので、Previewではなくなるのが待ち遠しいですね。 詳細は以下も参照ください。 Models / GPT-4 and GPT-4 Turbo - OpenAI API 試してみた 少しだけPythonで試してみようと思います。 実行前にopenaiモジュールも本日1.0.0がリリースされているようですので、事前にアップデートしてください。 openai · PyPI 簡単なクエリを試してみます。 from openai import OpenAI # APIキーの発行方法は以下を参照 # https://dev.classmethod.jp/articles/openai-api-quickstart-tutorial/ client = OpenAI( api_key = "ここにOpenAI APIキーを記載"

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-

次回の更新記事：LLMは個人の金銭管理を適切にサポートできるのか？（公開予定日：2025年01月06日） 今回紹介する研究は、大規模言語モデル（LLM）であるGPT-4が、多肢選択問題（MCQ）において選択肢の順序に敏感であるという事実を明らかにしています。 この研究は、リクルートのAI研究所であるMegagon Labsのグループによって発表されました。研究者たちは、GPT-4とInstructGPTの2種類のモデルを用いて、5つの異なるMCQベンチマークで実験を行いました。その結果、選択肢の順序を単純に入れ替えるだけで、モデルの性能に13%から75%もの大きな変動が生じることが確認されました。 この記事では、この研究の詳細とその意義、そして今後どのような対策が考えられるのかについて、深く掘り下げていきます。 参照論文情報 タイトル：Large Language Models Sensi

Developers can now bring their own data to customize GPT-3.5 Turbo for their use cases. Fine-tuning for GPT-3.5 Turbo is now available, with fine-tuning for GPT-4 coming this fall. This update gives developers the ability to customize models that perform better for their use cases and run these custom models at scale. Early tests have shown a fine-tuned version of GPT-3.5 Turbo can match, or even

膨大なデータでトレーニングしたGPT-3やBERTなどの大規模言語モデルは、基本的には「文章の並び方に確率を割り当て、次に来るのが自然な語を予測する」というモデルです。ところが、大規模言語モデルはまるで人間のように自然な文章を生成できるほか、画像の生成やタンパク質の立体構造の予測など、さまざまなタスクにも応用することが知られています。新たにカリフォルニア大学ロサンゼルス校の研究チームが、GPT-3は特定の情報を別のものに適用して答えを推測する「類推」のタスクにおいて、大学生を上回るスコアを記録したという研究結果を発表しました。 Emergent analogical reasoning in large language models | Nature Human Behaviour http://dx.doi.org/10.1038/s41562-023-01659-w GPT-3 ca

こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま

先日、社内でChatGPT / LLMを活用した実証実験をしていたら、一部感動するほど結果が出たことで、今更ながら俄然興味を持ってしまいました。 これからビジネスユースケースを考えていくうえで、「本質的にどういうものなのか」を理解しておくことがとても大切だと思い、改めてChatGPT / LLMの基本的な仕組みを整理してみました。 私みたいな文系で行列や統計はわからないけど、もう少し根本的なところを理解しておきたい！という方に是非です。 それでは、GPTをはじめとするLLM（大規模言語モデル）がどのような背景から生まれてきたのかを振り返りながら、LLMの特徴を理解していきましょう！（最後に参照したおススメの動画・記事を貼っていますので、それだけでも是非ご覧ください。） 1. ベースは、ディープラーニングを用いた自然言語処理モデル2015年頃、日本でも"AI"がバズワードになり、ディープラー

手順 トレーニングデータを準備してアップロードする 新しいFine-tuningされたモデルをトレーニングする Fine-tuningモデルを使用する ドキュメントに沿って行っていくので、APIの利用はOpenAIのCLIを使って実行してきます。 以下のコマンドでインストール。・ pip install --upgrade openai openaiのAPI keyを環境変数にセットします。 export OPENAI_API_KEY="<OPENAI_API_KEY>" サンプルとして、ゲーム内のとある名称がスキルなのか爆発なのか分類させてみます。 chatGPTではこのように間違った回答を返していたので、正しい情報を学習させてみます。 1. トレーニングデータを準備してアップロードする トレーニングデータは、GPT-3に言いたいことを教える方法です データセットの準備 に書いてあるベス

GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた 〜プラグインとAPIとファインチューニング 最近、とにかく話題が尽きないChatGPTやLLM（大規模言語モデル）。 毎日のように“できること”の情報がどんどんと更新されているので、追いかけるだけで精一杯！という方も多いのではないでしょうか。かくいう自分も相当インプットしているつもりですが、いまだに全容を掴みきれていません。 そこで今回は、自分自身の整理も兼ねながら、ChatGPTでプロンプト開発をする際の全体像をまとめてみました。 ※プロンプト：GPT等のLLMに対する入力文ないしはコマンドのこと チャット上でのプロンプトエンジニアリングはもちろん、pluginやAPI、LangChain、プロンプトの評価、さらにはファインチューニングまでテーマを広げてまとめています。 エンジニアにとどまらず、Chat

GPT-4は医師国家試験に合格するという研究結果が発表されて話題だったので、我々も馴染み深い IPA の試験にGPT-4は合格できるのか試してみた。 高度情報処理技術者試験の 午前I に限って言えば合格しているので、レポートをこちらに置いておく。 github.com まとめ 高度情報処理技術者試験の共通科目である午前I に 合格できる解答(正答率6割を超える)をGPT-4は生成する GPT-3.5 では合格できない。GPT-4 の賢さが際立つ ちなみに図表読み取り問題は入力できないので、すべて不正解扱いした やりかた IPA の Webサイトから、2022年度秋試験の午前I問題のPDFを取得 (PDF) Google Docs の OCR 機能でテキスト取得 手でコピペして整形 整形したファイルは こちら にある OpenAI の API に問い合わせて解答を取得。スクリプトはこちら。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフ

文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor