16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugging Face Space by llm-jp https://huggingface.co/spaces/llm-jp/open-japanese-llm-leaderboard Introducing the Open Leaderboard for Japanese LLMs! https://huggingface.co/blog/leaderboard-japanese Open Japanese LLM Leaderboa
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味があれば、要望が一定あり次第、別途記事を書きます！） 爆速で動作する日本語特化の文字起こしAI『kotoba-whisper-v2.0』を試してみた はじめに ビジネスシーンや日常生活で、音声データを文字起こしするニーズはますます高まっています。議事録の作成やインタビューの文字起こ
「この文章、勝手に図表にならないかな」 AIで実現？ 資料作りを助けるツール「Napkin AI」、日本語対応で話題に 今書いた文章、そのまま図表になってくれないかな──資料作りに追われるビジネスパーソンなら一度は考える理想。いままでは夢物語だったが、その実現を助けてくれるAIツールが日本語で使えるようになったとして、Xで話題になっている。 その名も「Napkin AI」。同名の米スタートアップ企業が提供するサービスで、文章や数値を入力するだけで、内容に基づいた図表を提案してくれる。出力した図表は商用利用が可能。テキストは、Napkin AIの機能で生成したものでも、それ以外のものでも、範囲を自由に決めて“ビジュアル化”できる。 出力したビジュアルの色やアイコン、フォントも編集可能。図表をPNG・PDF・SVG形式でダウンロードすることもできる。9月4日（日本時間）には、日本語やタイ語など
AIスタートアップのSakana AI（東京都港区）は8月2日、複数の画像について日本語で質疑応答できるAIモデル「Llama-3-EvoVLM-JP-v2」を発表した。このモデルは、同社が提案する生成AIの開発手法「進化的モデルマージ」で開発した視覚言語モデル（VLM）。作成したAIモデルなどはHugging Faceで公開中。 「Llama-3-EvoVLM-JP-v2」の特徴は、複数の画像を扱えること、日本語で応答できることだ。例えばこのAIモデルに、2枚の犬の画像を見せて「それぞれを簡単に説明してください」と質問すると、犬種や身に着けている装飾品など、質問に対する回答を日本語で返してくれる。米Metaが公開しているAIモデル「Llama-3」をベースにしており、同社が過去に公開したAIモデルよりも性能が向上しているという。 これまでも、画像に対する説明や質疑応答のできるVLMが多く
はじめに こんにちは！AI エンジニアのヤマゾーです。 ここ数年生成 AI の進化が目覚ましく、生成テキストの品質だけでなく画像の理解力も各段に向上しつつあります。例えば以下の記事を書いた時の ChatGPT は画像中に書かれた日本語を殆ど読めなかったのですが、現在は難しい漢字もスラスラ読めるようになっています。 その他にも、X ではインフルエンサーの「〇〇を読めた！」「〇〇を扱えた！」という投稿を毎日のように見かけます。中には再現性や新規性が怪しい投稿も含まれるようですが、ここまで活発かつ継続的に多くの進展が報告されるのは異例の事態です。 それでは、現時点における生成 AI は実際どこまで日本語の画像を理解できるのでしょうか？ 本記事ではこの疑問に答えるべく、三大生成 AI である ChatGPT、Gemini、Claude を対象にオリジナルのテストを行い、初学者向けに解説しようと思い
本記事のサマリーELYZA は、「Llama-3-ELYZA-JP」シリーズの研究開発成果を公開しました。700億パラメータのモデルは、日本語の生成能力に関するベンチマーク評価 (ELYZA Tasks 100、Japanese MT-Bench) で「GPT-4」を上回る性能を達成しました。各モデルは Meta 社の「Llama 3」シリーズをベースに日本語で追加学習を行なったものです。 ■「Llama-3-ELYZA-JP-70B」 700億パラメータモデル。「GPT-4」を上回る日本語性能を達成。無料で利用可能なデモを用意しています。 ■「Llama-3-ELYZA-JP-8B」 80億パラメータと軽量ながらも「GPT-3.5 Turbo」に匹敵する日本語性能を達成。モデルを商用利用可能な形で一般公開しました。 使用したAPIのバージョンなど、より詳細な評価結果については本記事の後段
東大発のAIスタートアップ企業であるELYZA（東京都文京区）は6月26日、GPT-4を超える性能を持つ日本語特化型の大規模言語モデル（LLM）「Llama-3-ELYZA-JP-70B」を開発したと発表した。AIモデル自体は公開しておらず、今後企業向けに提供していく予定。チャット形式で性能を試せるデモサイトは公開している。 Llama-3-ELYZA-JP-70Bは、米MetaのLLM「Llama-3-70B」をベースに日本語の追加事前学習や指示学習を行って開発したモデル。元のLLMから、日本語性能が大きく向上しているのが特徴。2つのベンチマークで日本語性能を評価したところ、米OpenAIのLLM「GPT-4」の性能を上回り、米AnthropicのLLM「Claude 3 Sonet」や米GoogleのLLM「Gemini 1.5 Flash」とも同等かそれ以上の性能を達成したという。
産業技術総合研究所と東京工業大学の研究チームは12月19日、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。米Metaが開発したLLM「Llama 2シリーズ」をベースに日本語能力を改善させたもの。ライセンスは「LLAMA 2 Community License」で、研究や商業目的で利用できる。 今回公開したのは、パラメータ数が70億（7B）、130億（13B）、700億（70B）のモデル3種類。Llama 2シリーズが持つ高い言語処理能力を維持しながら日本語能力を強化することを目指した。 このため、AIモデルに日本語の文字や単語などの語彙を追加し、新たに開発した日本語データで継続事前学習（学習済みのLLMに対して追加で事前学習を行う手法で、異なる言語などで言語モデルを活用するときに使われる）を行った。結果、日本語に関するベンチマークデータで、全モデルがベースモデルより
日本語を含む多言語対応のLLM（大規模言語モデル）の開発は、韓国SK Telectom（SKT）との協力で行っている。 Claude 2にユーザーのデータをSKTと共有するのか尋ねたところ、「個人情報などの機密データはSKTと共有せず、AIの学習や改善のために必要最小限のデータのみを共有する方針です。」との答えだった。 Claude 2へのアクセスはこちらから可能だ。 関連記事 GPT-4やLlama 2の透明性をスタンフォード大HAIが評価 トップはMetaでOpenAIは3位 スタンフォード大学HAIは、AI基盤モデルの透明性評価システム「FMTI」と、このシステムで評価したOpenAIやMetaなど10社の透明性ランキングを発表した。 AI企業のAnthropicに韓国SKTが1億ドルの追加出資 日本語にも対応の多言語LLM共同開発 元OpenAIのエンジニアらが創業したAI企業An
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
AIは、Web制作にもすごい速さで浸透しそうですね。今までも似たツールがいくつかあったのですが、かなり出来がよいので紹介したいと思います。 テキストを入力、たとえば「シンプルでモダンなナビゲーション アイテムは日本語」と入力すると、そのUI要素を実装するHTMLとCSSを生成してくれるAIツールを紹介します。 AI CODE 実際に試してみましたが、ナビゲーション、ボタン、カード、フォームなど、UI要素やUIコンポーネントやレイアウトが数秒で簡単に実装されました。 また、次のバージョンではJavaScriptにも対応して、UIライブラリも追加する予定とのことです。 AI CODEの使い方 AI CODEの使い方は簡単、登録など面倒なことは一切不要です。 サイトにアクセスし、テキストを入力して「Generate」ボタンを押すだけです。 テキストは英語だけでなく、日本語でも大丈夫です。たとえば
刈宮 宥 @Callimiya GPT4の日本語読解力の限界に挑戦してみた 普通の翻訳では全く不可能なコンビニコピペを訳させる この文章を70点ぐらいの理解してるのやばすぎる pic.twitter.com/Fow6s47Ify 2023-03-30 21:25:30 コンビニコピペ全文 客「ｺﾚ、ｵﾈﾁｨｰｽ」 店「ﾁｽ、ｺﾚｯｽﾈ、ｳｨｯｽ」 客「ｳｨ」 店「……」ﾋﾟｯﾋﾟ 客「ｵｳｪ！？ｳｪｳｪｳｪ、ｳｨｳｨｳｨ」ﾀﾀﾀｯ 店「？」 客「ｺﾚﾓ、ｼｬｽ」 店「ｳｽｳｽ、ｵｹｽ」 客「ｻｲｾﾝ」 店「ｲｪｲｪ、ｾﾞﾝｾﾞ、ｼﾞｮﾌﾞｯｽｼ、ｲｰｽｲｰｽ」ﾋﾟｯ 客「ｳｨｧ…」 店「ｨｰ…ｺﾁｬｰﾉｺﾉﾐｬｷ、ｱﾀﾀｯｽｶ？」 客「ｿｯｽﾈ、ﾁﾝｼﾃｯｻｲ」 店「ﾜｶﾘｬｯｼﾀ、ｱﾀﾀｯｽ」ﾊﾞﾀﾝ 客「…ﾉｳｪ」 店「ｨｪｱｰｯﾄ、ｺﾞﾃﾝﾃﾞ、ｹｰｻｰｾﾞｰﾆﾅﾘｬｯｽ」 客「ｻｾ
⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできません コンテンツ生成者はできません。 詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。 概要2022年の11月末にOpenAIからChatGPTが発表されてから、それに追随するようにGoogleからBard、MetaからLLaMAなど大規模言語モデル（LLM）が発表されました。さらにLLaMA 7Bを「text-davinci-003」を用いて「Self-Instruct」で作成された52Kのデータセット（
「GPT-4」発表 日本語でもChatGPT英語版より高性能、司法試験で上位10％、「この画像何が面白いの？」にも回答（1/3 ページ） 米OpenAIは3月14日（現地時間）、大規模言語モデル「GPT-4」を発表した。テキストでのやりとりだけでなく、新たにユーザーから画像を受け取り、適切な情報も返せるようになったという。司法試験の模擬問題を解かせたところ、現在の「ChatGPT」が採用しているGPT-3.5では受験者の下位10％ほどのスコアしか取れないのに対し、GPT-4では上位10％のスコアで合格するとしている。 ChatGPTの有料版「ChatGPT Plus」やAPI経由ですでに利用できるようになっている。 専門的領域なら人間レベル 日本語でもGPT-3.5の英語版より高性能に GPT-4の性能について、同社は「現実世界のシナリオにおいては人間に劣ることも多いが、（司法試験の模擬問
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
