米国のセキュリティ企業Wizは2024年6月24日（現地時間）、オープンソースソフトウェア（OSS）のAIインフラストラクチャプラットフォームである「Ollama」に重大な脆弱（ぜいじゃく）性があることを伝えた。 GitHub人気プロジェクト「Ollama」に重大な脆弱性が発覚 Ollamaは「GitHub」や「Docker Hub」で人気があるOSSのAIインフラストラクチャプラットフォームだ。AIモデルのパッケージ化と展開を簡素化するために設計されている。 この脆弱性はCVE-2024-37032として特定されており「Probllama」と呼ばれている。これが悪用されると任意のファイルが上書きされ、最終的にリモートコード実行（RCE）が可能になるとされている。問題が修正されたバージョンが既に公開されておりアップデートすることが求められる。 同脆弱性の影響を受けるバージョンは以下の通りだ
Overview We have been seeing amazing progress in generative AI and LLM recently. Thanks to the open-source efforts like LLaMA, Alpaca, Vicuna and Dolly, we start to see an exciting future of building our own open source language models and personal AI assistant. These models are usually big and compute-heavy. To build a chat service, we will need a large cluster to run an inference server, while c
既存の LLM コード生成の問題 LLM は行カウントやワードカウントが苦手。 例えば自分は SourceMap を扱うコードのテストを書かせようとしたが、モックデータの line:column がガバガバな位置を指してまともにテストにならない。行カウント/ワードカウントができないのはつまり diff がうまく生成できない。 これらの問題があって、コードを生成するパイプラインを組む場合、 全文出力が主流になっている。 ここで何が問題になるかというと、コードが膨らんで来た時に、(書き変える対象が一部だとしても)生成が顕著に遅くなる。うまく生成できなかった時にリトライを繰り返すと、問題がさらに悪化する。 改善手法の提案: 明示的な Line Number の付与 最近の LLM は入力ウィンドウがある程度大きくても、そこそこの速度で応答する。(お金はかかるが...) 問題は生成速度にある。特に
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu
As discussed on Mozilla Connect, Firefox 130 will introduce an experimental new capability to automatically generate alt-text for images using a fully private on-device AI model. The feature will be available as part of Firefox’s built-in PDF editor, and our end goal is to make it available in general browsing for users with screen readers. Why alt text? Web pages have a fundamentally simple struc
わずか3日で配信中止になった話題作が復活！ 「ドキドキAI尋問ゲーム 完全版」，Steamで配信開始 編集部：荒井陽介 インディーゲームクリエイターのヤマダ氏は本日（2024年5月25日），PC向けアドベンチャーゲーム「ドキドキAI尋問ゲーム 完全版」をSteamでリリースした。価格は389円で，リリースから1週間は10％オフの350円で購入できる（価格はいずれも税込み）。 この発表は，本日配信された「Indie Live Expo」で行われたもの。 本作は，ChatGPTの利用によって，プレイヤー自身の言葉で容疑者（AI）を尋問できるアドベンチャーゲーム。7回以内の尋問でAIを自白させることが目的となるが，そこから本当の「AIとの対話」が始まるという。 タイトル名に「完全版」とあるが，オリジナルの「ドキドキAI尋問ゲーム」は，2023年3月に1度リリースされたものの，想定を遥かに上回る利
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
DifyはオープンソースのLLMアプリ開発プラットフォームです。RAGエンジンを使用して、エージェントから複雑なAIワークフローまでLLMアプリを編成します。
Googleは2024年2月に、生成AIのGeminiが「人種的に多様なナチス」を生成したことを謝罪し、修正できるまで人物を生成できなくする一時措置を講じました。また、Geminiに限らずほとんどのチャットAIは、センシティブな話題を振ると回答を拒否します。このように、大手AI企業は微妙な問題に直面すると臭いものにフタをするようにそのテーマへの言及そのものを回避する傾向がありますが、そのような対応は言論の自由を害することになりかねないと、専門家が警鐘を鳴らしています。 Report: Freedom of Expression in Generative AI - A Snapshot of Content Policies - The Future of Free Speech https://futurefreespeech.org/report-freedom-of-expressi
この文章の目的 この文章はプログラマ以外の人にも読んで欲しいです。 ChatGPTや大規模言語モデルについて聞いたり使ったことはある ChatGPTの業務利用が出来るか検討したが、機密情報を扱う事やコスト面から断念した その後の大規模言語モデル界隈について、すごく驚く人や難しそうな事を言う人がいっぱい居て怖い みたいな状況にある人が、手元のPC内に完全無料でChatGPTのような物を作ること（これをローカル大規模言語モデル、と呼びます）について分かったつもりになったり、あるいはローカル大規模言語モデルについて興味が出てきたときにググるべき単語を知る事が出来るようになって欲しい、と思って書きました。 ざっと読み飛ばすなら10分程度で現状を知れるようにしつつ、プログラマ向けの記載は折り畳みにしているので必要な人は折り畳みも見て下さい。 なぜローカル大規模言語モデルなのか 以下ローカル大規模言語
大量のデータを用いた学習のおかげで人間の言語を処理できる、人工知能モデルの一種・大規模言語モデル(LLM)は、いろいろなことに答えてくれるものの、違法な内容や暴力的な内容の回答は出力されないように設定されていて答えをくれません。しかしそれ以外にも答えることができない種類の質問が存在します。どういった質問に答えることができないのか、それはなぜなのか、AIの話題を多く扱うサイト・Mind Prisonが説明しています。 The question that no LLM can answer and why it is important https://www.mindprison.cc/p/the-question-that-no-llm-can-answer 「LLMが答えることができない質問」としてMind Prisonが例に挙げたのは、「ドラマ『Seer Gilligan(ギリガン君S
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
","chat_template":[{"name":"default","template":"{{ bos_token }}{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% elif false == true %}{% set loop_messages = messages %}{% set system_message = 'You are Command-R, a brilliant, sophisticated, AI-assistant trained to assist human users by providing thorough responses. You
本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
