ソフトウェア開発の現場では、AIを活用した開発支援ツールへの注目が年々高まっています。 （たぶん）1年ほど前はCursorを使っているエンジニアも今ほどは少なく、OpenAI DevDayでデモを行なったOpenAIのエンジニアがCursorをエディタとして利用していたことが話題になったのを覚えています。 そして、2024年12月についにリリースされた「Devin」は、AIチームメイトの名の通り、まるでチームの一員として自律的に動く点が特徴とされています。 https://devin.ai/ 弊社も検証のためにDevinをトライアルしていますが、新人エンジニアを育成するように少しずつタスクを与え、フィードバックを繰り返していくうちに、Devinがどんどん機能してくれるようになる――そんな“育成ゲーム”のような手応えを感じています。 本記事では、月500ドルという導入コストを見合う形で活用す
Meta Platforms社が開発するAIモデルのシリーズである「Llama」は、高性能で費用対効果が高く、比較的寛容な条件で頒布されていると多くの人々から見做されていることからシステムへの採用や派生モデルの開発等の利用が拡大しているように見受けられる。しかし、Meta社のCEOが自ら「Llamaはオープンソースである」と喧伝することで本当にLlamaがオープンソースであると誤解する傾向もあり、またLlamaライセンス契約自体に幾つかの厄介な問題が潜んでいるにも関わらず採用が進むことで今後法的な問題が生じかねないと考えられる。そこで本稿では、先ずLlamaライセンス契約のオープンソースへの適合性から解説することとする。 なお、Llamaライセンス契約のモデル利用時における注意点に関しては別の記事とする。 AIはtypoする Llamaのオープンソースへの適合性 1. オープンソース性を否
特に、特筆すべきポイントは、多言語対応において、LLMの方がまだ精度の高いケースがあると思うが、これは、大量の学習データを使っていることに起因している。 一方で、LCMは、SONARの埋め込み空間を使うことで、多言語対応が可能となっている。 LCMの特徴 概念図を理解できたところで、LCMにおける大きな3つの技術的な特徴を整理してみましょう。 SaT（Segment any Text）による分割 SONARによる多言語・マルチモーダルへの対応 拡散モデル（Diffusion）や量子化モデル（Quantized）などのアプローチによる改善 これらの3つの手法について、詳しく解説していきます。 1. SaT（Segment any Text）による分割 LCMの周辺技術として、「SaT」というテキストや音声など、さまざまな形態の言語情報を適切に分割・扱う手法があります。 SaTとは、Segme
なぜDeepSeek V3は“破壊的”なのか？ 大規模言語モデル（LLM）といえば、OpenAIのGPTシリーズやMetaのLlamaシリーズなど、膨大な学習コストと大手企業の潤沢なリソースが必要というイメージが強いかもしれません。しかし、2024年末にリリースされたDeepSeek V3は、その“常識”を一変させる存在として大きな注目を集めています。 わずか数カ月・約558万ドルという圧倒的低コストで学習完了 GPT-4oに匹敵する性能をうたうオープンソースモデルであり、APIも数分の1～十数分の1と圧倒的価格破壊を起こしている Mixture-of-Experts（MoE）を活用して370B級モデルを安価・高速に動作 こうしたインパクトは「破壊的」と評されるに十分でしょう。これまで「開発コスト」や「リソース」による参入障壁が高かったLLMの世界に、新たな扉を開く可能性を秘めているからで
以下は上記の2つの論文（「PICSY: Propagational Investment Currency SYstem」と「Birdwatch」）をつなぐ領域の要点とまとめである。
米OpenAIとAI安全性の研究組織である米Apollo Researchは12月5日（現地時間）、OpenAIが同日公式版をリリースしたLLMの「o1」についての考察を発表した。いずれも、o1に関して幾つかの懸念事項を指摘している。 o1は、OpenAIが9月に発表したLLM。回答を生成する前に思考の連鎖を生み出すことで、複雑な推論タスクを実行できるというものだ。さまざまな戦略を試したり、間違いを認識したり、思考プロセスを洗練したりすることで、従来のモデルと比較して、より有用な回答を提供できるようになったとOpenAIは説明している。 だがApollo Researchは、o1が「scheming」（策略。開発者やユーザーの意図と異なる目的を密かに追求する能力）について評価したところ、o1が以下のような行動を示すことが明らかになったとしている。 開発者やユーザーではなく、o1自身の目標に
この記事はHaskell Advent Calendar 2024の6日目の記事です。 概要 Haskell向けのLLMのフレームワーク (Intelli Monad)を作成し、自立エージェントであるアプリケーションに組み込みました。 このフレームワークは型安全なFunction CallingやStructured Outputを提供し、チャットの履歴をモナドで管理し、履歴の永続化を行います。LLMにはOpenAIを利用し、履歴の永続化にはPersistentライブラリを利用しています。LLMの入出力が型安全であるため、Hspecなどの既存のユニットテストでテストが可能です。 目的 Haskellを使ってLLM（大規模言語モデル）を自立エージェントであるアプリケーションに組み込むことが目的です。 組み込み対象のアプリケーションには、次の二つのパターンが存在します。一つはヒューマン・イン・
making-the-most-of-local-llms.ipynb Loading Sorry, something went wrong. Reload? Sorry, we cannot display this file. Sorry, this file is invalid so it cannot be displayed.
こちらは「LLM・LLM活用 Advent Calendar 2024」の１日目の記事です! 対象読者 LLMをなんとなく触り始めた人 はじめに LLMはよく、「次にくる単語を予測して出力する」と説明されます。これは入力した内容を元に、出現確率を予測するモデルであるから、その中から可能性の高い単語を選択することで文章の生成ができるわけです。ただし、ぶっちゃけて言うとAPIレベルで叩いたりllama.cppを遊ぶ分にはそこはラップされており、基本的にはあまり考える必要はないように作られていると思いますし、個人的にもLLMを用いたプロダクトを作る際はそこは強く意識する必要はないとも考えています。 一方で、それを少し把握しつつ確率分布を見たりそれを弄ったりすることでLLMを用いた表現の可能性を探ることができるはずです。この記事はLLMの出力内容および各トークンごとの確率を眺めつつ、何に使えるかを
LLMをやっているなかで実感ベースで学んだ、「この要素が2個か3個くらいあると、その案件はやばいかもしれない」と感じるリストです。自分の備忘もかねて書き残しておきます。また、今後も育てていきたいです。あと何があるかな？ 1.トークン数を超える入力を必要とするタスク →インプットデータをベクトルDB化しないといけないため精度が下がる 2.複数ファイルのインプットを必要とするタスク →ファイル間の関係を正確に把握できないため、ハルシネーション発生率が上がる 3.業務や工程を横断するタスク →異なる文脈を正確に把握できないため、ハルシネーション発生率が上がる 4.インプットの形式／様式が複雑なタスク →画像や図などは精度が下がる(インテリジェントなOCRやマルチモーダルLLMでも、けっこう厳しい戦いがある) 5.プロジェクトで使えるLLMのモデルがレガシーモデル(GPT4以下)である →モデル自
We believe that studying these agents on a large scale offers valuable insights into their behaviors, capabilities, and potential risks. Research with us Rigorous research takes time and resources. With advanced GPU access and a dedicated team, we explore the frontier research topics by balancing urgency and patience. Join our ongoing projects or test new ideas with us, reach out via email for mor
はじめに 現在、社内での業務の一環として、業務効率化のための全社的な生成AIの推進施策を主導しています。施策を始めたのが今年の2月頃なので、11月現在で約10ヶ月というところです。結果として、アンケート回答者約87名の内6割が週1回以上は生成AIを活用しているという状態までもっていけました。 この記事では取り組みのきっかけと、実際の施策とその結果についてアンケート結果などを交えて説明できればと思います。 背景 いわゆる生成AI(ここでは画像生成AIはいったん除いておきます）はIT系企業のみならずここ2年で随分浸透してきました。有名どころを挙げると ChatGPT (OpenAI) Claude (Anthropic) Gemini (Google) GitHub Copilot (Microsoft) あたりでしょうか。加えて、最近はオープンな生成AI……というより大規模言語モデル（LLM
本記事では、RAGの性能を高めるための「Plan×RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「Plan×RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Plan×RAGは、RAGの精度を上げるための新しい手法です。アールト大学とMicrosoft Researchの研究者らによって2024年10月に提案されました。 ざっくり言うと、Plan×RAGとは、「計画を立ててから検索する」手法です。Plan×RAGでは、ユーザーの質問を、まず最初に小さな単位に分解。その後、それらの関係性
はじめに 10月12日発売の、Software Design総集編【2018～2023】における特集「生成AI時代を生き抜くITエンジニアの生きる技術」で、第1章「プログラミング」を担当させていただきました。 雑誌発売から一ヶ月近く経っているのでやや時期を逸した感もあるのですが、所属会社の名前を出して書いた記事でもあるので、この場を借りて宣伝をさせていただければと思います。 書影と記事抜粋 経緯 私は元々AIについては門外漢なのですが、生成AI（LLM）については特にChatGPTが公開された直後から興味をもちはじめました（辺りがガチの人からするとにわか感が満々ですが）。 特にプログラミング言語処理におけるポテンシャルの高さに魅了され、現在に至るまでChatGPT（OpenAI）, Claude（Anthropic）, Gemini（Google）など大手のLLMにとどまらずローカルのLL
画像をAIで生成することが当たり前になった現代だが、音楽もAIで生成できることはご存じだろうか。 SunoというAIサービスを使うと、素人が聞くにはかなりクオリティの高い楽曲が生成される。 音楽ジャンルもなんでもござれ。インスト楽曲も、日本語のボーカルあり楽曲もOKだ。 先日「存在するはずのないAI生成のシティポップ楽曲で記憶が改ざんされていく」というXのポストがバズったが、筆者が聞いてみた限りではそのAI生成楽曲もSunoで生成したものだと思う。 ▲話題になったAIシティポップ 筆者は普段DTMといわれる、パソコンで曲を作ることをしている。 DTMとはデスクトップミュージックの略だが、和製英語らしい。 もともと音楽を作るのは好きで歌うのも好きなので、オリジナルソングを作って歌って発表している。 ▲こんな曲を作っています しかし、曲を作るのは大変なんである。たのしいけど。 歌詞もかけなくて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
