Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 教科書をLaTeXおよびPDFファイルで自動生成するツールを作りました！ プログラムはGithubで公開しており、Google Colabで実行できます。 ツールの名前は、AutoGenBookとしました。 このツールにより、あなたのバックグラウンドを考慮した上で、あなたの知りたい分野の教科書を数十円くらいで作ることができます！！ 以下は「機械学習のための線形代数」についての教科書を出力した結果です。PDFはこちらに置いています。 Markdownでの出力にも対応しました（2024/10/19）。 数式だけでなく、プログラムも表示できま

アイキャッチ画像は【松尾研LLMコミュニティ】面倒なことはLLMにやらせよう "Beginning LLM"より引用 松尾研 LLM コミュニティ"Beginning LLM"で登壇しました 松尾研究室のLLMコミュニティで登壇しました。 面倒なことをChatGPTだけでなく、色々なLLMにやらせようというテーマで、お話させていただきました。 座学とハンズオンでの実践で、質問を挟みながら1時間半程度実施しました。Connpassの参加者登録数 900人で、実際の参加者は最大487人だったそうです。"Beginning LLM"での登壇は、今回が2回目となります（前回はこちら）。 面倒なことはLLMにやらせよう 動画アーカイブは後日公開される予定です。 スライドは以下です。 LLMに面倒なことをやらせるハンズオンで使用したGoogle Colabのノートブックは以下です。 code_cook

声優有志が許諾なき“無断生成AI”にNO　山寺宏一、梶裕貴ら声優26人が啓発動画に出演「声が勝手に売られていた」

国立情報学研究所（NII）は10月4日、大規模言語モデルの研究動向について紹介する資料を無料公開した。資料は9月25日に一橋大学で開催したシンポジウム「大規模言語モデルのあるべき姿とは？」で利用したもので、NIIや情報通信研究機構（NICT）などによる研究動向や研究開発の指針などをまとめている。 10月7日時点では、NIIの教授陣がまとめた「大規模言語モデルにおける安全性の実現と方向性」「日本語に強い大規模言語モデルの開発のためのコーパス構築」など8本の資料を公開している。今後は追加の資料に加え、所長の黒橋禎夫さんやAIスタートアップ・Preferred Networksの岡野原大輔代表取締役などが登壇したパネルディスカッションの動画なども順次公開するという。

株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。本記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LongRAGは、「文書全体を読まないと正答できない」ようなタイプの質問に対しても、RAGの精度を上げるための新しい手法です。中国科学院・清華大学の研究者らによって2024年10月に提案されました。 ざっくり言うと、LongRAGとは、「階層化」+「フィルタリング」です。 2つとも、よく知られたRAGの手法ですが、これらを組み合わせるこ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今年の夏はTOEICスコア900超えを一つの目標にしていて、そのためにはリスニングが課題でした。 とにかく数をこなそうと、無料で問題を解けるアプリを探して、初めはそれをずっとやっていましたが、一日に解ける問題数が限られていて、徐々に物足りなくなってきました。 前々からTOEICの問題ってAIで生成できるんじゃね？と思っていたので、この際スコア900越えに加えて、AIでリスニング問題生成＆Webサービス化を目標にし、ようやく完成したので公開しました。 公開したリスニング問題AI生成サイト ※AIで生成し、内容のチェックは行ってい

生成AIによる画像や音楽の〈創造〉。2024年現在、社会は生成AIが孕む様々な問題と向き合わざるを得ない状況だが、それらは徐々に受け入れられ、当然の光景になりつつもある。そんな今、SNSを中心に話題になっているのが〈AIシティポップ〉だ。AIが生み出すシティポップの楽曲が何故これほど議論になるのか?　著書「シティポップとは何か」「ポップミュージックはリバイバルをくりかえす」で知られる評論家の柴崎祐二が迫る。 ＊Mikiki編集部 生成AIが浸透した今、なぜAIシティポップが議論に? 事の発端は、先日、DJのデラさんが投稿した次のようなポストでした。 ちょっと、怖いの見つけてしまった。ユーチューブにて、AIで生成された80年代シティポップばかりアップしているアカウント。このクオリティが、どの曲も高すぎる。トラックのみならず歌詞もボーカルも素晴らしく、昨日まで存在しなかったはずなのに、どの音源

AI企業のAnthropicは10月23日、大規模言語モデル「Claude 3.5 Sonnet」の刷新と、新モデル「Claude 3.5 Haiku」の導入を発表した。Claude 3.5 Sonnetには、AIモデルが人間のようにコンピューターを操作できるようになる新機能「コンピューター使用」が追加された。 アップデート版のClaude 3.5 Sonnetは、特にコーディング分野で大きく性能を伸ばし、業界ベンチマークで広範囲にわたる改善を示した。SWE-benchの検証済みタスクでは、前バージョンの33.4%から49.0%へと性能が向上し、他のすべての公開モデルを上回る結果となった。 新たに導入されるClaude 3.5 Haikuは、前世代の最大モデルであるClaude 3 Opusと同等の性能を持ちながら、コストと速度は前世代のHaikuと同等を維持している。特にコーディングタス

AIの台頭により、コンテンツを生み出す出版社はAIと共存するか対決するかの選択を迫られています。アメリカの大手出版社のペンギン・ランダムハウスが、今後出版される書籍をAIのトレーニングに使用することを明示的に禁止する措置を講じると、イギリスの出版業界メディア・The Booksellerが報じました。 The Bookseller - News - Penguin Random House underscores copyright protection in AI rebuff https://www.thebookseller.com/news/penguin-random-house-underscores-copyright-protection-in-ai-rebuff Penguin Random House books now explicitly say ‘no’ to A

Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むための重要な技術として注目を集めています。 RAG は、その名の通り、外部知識ベースから関連情報を検索し、それを LLM の入力に組み込むことで、より正確で最新の情報に基づいた回答を生成する手法です。この手法には以下のような重要な利点があります。 最新情報の反映: LLM の学習データの制限を超えて、最新の情報を回答に反映させることができる。 ドメイン特化: 特定の分野や組織固有の情報を容易に組み込むこ

あるフィッシング攻撃で使われたマルウェアを研究者が分析したところ、普通のサイバー攻撃者ならやらないことをやっていたという。 フィッシングによる詐欺被害は収まる気配がない。フィッシング対策評議会の発表によれば2024年7月のフィッシング報告件数は17万7855件、同8月の報告件数は16万6556件だったという。 ある研究者がフィッシング攻撃によって強制的にダウンロードされたマルウェアのソースを調べたところ、奇妙な点が見つかったという。それは普通のマルウェアにはない特徴で、サイバー攻撃者ならまずやらないことだという。それは、一体？ 2024年6月下旬ごろ、あるサイバー攻撃者らがフランスのユーザーをターゲットに大規模なフィッシング攻撃を仕掛けていたことがセキュリティ対策企業HP Wolf Securityの調査で判明した。その調査結果が2024年9月24日に発表され、Tech系ニュースサイト「B

15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー Googleが提供する無料の機械学習の集中講座はご存知でしょうか? 機械学習に関する幅広いテーマを座学・動画・実験・コーディングといった様々なアプローチで15時間で学べます。しかも無料です。 このコンテンツはもともとは2018年に公開されたものであり、多くのエンジニアに活用されました。 とはいえ、2017年のTransformerの論文、大規模言語モデルの発展、2022年のChatGPTリリースなど、AIは急速に発展し、より広い職種に身近なものになっています。 この流れを受けて、入門講座は2024年8月に大幅に刷新されました。 ※冒頭で登場するResearch DirectorのPeter NorvigはAIの世界的な教科書"Artificial Intelligence: A Mode

以下の記事などで既にかなり話題になっていますが、ぼくも触ってみました(使い方などの詳細はこちらの記事を参照してください)。 結論としては、マジすごくてかなり衝撃的です。すべてのホワイトカラーワーカーにとって、かなりディスラプティブなツールになるのではないでしょうか。 自分はコンサルタントでして、これまでにたくさんの資料を作ってきてスキルを磨いてきたつもりだったので、AIポン出しでここまでのものが出てきてしまうと、正直、人生について考えさせられちゃいますね。 この記事では、Napkinを使ってどういう資料ができたのか共有したいと思います。 ポストモーテムの勉強会をしたいなと思っていたので、まずはChatGPTで資料の骨子を出力し、それをNapkinに入力してみました。それで得られたのが、以下の資料です。 スライド1: タイトルスライド タイトル: ポストモーテムの教科書 副題: SREにおけ

はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「HybridRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「HybridRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HybridRAGは、通常のRAG（Retrieval Augmented Generation）で用いられる「ベクトル検索」の弱みを補い、回答精度を向上するための手法です。BlackRockとNVIDIAの研究者らによって2024年8月に提案されました。 ベクトル検索の弱みはいくつかあります

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム

はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And

ChatGPTとの会話は、基本的にChatGPTの学習データとして使用されますが、会社での利用などを考えると懸念点は多くあると思います。 この記事では、OpenAIのChatGPTがユーザーの入力を学習する仕組みと、その学習を停止させる方法やオプトアウトの申請方法について詳しく解説します。 また、法人利用者向けとして導入予定のサブスクリプションプラン、ChatGPT Businessについても紹介しているので、参考にしてみてください。 あわせて読みたい：すぐ使える！ChatGPTプロンプトテンプレートまとめ ChatGPTの学習機能とは ChatGPTの学習メカニズムは、大量のテキストデータからパターンを学び取ることに基づいています。具体的には、インターネット上の大量のテキスト（書籍、ウェブページ、記事など）を分析し、単語やフレーズ、文の間の関連性を理解します。この過程は「事前学習」と呼ば

はじめに ChatGPTを初めとした大規模言語モデル (LLM) が話題になっており、ちょっとした質問でも非常に優れたアウトプットが得られるようになりました。一方、ChatGPTを企業で使用する場合、社内情報をChatGPTは保持していないため、社内情報について答えられないという課題があり、社内特化LLMシステムを構築する必要があります。 特化システムを作るためには、こちらの記事でも紹介している通りLLMそのものをfine tuningする方法と、LangChainを使ってVector MatchingするRetrieval Augmented Generation (RAG) の2つがあります。ただ、LLMのfine tuningは非常に大きな計算コストとデータセット構築作業が必要になります。 本記事では、RAGによる特化LLMシステムの構築方法を紹介します。本記事内で使用するLLMはG