中身がない。 こういう、CUDAなりPyTorchの高速化って、LLMにぶっこんで高速化できるの？表とチャートはそれらしいけど、アルゴリズムっていえるような何かが書かれているわけではない。僕が査読者だったらこれぐらいのことはするなあ…と思って以下手を動かしてしまった。根本的に間違ってたらゴメン。 （修正された）論文へのコメントについては最後に述べます。 なんだか査読してるのと同じ感じになってきたな…。 https://pub.sakana.ai/static/paper.pdf The AI CUDA Engineer & Archive主著者はRobert Langeさん。秋葉さんとかは著者に入ってない。 If you use the AI CUDA Engineer or the archive in your work, please cite the following paper

DeepSeek R1が話題になってだいぶたちますが、日本語対応モデルも出てきてますね。 そして2/15にrinnaからDeepSeek R1の蒸留モデルが出ていて、これがかなりいい感じなのでびっくりしてます。驚き屋してます。 DeepSeek R1では、こっそりと回答方針を決めるフェーズがあるのだけど、そこがなかなか筋がいい。 というか、作り方もなんだかすごいので最後に解説してます。 Qwen2.5とDeepSeek R1を利用した日本語大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズを公開｜rinna株式会社 ※ 2/18追記 こういう記事を書くときに「これがローカルで動いてすごい」のように書くんですが、ここではローカルで動いてすごいということは書いてなく、普通にちゃんと答えがでてその内容がすごいという風になってきてますね。追記ここまで。 CyberAgentからも

安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ @takahiroanno ソフトウェアエンジニア。起業家。SF作家。34歳・妻と二人暮らし。 開成→東大工学部/松尾研→外資コンサルBCG→スタートアップを2社起業→SF作家/著サーキット・スイッチャー他　安野たかひろ事務所公式X→@annotakahiro24 （連絡はtakahiroanno2024あっとgmailまで） takahiroanno.com

はじめに 授業 研究（学位論文指導、特に卒論） おわりに はじめに 2024年度に大学で担当している授業や学位論文の指導で、生成AI関連で気になることがいくつかあったので記録も兼ねて簡単に書いておきます。以下どうしてもネガティブなことが多くなっていますが、ちゃんと付き合う／使うためにはこういうことも考えておく必要がありそうだということで。 私自身はあまり技術的に詳しい方ではありませんが、ふだんの業務や研究では生成AIをいろいろ試しています。ChatGPT Proにはまだ手が出せていないものの、有料プランで使っているものもあります。また、生成AI絡みの研究にもちょっとだけ関わっていたりもします。 なお、以下に書くことはあくまで同様の問題に困っている、あるいは心配している人の参考になればということで例を示したものです。一口に「大学」「研究」と言っても、組織や分野、授業・研究の目的などさまざまな

けんすう @kensuu 「努力ができない人は、サボっているわけじゃなくて、さまざまな理由から努力ができないだけ」は真な気がするし、その層を責め立てるのではなくて、配慮やサポートにリソースを使う、というのもめちゃくちゃ正しいんですが、 「学校や会社で比較的厳しく強制されれば努力できる」みたいな層も結構な数いて、その人たちまで「努力ができない人だから、努力をさせないようにしよう」みたいになってしまって、 結果として、努力が得意な層はどんどんとメリットを得て、「強制されればできたかもしれない層」の人たちは、強制されなくなった結果、学力や仕事力が身につかない状態になってしまい、スキルアップできない、結果として収入が上がらない、みたいなことが起こっている感じがして、 つまりは、合理的な配慮が進めば進むほど、「強制力によって駆動してたタイプの人たちが、自己責任により、自らを強制的に努力させるようにし

はじめに：Deep Researchの衝撃 openai.com 先日、ChatGPTの「Deep Research」という機能がProユーザー向けに提供されました。 Deep Researchは、オンライン上の情報ソースからデータを検索し、詳細なレポートを作成してくれる「リサーチエージェント（アシスタント）」と呼ばれるものです。 実は、ChatGPTに先駆けてGoogleのGeminiにも同名の機能が存在していたり*1、Perplexity AIにも検索結果と応答から詳細なレポートを生成する機能がすでに提供されていました*2。 さらにさかのぼると、LangChainユーザーの間ではGPT Researcherという類似のツールとして知られているかもしれません。 私自身は『その仕事、AIエージェントがやっておきました。』という本を通じて、このようなリサーチエージェントの存在を知りました。

ChatGPTのdeep researchが凄過ぎる。OpenAIがこれまでいくつも新モデル・新サービスを出してきましたが、その中でも一番驚きの大きかったサービスとなりました。自分の中では。 なので数回にわたって、deep researchの使用例などをまとめていきたいと思います。 その2 すごい使用例をまとめたnoteは次のリンク 結局何ができるのdeep researchはdeep researchは、ChatGPTに追加された新機能。これは、インターネット上の複雑な調査タスクを複数ステップに分けて実行する高度なエージェント機能。人間が何時間もかけて行う調査を、数十分で完了させることができる。 https://openai.com/index/introducing-deep-research/ 上の公式の説明によると次のように説明されている。 以下のような集中的な知識作業を行う人々の

生成AIは「意識」を持てる？「意識の秘密」に挑戦する科学者がヒトの脳と“機械の脳”を合体させたい理由 2025年2月7日 東京大学大学院工学系研究科准教授 渡邉 正峰 1970年、千葉県生まれ。東京大学大学院工学系研究科博士課程修了。専門は神経科学。著書に”From Biological to Artificial Consciousness” (Springer)、『脳の意識 機械の意識』（中央公論新社,2017）、『理工学系からの脳科学入門』（共著、東京大学出版会, 2008）など。近著は『意識の脳科学 「デジタル不老不死」の扉を開く』（講談社,2024）、『意識はどこからやってくるのか』（共著、早川書房, 2025）。 自らの「意識」の存在を疑ったことがある、という人はそう多くないでしょう。また、自らの意識の存在に疑問を差し挟む余地がないように、仕事や生活を共にする「他者」にも意識が

ChatGPT O1やDeep Researchなどがすごいパフォーマンスを出してきていますね。もう仕組み上も単にLLMではなくAIとしか言えなくなってきています。 そんなAIが進化して、プログラミングをAIがやってくれるようになると、そのプログラムの確認をどうするんだって話があります。業務システムの開発では、プログラム読めない人がプログラムの生成に携わったりするようになって、できてきたプログラムが読めないってなる。 問題では？と思ったのだけど、そもそも業務システムが不要になりますね。 小さい食堂で、伝票とかも取らずにちゃんとまわす人とかいますね。記憶力のいい人だと、昼のラッシュでもちゃんと覚えてまわせそうです。 ファミレスでバイトしてたとき、調子がいいときだと割と全部の注文を覚えれてたりしたので、それなりにまわせる人が多そうです。 そして、AIであればもっと記憶力よく考えてまわせるので、

・AIエージェントとはなにか？ ・AIエージェントの現在地はどこか？ ・AIエージェントに関連した注目技術トレンド ・AIエージェントの課題と今後

本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい

中国のAIスタートアップ「DeepSeek」は2025年1月20日、数学的推論やコーディング能力でOpenAIの最新モデル「o1」と同等性能を持つ大規模言語モデル「DeepSeek-R1」を公開した。 使用・複製・改変・再配布を自由に許可する寛容なMITライセンス下でのオープンソース提供および従来比95〜97%のコスト減となるAPI価格が特徴で、AI業界に激震が起きている。 強化学習を重視、コールドスタート問題にも対応 論文によると、DeepSeek-R1の特筆すべき点は、強化学習（RL：Reinforcement Learning）を駆使し、従来の教師あり学習（SFT：Supervised Fine-Tuning）に頼らず、自律的に思考連鎖（CoT：Chain-of-Thought）を学習する点だ。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖を探索し、自己検証や振り

本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対

サム・アルトマンCEOらはYouTubeライブで実際にデモを行いました。 OpenTable、eBay、Target、Uberといったサイトと提携していますが、それ以外のサイトでも利用可能。 Operatorでは、Computer-Using Agent（CUA）という新しいモデルを採用しています。これはビジョン機能付きGPT-4oを先進的な強化学習をで鍛え、人間がグラフィカルユーザーインタフェースを操作する様子を学習しています。 ユーザーがタスクを指定すると、左側にエージェントの動作履歴、右側にブラウザが開き、操作画面を確認できます。 ChatGPTのcustom instructionsに住所などの個人情報を入れておくと、入力フィールドを自動修正してくれます。 現行バージョンはresearch previewで、利用できるのは米国のChatGPT Proユーザーのみ。カレンダーの入力が

こんにちは。 苦しんでプログラミングを学んだ柴犬こと、くるしばです。 独学でプログラミングを学習し、Webサービス作りITベンチャーを起業しました。 その後個人開発したサービスを売却したり、また別のIT系の会社を創業したりしています。 下記のTwitterにてプログラミング学習に関して発信し、1.9万人以上の方々にフォローして頂きました。 また、最近はUdemyでReactとFlutterのプログラミング講座も出して、ベストセラーにも入っています。 初心者のうちは知らなかったが、学習を進めたり実務に入って経験が長くなってから 「こんな便利なものあったんだ...！」 となるツールってありませんか？ 僕はめちゃくちゃありました。 こういったツールは他の詳しい人から教えてもらうケースも多いので仕方がないのですが、もしこれらを初心者のうちに知ってたら色々楽だったのにな...と思うものが沢山あります

関連リソース Agent Design Pattern Catalogue: A Collection of Architectural Patterns for Foundation Model based Agents 【論文紹介】LLMベースのAIエージェントのデザインパターン18選 基盤モデルを用いたAIエージェントの設計パターン The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey は、「AIエージェントのアーキテクチャ」について、シン

2024年は未訪だった高知の温泉宿に宿泊が叶い、今後の情報発信について試行錯誤した1年でした 2024年も例年どおり、一人温泉＆一人登山を楽しんだことには変わりないのですが、特筆すべきこととしては47都道府県で唯一足を運んだことがなかった高知県の温泉宿に宿泊が叶いました。 公共交通機関利用で「温泉宿への宿泊」と「登山」を目的に旅をしていると、旅をするエリアはどうしても偏りがちになります。高知県もそれで行く機会がなかったのですが……最後に1県だけ残ったので行ってみるか！で旅を計画したら、けっこう楽しかったのですよね。これを機に「これまであまり縁がなかったエリアへの旅も計画してみようかな」と思っているところです。 こちらは2024年にようやく登れた花盛りの平標山 また、2024年は思うところあってブログの更新頻度を減らし、2023年9月に開始したnoteのメンバーシップ会員向けの記事に注力した

ダロン・アセモグル　マサチューセッツ工科大学教授。2024年にノーベル経済学賞を受賞。主な著書に『国家はなぜ衰退するのか：権力・繁栄・貧困の起源』『技術革新と不平等の1000年史』など。 Photo: Jenny8lee / Wikimedia Commons 2024年にノーベル経済学賞を受賞した、米マサチューセッツ工科大学（MIT）の経済学教授ダロン・アセモグル。同氏は『技術革新と不平等の1000年史』（早川書房）において、歴史上のイノベーションが多くの人に利益をもたらすことは稀であり、経済格差を助長してきた事実を突きつけている。 では、現代における最大のイノベーションの一つであるAIの発展は、多くの人にとって本当に有益なのか？　アセモグルが考える「AI社会の未来」について聞いた。 AIによる大失業時代は来るのか ──ノーベル賞授賞式はいかがでしたか。 とても良かったです。とても興味深

このnoteは、2024年12月5日にpmconfで登壇させていただいた内容を再編したものです。 イベントの登壇テーマとしては、少し早くてニッチかもしれないと思ったのですが、登壇のスライドは本日時点で1万回以上見ていただいており、思いの外関心を持っていただけたのではないかと思っております。 概要私がLayerXで開発に携わっているバックオフィスAI SaaS「バクラク」では、「AIによって業務自体をなくす」という信念の元、開発を行なっています。 これは、2040年までに約20%にもなる日本の労働受給ギャップを技術によって解決するためです。 一方、AI機能の開発は容易ではありません。生成AIを始めとする技術革新により、デモ開発までの速度は驚くほど向上しましたが、顧客が価値を感じられる機能に至るまでは大きなギャップが存在します。 例えば、バックオフィス業務はミスなく完遂することが求められる一方