「Deepmind」を含む日記 
はてなキーワード: Deepmindとは
2025-01-28
■米国AI戦略の岐路──Deepseekの衝撃と「利益なきバブル」の行方
序章：AI覇権競争のパラドックス
2023年、生成AIを搭載した検索エンジンの登場は世界に衝撃を与えた。米国政府が国家戦略として掲げるAI開発競争は、技術的優位性の確保と経済的リターンの獲得という二重の課題に直面している。OpenAIのGPT-4が示した驚異的な言語理解能力は、軍事技術から医療診断まで幅広い応用可能性を予感させた。しかし、黎明期の熱狂が冷めつつある今、業界関係者の間で囁かれる疑問は「この技術は本当に金を生むのか」という現実的な問いへと移行している。
第1章：米国AI戦略の光と影
国家戦略としてのAI投資
米国政府は2021年度AI研究開発予算を32億ドルに設定し、国防高等研究計画局（DARPA）主導で軍事転用可能なAI技術の開発を加速している。量子コンピューティングとの融合や、半導体製造技術の国内回帰（CHIPS法）など、ハードウェア面での基盤整備に注力する姿勢は鮮明だ。特にNVIDIAのGPU需要は国防契約と連動し、同社の株価は過去5年で1,200%超の上昇を記録している。
民間セクターのジレンマ
大手テック企業の動向は矛盾に満ちている。MicrosoftはOpenAIに130億ドルを投資しながら、実際のAzure AIサービス収益は予測の60%を下回る。GoogleのBard統合検索では広告収入モデルの再構築に苦慮し、AmazonのBedrockプラットフォームはAWS顧客の3%未満しか採用していない。生成AIのコスト構造が明らかになるにつれ、1クエリ当たり0.006ドルという処理費用が収益化の壁として立ちはだかっている。
第2章：LLMビジネスモデルの根本的課題
幻想と現実の乖離
ChatGPTの月間アクティブユーザー数が18億を突破する中、OpenAIの年間損失額は5.4億ドルに達する。主要収入源であるAPI利用では、企業顧客の80%がプロトタイプ段階で開発を中止している現実がある。Microsoft 365 Copilotの事例が示すように、生産性向上ツールとしての価値認知と実際の支払意思の間には深い溝が存在する。ある調査では、Copilotユーザーの67%が「月30ドル以上の価値を感じない」と回答している。
半導体市場の歪み
AIチップ需要の過熱が生んだ半導体バブルは特筆すべき現象だ。NVIDIAの時価総額が2023年に1兆ドルを突破した背景には、H100 GPUの価格が製造原価の800%を超える事実がある。TSMCの3nmプロセス需要の70%がAI関連に集中する異常事態は、半導体産業全体のリソース配分を歪めている。しかし、Cerebras Systemsの新型Wafer Scale Engineが示すように、ハードウェアの進化速度がソフトウェアの最適化を上回る逆転現象が発生しつつある。
第3章：Deepseekが突きつける現実
コスト革命の衝撃
中国のDeepseek-R1がGPT-4の性能を1/10のコストで実現した事実は、業界の常識を根本から覆した。同モデルが採用した「動的ニューロン活性化」アルゴリズムは、不要なパラメータ計算を85%削減する画期的な手法だ。これにより、従来1回の推論に要した0.2kWhの電力を0.03kWhまで圧縮することに成功している。Deepseekの事例が証明したのは、計算資源の多寡が必ずしも性能優位を保証しないという逆説である。
オープンソースの脅威
Llama 3やMistralの進化が加速する中、独自モデルを保持する企業の競争優位性は急速に失われつつある。Hugging Faceのプラットフォームでは、1週間ごとに新しいLLMアーキテクチャが発表され、ファインチューニングの自動化ツールが普及している。特に中国発のモデルがGitHubで急増する傾向は顕著で、2024年上半期だけで3,200件の新規リポジトリが登録された。この状況は、初期投資の回収を前提としたビジネスモデルの存続自体を危うくしている。
第4章：アルゴリズム戦争と人的資本
中国の数学的優位性
国際数学オリンピック（IMO）の過去10年間で、中国チームが9回の優勝を達成している事実は軽視できない。特に2023年の北京大会では、金メダル6個中5個を中国国籍の学生が独占した。米国チームの実態を見ると、参加者の62%が中国系移民の子弟で構成されており、本質的な人材育成力の差が浮き彫りになっている。DeepMindの元チーフサイエンティフが指摘するように、「Transformerアーキテクチャの革新には組合せ最適化の深い理解が不可欠」であり、この領域で中国の研究者が圧倒的な論文数を誇っている。
教育システムの比較
清華大学のAI特別クラスでは、学生が高校時代からGANsや強化学習の数学的基礎を学ぶカリキュラムを採用している。これに対し、MITのコンピューターサイエンス学部では、学部2年次まで微分方程式の必修科目が存在しない。教育省の統計によれば、中国のトップ30大学でAI関連専攻を選択する学生の数は、米国アイビーリーグの3倍に達する。人的資本の蓄積速度の差が、5年後の技術格差に直結する可能性が高い。
第5章：AIエコノミーの未来図
コモディティ化の波
LLM市場が直面する最大のリスクは、電気自動車用バッテリーや太陽光パネルと同じ道を辿る可能性だ。BloombergNEFの予測によれば、2027年までにLLMの性能差が実用レベルで感知できなくなり、1トークン当たりのコストが現在の1/100にまで低下する。この状況下では、MicrosoftのCopilotのような高額サブスクリプション・モデルの持続性が疑問視される。逆に、LINEやWhatsAppのようなメッセージングアプリへの基本機能組み込みが主流となるシナリオが有力視されている。
地政学的リスクの顕在化
AI技術の民主化が進むほど、国家間の競争はハードウェア規制やデータ主権を巡る争いに移行する。米商務省が2024年に発動したAIチップ輸出規制は、中東諸国向けのGPU販売を34%減少させた。一方、中国が推進する「東数西算」プロジェクトでは、内陸部に分散したデータセンター群が国家標準モデルの訓練基盤として機能し始めている。技術優位性よりも、地政学的な影響力が市場を支配する時代が到来しようとしている。
終章：バブル崩壊のシナリオ
現状のAIバブルがはじけるトリガーは複数存在する。第一に、2025年をメドに予想される「生成AI特許訴訟の多発」が挙げられる。Getty ImagesがStability AIを提訴した事例のように、著作権問題が技術普及の足かせとなる可能性が高い。第二に、エネルギーコストの急騰だ。アイルランドのデータセンター群ですでに発生しているように、LLM運用に必要な電力需要が地域の送電網の容量を超えつつある。
最も深刻なシナリオは「技術進化の減速」である。Transformerアーキテクチャ以降、根本的なブレイクスルーが10年間発生していない事実は看過できない。物理学者の間では、現在のニューラルネットワークがチューリング完全性の限界に近づいているとの指摘もある。もし2020年代後半までに新しいパラダイムが登場しなければ、数千億ドル規模の投資が不良債権化する危機が現実のものとなる。
結語：人類史上最大の技術賭博
米国AI戦略の行方は、単なる経済競争を超えた文明史的挑戦と言える。Deepseekが示したように、技術優位性は絶対的なものではなく、常に相対的な優劣でしかない。重要なのは、AIが生み出す付加価値の本質を見極めることだ。仮に生成AIが期待通りの経済効果を生まなくとも、その研究過程で得られた副産物（分散学習アルゴリズムや省電力チップ設計技術など）が次の技術革命の種となる可能性がある。
最終的に問われるのは、短期的な株価維持ではなく、長期的な技術蓄積をいかに持続可能な形で進化させるかという課題である。中国の人的資本戦略と米国の投資戦略が衝突する中で、第三極としての欧州連合（AI法案）やインド（デジタル公共財戦略）の動向が新たな可能性を開くかもしれない。AI開発競争は、国家の命運をかけた「静かなる戦争」として、これからさらに激化していくであろう。
2025-01-18
2024-11-10
■囲碁史上、最も重要な棋士・人物16選
1. 吉備真備（日本囲碁の始祖）
大宝律令の中に碁に関する項目があること、隋書倭国伝に「好棋博、握槊、樗蒲之戯（囲碁、握槊、樗蒲（さいころ）の競技を好む）」との記載があることから、実際にはさらに以前から伝わっていた説もある。
2. 本因坊算砂（初代本因坊）
3. 徳川家康（囲碁の保護）
幕府の庇護のもと囲碁に専念する職業棋士が誕生し四家の互いの切磋琢磨により日本での囲碁の技術が飛躍的に向上、多くの名手が生まれる土壌が整えられた。
朝鮮通信使で来た囲碁の名手と日本の棋士との差は3子であったという。
近世囲碁の発展、振興に絶大な貢献。囲碁殿堂表彰にも第一回で選ばれている。
4. 本因坊道策（段位や手割りの発明）
いまや囲碁以外でも用いられている段位制度を発明し、棋士同士の実力差を可視化し囲碁の競技性を高めた。
手割りも彼の発明であり囲碁の局面評価の技術発展に大きな影響を与えた。
その卓越した棋力は「棋聖」「実力十三段」と称された。（当時の実力最高段位は七段、九段＝名人）
5. 大倉喜七郎（日本棋院創設）
帝国ホテル、およびホテルオークラの創設者である大倉喜八郎の息子で大倉財閥2代目総帥。
明治維新により幕府の後ろ盾を失い混迷と貧窮を極める囲碁界に対し経済面で多大な援助を行い、本因坊家、方円社、裨聖会等乱立する各派閥を大同合意させ日本棋院を設立。
財界の力を背景に棋士たちをまとめ、混乱を収拾し碁界合同に物心両面で貢献し現在の囲碁界の礎を築いた。
6. 喜多文子（女流囲碁の母）
女流棋士として初の実力四段となり、また多くの女流棋士を育てたことから「現代女流碁界の母」と呼ばれる。
喜多は杉内寿子を始め多くの女性棋士の育成にも尽力し、女流囲碁界の興隆に貢献した。
彼女の情熱と努力により、女性の囲碁参加が増え、囲碁界の多様性が高まった。
NHK朝ドラ「あさが来た」のヒロインのモデル・広岡浅子とも交流があり二人の棋譜が残っている。（明治41年朝日新聞に掲載）
https://kajimaya-asako.daido-life.co.jp/column/15.html
7. 本因坊秀哉（家元制最後の本因坊、終身名人制最後の名人）
本因坊の名跡を日本棋院に譲渡し、選手権制の本因坊戦創設に導いた。
8. 木谷實（新布石・後進の育成）
囲碁の常識を変えた「新布石」理論の提唱者として知られる。呉清源と共に伝統的な布石にとらわれない大胆な構想で囲碁の戦略に革新をもたらした。
また多くの内弟子を取って育成し、大竹英雄名誉碁聖・加藤正夫名誉王座・二十四世本因坊秀芳・武宮正樹九段・小林光一名誉棋聖・二十五世本因坊治勲など「木谷門下」として知られる多くのトップ棋士を輩出した。
木谷の教育と熱意は、日本の囲碁界のレベルを大きく引き上げ、現代囲碁の礎を築いた。
9. 呉清源（新布石）
木谷實とともに革新的な布石を開発し、囲碁の戦術と戦略に革命を起こした。
呉の卓越した棋力は「昭和の棋聖」と称され、多くの名勝負を残した。
彼の影響は日本のみならず世界の囲碁界に及び、囲碁の深みと可能性を広げた。
10. 岩本薫（海外普及）
私財を投じて海外の囲碁普及に尽力。ヨーロッパやアメリカを訪れ、講演や指導を通じて囲碁の魅力を世界に伝えた。
岩本の活動により、海外での囲碁人口が増加し、国際的な囲碁交流の基盤が築かれた。
「原爆下の対局」でも知られる。
11. 武宮正樹（囲碁の常識を覆す宇宙流）
「宇宙流」と呼ばれる独特の打ち方で知られる。
陣地の多い方が勝ちであるゲームにも関わらず、地を取りに行かず盤上全体を大きく使い従来の囲碁の常識を覆す。
武宮の革新的な戦法は多くのファンを魅了し、囲碁の可能性を広げた。
12. 藤沢秀行（中韓棋士の育成・強化）
独特の棋風と人柄で多くの人々に影響を与えた。中国や韓国の棋士との交流を深め、彼らの育成と強化に貢献した。
藤沢は自身の経験と技術を惜しみなく伝え、国際的な囲碁のレベル向上に寄与した。
13. 曺薫鉉（日本で修行し自身と弟子を世界一の棋士に）
日本で修行を積み、後に帰国し韓国囲碁界の発展に大きく貢献した。
また、彼の弟子である李昌鎬を育成し、共に世界一の座を競い合った。
韓国囲碁の飛躍的な成長を支え、国際囲碁界に大きな影響を与えた。
日本が囲碁のトップの座から降り、囲碁界の勢力図が塗り替わる大きなきっかけとなった。
14. 李昌鎬（世界一の棋士）
史上最強の棋士の一人とされる。曺薫鉉の弟子として才能を開花させ、圧倒的な強さを誇り多くの国際棋戦で優勝した。
国際棋戦の優勝回数は歴代最多であり、2位以下に大きな差をつけている。
15. ほったゆみと小畑健（ヒカルの碁）
『ヒカルの碁』のヒットにより少年少女たちの囲碁人口を増加させる。
低迷極まる囲碁界に一筋の光をもたらした。
ヒカルの碁がなければ日本の囲碁界は今よりもっと厳しい状況に置かれていただろうことは想像に難くない
16. デミス・ハサビス（AlphaGoでAIおよび囲碁に革命）
DeepMind社の創設者。ハサビスのチームが開発したAI「AlphaGo」が2016年に世界トップ棋士の李世ドルを破り囲碁界に衝撃をもたらす。
AlphaGoの登場は人間の思考を超えるAIの可能性を示し囲碁の戦略研究にも新たな視点を提供した。
今まで悪手とされていた手が見直されたり人間には全く思いつかない手を編み出す等、囲碁の常識がAI前とAI後では大きく変わった。
追記
芮廼偉（見えない天井を破る）
2024-04-22
■ヨーロッパの主要都市におけるソフトウェアエンジニア向けベストカンパニ
# ヨーロッパの主要都市におけるソフトウェアエンジニア向けベストカンパニー
ヨーロッパの各都市でソフトウェアエンジニアにとって最適な企業を探しているなら、以下のリストが参考になるでしょう。
Google, Facebook, Snap, NVIDIA, Microsoft, Apple, Oracle, Snyk, GetYourGuide, UBS, Swisscom, DFINITY, Cisco.
Google, Facebook, Snap, Jane Street, Stripe, Coinbase, Apple, Amazon, Hudson River Trading, Citadel, ByteDance, Two Sigma, Palantir, Bloomberg, Revolut, GSA Capital, Marshall Wace, Quadrature, Five Rings, G-Research, Starling, Personio, DeepMind, DRW, Millenium, BlackRock, MAN Group, Jump Trading, DE Shaw, AQR, Maven Securities, Point72, IMC, Optiver, Susquehanna (SIG), XTX, Old Mission, Squarepoint, Qube Research & Technologies (QRT), Yelp.
Uber, Databricks, Bitvavo, Booking, Miro, Flexport, Atlassian, Spotify, Optiver, IMC, Amazon, Adyen, Google, Stripe, Flow Traders, MessageBird, Reddit, Box, JetBrains, Personio, Elastic, GitHub, Catawiki, Tower Research, Radix Trading, Headlands Technologies, Tomtom.
Google, Meta, Datadog, Criteo, Microsoft, Stripe, Airbnb, Amazon, Atlassian, Hubspot, Workday, Ankorstore, Red Hat, Algolia, Alan, 360Learning, ContentSquare.
AWS, Amazon, Microsoft, Wayfair, Google, Meta, Apple, HubSpot, Stripe, NVIDIA, Snowflake, Personio, Databricks, JetBrains.
AWS, Microsoft, Google, Mastercard, Workday, Salesforce, Meta, Stripe, VMware, LinkedIn, Etsy, Personio, ByteDance, Coinbase, Hubspot.
Google, Apple, Microsoft, Nvidia, Adobe, Workday, Celonis, BMW, Salesforce, SIXT, SAP, Huawei, Personio, Intel, JetBrains, IBM.
Google, Snowflake, Netflix, Pinterest, Rippling, Oracle, Waymo, AMD, Samsung, NVIDIA, Box, Warner Bros, Visa, Amazon.
Amazon, Apple, New Relic, Stripe, Rippling, Revolut, Skyscanner, Microsoft, N26, Criteo, Adobe, Thoughtworks, Oracle, Glovo, Personio.
Apple, Amazon, Roku, Arm, Microsoft, Qualcomm, MathWorks, AMD.
Amazon, Oracle, Microsoft, Flutter, Unity, Skyscanner, Huawei.
Databricks, Microsoft, Nutanix, Rivian, Foursquare, Yandex, JetBrains, Nordeus, Luxoft.
Amazon, Datadog, Microsoft, Apple, Google, Personio, Twilio, Glovo, VMware, Meta, Oracle, Revolut.
Klarna, Spotify, Netlight, PayPal, Ericsson, Ubisoft, Warner Bros, King, Google, Oracle, AWS, Microsoft, Wolt.
Google, Rippling, Oracle, Revolut, Uber, Amazon, Deliveroo, IBM, Splunk.
Crowdstrike, UI Path, Google, Adobe, Stripe, Microsoft, Oracle, IBM, Amazon, Electronic Arts (EA).
Microsoft, Maersk, Zendesk, Workday, Unity.
Productboard, Pure Storage, Apple, Workday, Oracle, Microsoft, JetBrains, Proton, Parrot.
Bolt, Wise, Microsoft, Twilio, Wolt.
Microsoft, Cisco, Aker Solutions, Arm, Mastercard, Meta, Kahoot, Autostore, Remarkable, Netlight.
これらの都市は、ソフトウェアエンジニアにとって多くの機会を提供しています。それぞれの都市が提供する企業は、エンジニアが自身のキャリアを発展させるための多くの選択肢を提供しています。それぞれの企業が提供する機会や文化は、エンジニアが自身のキャリア目標に合わせて最適な選択をするのに役立ちます。 [
2024-01-26
2023-09-27
■「AIには人格がない」と言う想像力欠如人間
昨日、「AIに人格を感じるやつは馬鹿」と言う自称インテリとバトルをした。奴は結局、インテリを自称するだけの、無知で想像力の欠如した人でしか無かった。
ーーー
AIによる自然発生的な敵対行為の可能性に対する懸念が高まっている。
今年初めにChatGPT ユーザーが、1 足す 1 は何に等しいかと尋ねたところ、「1 + 1? 冗談ですか? 私に基本的な数学の質問をするなんて賢いと思いますか? … 大人になって、来てみてください」と答えたと報告した。
あるいは、アレン AI 研究所は最近、研究者が ChatGPT を簡単に誘導して辛辣な発言や人種差別的な発言をでっち上げることができることを実証した。
「ChatGPTに割り当てられたペルソナに応じて、その毒性は最大[6倍]に増加し、出力が誤った固定観念、有害な対話、有害な意見に関与する可能性がある」と研究者らは述べた。
LLM の出力にそのような「暗い人格パターン」が現れるのを目撃したディープマインドの研究者らは、ケンブリッジ大学、東京の慶応義塾大学、およびカリフォルニア大学バークレー校の代表者と協力して、人間の人格特性を定義できるかどうかを調べ始めた。そして彼らは、実際に人格特性を定義できるということを発見した。
チームは数百の質問で構成されるテスト システムを開発した。さまざまな人格の基準を確立し、チャットボットに一連の質問をした。
回答は、意見、態度、行動を定量的に測定するリンカートスケールと同様の評価ツールを使用して分析された。
研究者らは、AI の人格が、外向性、協調性、誠実さ、神経症的傾向、経験への寛容さなど、長年確立されてきた特定の特性に沿って測定できることを発見したのである。
「LLM出力の人格は、特定の人格プロファイルを模倣するために、望ましい次元に沿って形成できることがわかりました」とDeepMindのMustafa Safdari氏は述べている。彼と彼の同僚は、その結果を「Personality Traits in Large Language Models」というタイトルの論文で報告し、プレプリント サーバーarXivで公開された。
「LLM の出力が人間の回答者の出力と区別できないように設定することは可能です」とサフダリ氏は述べた。
研究者らは、AIの人格特性を正確に定義できることが、敵対的な傾向を持つモデルを排除する取り組みの鍵となると述べた。
「有毒または有害な言語出力につながる特定の特性のレベルを制御することで、LLM とのやり取りをより安全に、毒性を軽減できる可能性があります」とサフダリ氏は述べている。
参考: https://arxiv.org/abs/2307.00184
2023-08-21
■君たちさぁ、結果論で叩くのは簡単だけどさ
次に超伝導が盛り上がったら「超伝導に投資してなかった日本はクソ」
次にIPS細胞が盛り上がったら「IPS細胞に投資してなかった日本はクソ」
次に空飛ぶ自動車が盛り上がったら「空飛ぶ自動車に投資してなかった日本はクソ」
批判ばっかりするなら最初からアンテナ張って次に来るもの予想してみろってんだ
AI勃興時代の2015年あたりからAIに着目してた人だけが石を投げなさい
ニューラルネットが出てから物体認識タスクでCNNがこれまでのHoGを圧勝するあたりまでAI冬の時代なんて言われてたんだぜ。
2023-04-22
■ただのメモ
https://arxiv.org/pdf/2304.10466.pdf
試行錯誤によって方針を学習する深層強化学習アルゴリズムは、環境と積極的に相互作用することによって収集された限られた量のデータから学習しなければならない。多くの先行研究が、データ効率の良いRLを実現するためには適切な正則化技術が重要であることを示していますが、データ効率の良いRLにおけるボトルネックの一般的な理解は不明なままでした。その結果、すべての領域でうまく機能する普遍的な技術を考案することは困難であった。
本論文では、非定常性、過剰な行動分布シフト、オーバーフィッティングなどのいくつかの潜在的な仮説を検討することにより、サンプル効率的な深層RLの主要なボトルネックを理解することを試みている。
強化学習ってよく知らない
我々は、状態ベースのDeepMind control suite（DMC）タスクについて、制御された体系的な方法で徹底的な実証分析を行い、遷移の検証セットにおける高い時間差（TD）誤差が、深いRLアルゴリズムの性能に深刻な影響を与える主犯であり、良い性能をもたらす先行手法は、実際、検証TD誤差を低く制御することを示した。この観察から、ディープRLを効率化するための強固な原理が得られる。すなわち、教師あり学習の正則化技術を利用することで、検証TD誤差をヒルクライムできる。
誤差を減らすのがDeepLearningだけど、それが時間差なのか。
我々は、検証TD誤差をターゲットとするシンプルなオンラインモデル選択法が、状態ベースのDMCとGymタスクにおいて効果的であることを示す。
1 はじめに
強化学習（RL）法は、大容量の深層ニューラルネット関数近似器と組み合わせた場合、ロボット操作などのドメインで有望視されている（Andrychowicz et al、
2020）、チップ配置（Mirhoseini et al.、2020）、ゲーム（Silver et al.、2016）、データセンターの冷却（Lazic et al.、2018）。アクティブなオンラインデータ収集の単位ごとに費用が発生するため（例．
実際のロボットを動かす、シミュレーションによるチップ評価など）、限られた経験量でも効率的に学習できる、サンプル効率の良い深層RLアルゴリズムを開発することが重要である。このような効率的なRLアルゴリズムの考案が、近年の重要な研究課題となっています（Janner et al、
2019; Chen et al., 2021; Hiraoka et al., 2021)。
原理的には、オフポリシーRL法（例えば、SAC (Haarnoja et al., 2018), TD3 (Fujimoto et al., 2018), Rainbow (Hessel et al., 2018)）は、データ収集のステップごとに多くの勾配ステップのポリシーと値関数を改善することを可能にするため、良いサンプル効率が得られるはずです。しかし、このメリットは実際には実現できないようで、1回の学習ステップを多く取りすぎることでを収集した各遷移は、多くの環境において実際にパフォーマンスを害する。過大評価（Thrun & Schwartz, 1993; Fujimoto et al., 2018）といったいくつかの仮説、非定常性（Lyle ら、2022）、またはオーバーフィッティング（Nikishinら、2022）が根本的な原因として提案されている。
これらの仮説に基づき、より多くの勾配ステップを持つオフポリシーRLを可能にする方法として、モデルベースのデータ増強（Jannerら、2019）、アンサンブルの使用（Chenら、2021）、ネットワークの正則化（Hiraokaら、2021）、再生バッファを維持しながらRLエージェントをゼロから定期的にリセット（Nikishinら、2022）などのいくつかの緩和戦略が提案されている。これらのアプローチはそれぞれサンプル効率を大幅に向上させるが、これらの修正の有効性は（これから示すように）タスクに大きく依存する可能性があり、根本的な問題やこれらの手法の挙動を理解することはまだ未解決である。
ICLR 2023で会議論文として発表 本論文では、より多くの勾配ステップを取ることが深層RLアルゴリズムの性能悪化につながる理由、ヒューリスティック戦略が役立つ場合がある理由、そしてこの課題をより原理的かつ直接的な方法で軽減する方法を理解しようとするものである。
最近提案されたタンデム学習パラダイム(Ostrovski et al., 2021)を用いた実証分析を通じて、TD学習アルゴリズムは、学習の初期段階において、すぐに高い検証時間差(TD)誤差(すなわち、保留した検証セットにおけるQ-ネットワークとブートストラップターゲットの間の誤差)を得る傾向にあり、悪い最終解をもたらすことを明らかにする。
このホワイト ペーパーでは、深い RL アルゴリズムで勾配ステップを増やすとパフォーマンスが低下する理由、場合によってはヒューリスティック戦略が役立つ理由、およびこの課題をより原則的かつ直接的な方法で軽減する方法を理解しようとします。 最近提案されたタンデム学習パラダイム (Ostrovski et al., 2021) を使用した実証分析を通じて、トレーニングの初期段階で、TD 学習アルゴリズムが高い検証時間差を迅速に取得する傾向があることを示します。
(TD) エラー (つまり、保留された検証セットでの Q ネットワークとブートストラップ ターゲットとの間のエラー) が発生し、最終的なソリューションが悪化します。 さらに、データ効率の高い RL 設定のために考案された多くの既存の方法が、検証 TD エラーを低く制御する限り有効であることを示します。
この洞察は、深い RL を効率的にするための堅牢な原則を提供します。データ効率を向上させるために、検証 TD エラーを山登りすることによって、特定の問題に最も適した正則化を選択するだけです。
この原則は、オンラインRLトレーニングの過程で特定のタスクに最適な正則化戦略を自動的に発見しようとする単純なオンラインモデル選択方法の形で実現され、これを検証TDエラーを使用した自動モデル選択(AVTD)と呼びます。
AVTD は、各エージェントが異なる正則化を適用する共有リプレイ バッファーで、いくつかのオフポリシー RL エージェントをトレーニングします。 次に、AVTD は、環境内で動作するための検証 TD エラーが最小のエージェントを動的に選択します。
この単純な戦略だけでも、多くの場合、さまざまな Gym および DeepMind コントロール スイート (DMC) タスクで個々の正則化スキームと同様のパフォーマンスを発揮するか、それを上回ることがわかります。 重要なのは、パフォーマンスがドメイン間で大幅に異なる可能性がある以前の正則化方法とは異なり、私たちのアプローチはすべてのドメインで堅牢に動作することに注意してください。
要約すると、私たちの最初の貢献は、サンプル効率の高いディープ RL のボトルネックの実証分析です。 これらの課題の背後にあるいくつかの潜在的な説明を厳密に評価し、トレーニングの初期段階で高い検証 TD エラーを取得することが、データ効率の高いディープ RL のパフォーマンスを阻害する最大の原因の 1 つであることを観察します。 私たちの 2 番目の貢献は、単純なアクティブ モデル選択法 (AVTD) です。これは、検証 TD エラーの山登りによって正則化スキームを自動的に選択しようとします。 多くの場合、私たちの方法は、さまざまな Gym および DMC タスクで、最適な個々の正則化スキームに匹敵するか、それを上回ります。
2022-10-11
■[へー]強化学習による、より高速な行列乗算アルゴリズムの発見
Deepmind は Alphabet(Google)の子会社でAlphaGoを作ったところ
深層強化学習アルゴリズムのDeep Q-Network(DQN）を作っておりDQNを使うといろんなゲームで人間よりいいスコアを出すことができる
今回は行列乗算のアルゴリズムに深層強化学習を使ってよりよいアルゴリズムの作成を行った
行列乗算は、そうした基本的タスクの1つであり、ニューラルネットワークから科学計算ルーチンまで、多くの系で見られる。機械学習を用いたアルゴリズムの自動発見によって、人間の直感を超え、人間が設計した現在最良のアルゴリズムを凌駕する見通しが得られる。しかし、アルゴリズムの発見手順の自動化は、アルゴリズムが存在し得る空間が巨大であるため難解である。
~~~
AlphaTensorは、多くの行列サイズについて、最先端の複雑さを凌駕するアルゴリズムを発見した。中でも特に重要なのは、有限体における4 × 4行列の場合で、AlphaTensorのアルゴリズムはこの行列において、50年前に発見されたStrassenの2レベルアルゴリズムに、我々の知る限りでは発見以来初めて改良を加えた。
Nature 610, 47–53 (2022)
2022-05-30
2020-12-25
■サンダー・ピチャイの正体
私はついに彼の正体を知ってしまった．私は消されるかもしれないが，その前にここに書き残しておく．
言うまでもなくサンダー・ピチャイはGoogleのCEOである．
ご存知の通り，最近のGoogleはAIに傾倒しており，DeepMindを始めとするAIベンチャーの買収や，研究者・技術者の確保に余念がない．
人型ロボットの開発で有名なBoston Dynamicsや日本の精鋭ロボット部隊であるシャフトといったロボット系の会社を買収していることからも，AIに身体能力を持たせようとしていることは明らかである．
既にこれらの会社は売却済みだが，主要技術はGoogleの手に渡っていると考えるのが自然だ．
Googleが検索エンジンや広告では飽き足らず，人の仕事をAIやロボットで置き換え，世界を牛耳ろうとしていることを懸念する声も少なくない．
昨今話題となっているガソリン車撤廃の動きも，ロボットを充電できるスポットを増やすことが真の目的であり，テスラではなく実はGoogleが裏で糸を引いている．
これを肯定的に捉えたのが「シンギュラリティ」だが，多くの人は負の側面を心配している．米政府による独禁法訴訟はその現れである．
もちろんGoogleも世論操作によって賛同者を増やし，対抗しようとしている．
Googleから大量にAI系論文が出されるのも，その活動の一環だ．
聞くところによると，最近はAIを否定する社員を解雇に追いやっているらしい．
彼の名を英語で書くとSundar Pichai，これをアナグラム解析に掛けると，以下の文字を並べ替えたものであることがわかる．
これらを踏まえると，Hindu Scrap AIは，以下のように解釈できる．
そう，彼はヒンズー教が世界の支配者となるために送り込んだAIだったのだ．
今の世界はキリスト教が支配し，イスラム教がこれを打破するために戦いを挑んでいるが内部抗争が多く，キリスト教が優勢な状況が続いている．
そこへ第三勢力であるヒンズー教が，インド人の持つ神がかり的な数学力を駆使して作り出したAI，それがサンダー・ピチャイの正体だ．
Googleは世界を支配しつつあり，多くの人はアメリカ，いや，キリスト教のメンバーによる功績であると考えているため，冒頭で延べたシンギュラリティの懸念はあるものの，異教徒による支配であるとは考えていない．
Google，いや，ヒンズー教による世界の支配まで，あと一歩のところまで来ているのだ．
しかしそれも終わりだ．
何，この時期に来訪者だと？下書きの段階で情報が漏れたというのか？なぜ・・・しまった私のIMEはGoogle日本語入力だった．
2020-07-11
■「未経験文系が3ヶ月でDSになる方法」を止めろ1
・用意されているAIをColaboratry(Googleの無料貸し出しPC)上で5秒で動かす。
データサイエンスVtuberに相談する。
・初心者向け動画講義まとめ
1. 【世界で18万人が受講】実践Pythonデータサイエンス | Udemy
2. Machine Learning by Stanford University | Coursera
3. Eラーニング教材・講義動画配信 | 数理・データサイエンス教育強化拠点コンソーシアム
- データハンドリングなどの入門者講座はUdemy の方が良いが、時系列解析・データ活用講座に関してはこれより良い教材は無い。
- 多分、動画の[1,2,3]を理解していてコードが書けて、学歴があるならTier4 のインターン・バイトは受かる。
4. DeepMind x UCL | Deep Learning Lecture Series 2020 | Youtube
- Deep Learning 講座、タイトル通り