前回の続き。将棋AIで最初に大規模機械学習に成功させたBonanzaの開発者である保木さんのインタビューがちょうどYahoo!ニュースのトップ記事として掲載されたところなので、今回はBonanzaの機械学習について数学的な観点から解説してみたいと思います。 Bonanzaの保木さんのインタビュー記事 プロ棋士に迫ったAI「Bonanza」 保木邦仁「将棋を知らないから作れた」 https://news.yahoo.co.jp/feature/1712 BonanzaのGPW発表スライド とは言え、Bonanzaで使われている機械学習の技法は、いまどきの機械学習とは少し毛色が異なるので心の準備が必要です。 まず、保木さんのGPW(ゲームプログラミングワークショップ)での発表スライド、以前はBonanzaの公式サイトからダウンロードできたのですが、Bonanzaの公式サイトがジオシティーズにあ
PRMLとShogiに関するagwのブックマーク (35)
-
agw 2020/05/27
-
Ponanza開発者、山本一成氏が語る強化学習とA/Bテスト運用の舞台裏
Ponanzaにおける強化学習とA/Bテスト運用 山本一成氏（以下、山本）：山本一成と申します。よろしくお願いします。 ありがとうございます。ここからはややガチめなエンジニアの話です。まず確認したいんですが、エンジニアとかプログラマーって人はどれくらいいるんですかね？ （会場挙手） あ、けっこういるのか！ 安心した（笑）。 私、10年くらい将棋のプログラムを作ってきて、最初はまったくのど素人から始めたんですけど、いろいろやっていく中で、現代にも通じるようなさまざまな運用とかが出てきたんですね。そのへんをみなさんと共有できればと思っています。 まず最初のスライド、さっそく手書きでやる気がない感じですが（笑）。将棋のプログラムってどんなもの？ という話です。将棋も囲碁も、大雑把にいうと、2つの要素があります。1つは探索です。つまり、先を読むということですね。 先を読むと強いです。みなさんもそん
-
AlphaGo Zeroの動作方法と理由 | POSTD
2016年の3月、DeepMindのAlphaGoが人類最強の囲碁棋士を破った最初のAIとなり、衝撃が走りました。この時のAlphaGoのバージョンであるAlphaGo Leeは世界中の最高の囲碁棋士の膨大な対局を学習に使っていました。数日前に発表された 新しい論文 によると、新しいニューラルネットワークの AlphaGo Zero は人間が囲碁の打ち方を教える必要がないそうです。今までの囲碁棋士より(人間、機械に関係なく)優れているだけでなく、たった3日間の学習で打ち方を学んでしまうのです。この記事では、これがどのようにして可能なのか、そしてなぜ可能なのかについて説明します。 モンテカルロ木探索 離散的で決定論的な完全情報ゲームをするボットを作成できるアルゴリズムは、モンテカルロ木探索(MCTS)でしょう。囲碁やチェスやチェッカーのようなゲームをするボットは次の一手を決める際に全ての選択
-
-
DeepMind社がやねうら王に注目し始めたようです | やねうら王 公式サイト
DeepMindがAlphaGo Zeroで使われた手法をチェスと将棋に適用して、チェスと将棋の世界でもぶっちぎり強いソフトが出来たそうです。(私は、内容は詳しく読んでいません。) おーDeepMindの論文にelmoデビューしとる。でもElmoって書いてあるから個人的にリジェクトで。しかし強い。DeepMind凄いね。https://t.co/o5SmgmH6KG — 瀧澤 誠@elmo (@mktakizawa) December 6, 2017 RT> DeepMindの論文にやねうら王の文字があるんだけどｗ 何か知らないけど、やねうら王、世界的にデビューしてた！！ pic.twitter.com/HVb1CZKue6 — やねうら王 (@yaneuraou) December 6, 2017 まあ、ResignValue = 900 (評価値が-900を下回った時点で投了扱い)にな
-
AlphaZero Chess/Shogiの論文を読む - TadaoYamaokaの開発日記
DeepMindからAlphaGo Zeroと同じ方法で、チェスと将棋でトップレベルを上回ったという論文が発表されました。 [1712.01815] Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm ドメイン知識を用いないスクラッチから強化学習のみで達成しています。 将棋やチェスはモンテカルロ木探索(MCTS)は向かず、Mini-Max探索の方が良いというのが常識のようになっていましたが、将棋やチェスでもディープラーニングと組み合わせることでMCTSが有効であることが示されたというのも大きな成果だと思います。 まだ全部読み切れていませんが、気になる個所から読んだ内容を書いていきます。 個人的に一番気になるのは、入力特徴と出力ラベルの表現方法です。 チェスについても書か
-
elmoがもたらしたオーパーツについて | やねうら王 公式サイト
WCSC27で優勝したelmoがもたらしたのは、たった一行の革命だった。 交差エントロピーで勾配を求めるとき、普通は次式のようになる。 dsig = eval_winrate – teacher_winrate; eval_winrateは、浅い探索(qsearch)の評価値を勝率に変換する関数(シグモイド関数を用いている)で変換したもの。 teacher_winrateは、深い探索(search)の評価値を勝率に変換する関数で変換したもの。 交差エントロピーで勾配を求める場合、上式のように差をとるだけだ。この式の導出については、第4回電王トーナメントのときの白美神のPR文書にある。 elmo式の雑巾絞りはこの式を次のように改良した。 dsig = (eval_winrate -t) + 0.5 * (eval_winrate – teacher_winrate); tはこの局面の手番側が
-
elmoとPonanzaの力関係 - 物理学と切手収集
ちょっと遅れましたが、アンケートをやってみて面白かったので少し解説してみます。 アンケートはこれです。 コンピュータ将棋選手権でPonanzaに2勝0敗の成績だったelmo。同じ条件で何度も対局した場合のelmoの勝率はどの範囲だと思いますか？— Satoru Inoue (@Inoueian) May 5, 2017 まず少し背景から。 5月3~5日に世界コンピュータ将棋選手権が川崎で開催されていました（第27回世界コンピュータ将棋選手権）。Ponanza*1は、3連覇を狙っていたプログラムで、大方の予想でも本命とされていました。一方elmoは新参加で、Ponanzaに二次予選でも決勝トーナメントでも勝ち、優勝したプログラムです。 「2局の結果から何が言えるか？」というのが質問で、結論から言うと多分25~50%が一番ありそうな所で、75%以上はあまりありそうにないという風に考えていますが
-
雑記： 交差エントロピーって何 - クッキーの日記
機械学習をしているとよく交差エントロピーを最小化させられると思います。 でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。 以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。参考文献 情報理論を視覚的に理解する (1/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (2/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (3/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (4/4) | コンピュータサイエンス | POSTD ニューラルネットワークと深層学習 以下はこれら記事の劣化アレンジです。 A国、B国、C国があります。 A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪にな
-
-
elmoのアピール文書を読む - TadaoYamaokaの開発日記
世界コンピュータ将棋選手権で優勝したelmoのアピール文書を読んでいますが、結構難しいです。 勝率が二項分布に従う場合、評価値はロジスティック分布に従う(※1)だろう、 ということでロジスティック回帰を適用しています(※2)。 この部分は、ある局面の勝敗は評価関数の値によって決まる確率分布に従うという仮定を置き、評価値が与えられた時の事後確率をロジスティック関数で表すということだと思います。 勝敗が評価値によって決まる確率に従うならば、ベルヌーイ試行に従うので勝率は二項分布になります。 ロジスティック関数は、以下の式で与えられる値の範囲が0～1の関数で、入力値が大きければ1に近づき、入力値が小さければ0に近づきます。 は評価値で、3駒関係の重みを、学習データの3駒関係の入力ベクトルをとしたときの線形和 ※多くの将棋ソフトでは歩1枚の価値がだいたい100点になるように横軸をスケーリングしてい
-
Ponanza Chainer アピール文章
Ponanza Chainer アピール文章 山本一成 (HEROZ社 愛知学院特任准教授 東京大学先端研客員研究員) 下山晃 (日立ソリューションズ・クリエイト社） 齋藤真樹・藤田康博・秋葉拓哉・土井裕介・菊池悠太・奥田遼介(Preferred Networks社) 須藤武文・大川和仁(さくらインターネット社) 第27回世界コンピュータ将棋選手権 Ponanza Chainerの新しい3つの武器 ①Deep Learning ②高火力コンピューティング ③eXtream Lazy Smp Ponanza Chainerのアピールポイント① Deep Learning • 将棋で初めて実用レベルのディープラーニングに成功 • ディープラーニングライブラリChainerを使用 • Chainerによるディープラーニング将棋の開発はPFN社さんのご協力を頂きました 現在のディープラーニングの実
-
-
-
-
-
近年のコンピュータ将棋の急速な伸びの理由は？ | やねうら王 公式サイト
表題の件を当事者視点で。 「近年のコンピュータ将棋の急速な伸びの理由は？」という問いの模範解答が分からない。（１年で２００ほど伸びるようになった理由。） そこそこ聞かれる質問なので、答えを用意しておきたいのだが・・・ — Shota Chida (@mizumon_) July 14, 2016 理由をたったひとつ挙げるとしたら、2016年時点での最新の回答は「誰でも機械学習が出来るようになった」ではないかと思います。 従来、将棋ソフトの機械学習というのはBonanzaメソッド(通称ボナメソ)一択でした。激指はオンライン学習風の何かをやっていたのですけど、Bonanzaの3駒関係ほどパラメーターの数が多いと(数百万パラメーター)、オンライン学習ではうまくいかないと信じられていたので、誰もやっていませんでした。 ボナメソについて書かれた保木さんの論文自体、当時の将棋ソフト開発者には難解で(見
-
-
将棋AIで定跡を作れるか試してみた - tokoharuの落書き帳
UPD : 2016.12.16 : この記事の情報は古いのでより新しい情報をご覧ください 最近はやねうら王nano, nano-plus github.com が登場しており、自分のようにまじめに開発する気はそこまでないけどいじってみたい人には非常にうれしい状況です。 ということで定跡っぽいものを生成できないか試すことにしました やりかた 細かいことを説明するのは面倒なので雑に言います 下準備としてfloodgateから100局くらいそれっぽいのを持ってくる 定跡としてよさそうなところを定跡として、その各局面をやねうら王nanoに評価させる。(具体的には初手から30手までで数回以上出現した局面を抽出 指定局面から定跡をたどったりたどらなかったりしつついろんな局面を読む 新しく得られた局面とその評価値を定跡に書き込む, を繰り返す 今回の状況設定 nanoさんには各局面で8手読んでもらう
-
NHK NEWS WEB 人工知能グーグル囲碁の衝撃
人工知能グーグル囲碁の衝撃 2月10日 22時50分 アメリカのＩＴ企業、グーグルの研究チームが、先月、イギリスの科学雑誌「ネイチャー」に発表した人工知能に関する１本の論文が、世界に衝撃を与えました。テーマは「囲碁」。グーグルが開発した人工知能が、世界で初めて人間のプロ棋士に勝利したというのです。囲碁と人工知能。一見、何の関係も無いようなこの組み合わせのどこが衝撃的だったのでしょうか？人工知能研究を１０年前倒ししたとされるこの研究について科学文化部の田辺幹夫記者と、河合哲朗記者が解説します。 「ＡｌｐｈａＧｏ」 先月２８日、グーグルの研究グループがイギリスの科学雑誌「ネイチャー」に１本の論文を掲載しました。その内容は、最新の人工知能技術を駆使して最強の囲碁ソフトの開発に成功したというもの。その名も「ＡｌｐｈａＧｏ（アルファ・ゴ）」です。 論文の中では、去年１０月に中国出身のプロ棋士で囲碁
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しました