タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
大規模言語モデルのGPT-4やチャットボットAIのChatGPTを開発するOpenAiが、テキストや画像を入力することで3Dモデルを自動生成するAI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、無料で使用できます。 GitHub - openai/shap-e: Generate 3D objects conditioned on text or images https://github.com/openai/shap-e 機械学習エンジニアのhysts氏がShap-Eを体験できるデモサイトをAI向けリポジトリサイトのHugging Faceに作成しており、Shap-EがどんなAIなのかをブラウザから簡単に体験できます。 Shap-E - a Hugging Face Space by hysts https://huggingface.co/spaces
JMDC データサイエンティストの齋藤です。 データ分析の第一歩、EDA（探索的データ分析）にどう取り組んでいますか？ 予測のための機械学習の話はよく聞きますが、EDAのための機械学習はあまり目にしないと感じるので、 今回は実務における「XGBoost+SHAPによるEDA」の実践例を取り上げてみたいと思います。 題材は２０２１年７月にリリースした「新型コロナウイルス感染時の重症化リスクファクターに関する分析結果」です。 https://www.jmdc.co.jp/wp-content/uploads/2021/07/news20210709_2.pdf このブログの内容はテクニカル中心ですが、分析結果自体も面白いのでレポートもご覧いただけると嬉しいです。 XGBoost+SHAPでEDAする理由 分析デザインの概要 Feature Importance SHAP XGBoost+SHA
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
機械学習を活用すれば、膨大なデータをもとにして、さまざまな事柄について予測値を導き出すことができます。しかし、実際にその予測値を役立てるためには、なぜそうした予測結果になったのかを理解することが重要です。予測値を解釈するための手法として、協力ゲーム理論を応用したSHAP（SHapley Additive exPlanations）という手法があります。TVISION INSIGHTS株式会社でデータサイエンティストマネージャーを務める森下光之助氏が、SHAPの基本的な考え方と、そのベースとなる協力ゲーム理論について解説します。 SHAP（SHapley Additive exPlanations）で予測結果の貢献度を分解する 森下光之助 氏（以下、森下）：まずは簡単に自己紹介をさせてください。僕はTVISION INSIGHTS株式会社でデータサイエンティストのマネージャーをやっていて、僕
機械学習とタスクについて 回帰や分類などのタスクに機械学習モデルを活用することがあります。 例えば、以下の記事ではフクロウの種類を分類するために深層学習モデルを活用しています。 PyTorch Lightning入門から実践まで -自前データセットで学習し画像分類モデルを生成-ディープラーニングフレームワークPytorchの軽量ラッパー”pytorch-lightning”の入門から実践までのチュートリアル記事を書きました。自前データセットを学習して画像分類モデルを生成し、そのモデルを使って推論するところまでソースコード付で解説しています。...
チャットAIのChatGPTや音声認識AIのWhisperを開発するOpenAIが2023年5月に3Dモデル作成AI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、誰でも利用可能とのことなので実際にGoogle Colaboratory上で使ってみました。 shap-e/sample_text_to_3d.ipynb at main · openai/shap-e · GitHub https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb Shap-Eでどんなことができるのかについては下記の記事が詳しいです。 テキストや画像から3Dモデルを生成するオープンソースのAI「Shap-E」をOpenAIが発表 - GIGAZINE まずはGoogleドライブに
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・SHAPに近い手法「LIME」との比較及び考察も記載 ・SHAP 以外の手法で算出した Feature Importance との比較及び考察も記載 ・オープンソースのデータ及びコードを使ってハンズオン ┗テーブルデータ and 画像データに適用 ・SHAP 以外の画像説明モデル Grad-CAM, Guided Grad-CAM の紹介
使い方pip install -e . でインストール 上記のようなモデルを生成するには、次のノートブックを参照してください。: sample_text_to_3d.ipynb - テキスト プロンプトで条件付けされた 3D モデルのサンプル sample_image_to_3d.ipynb - 合成ビュー画像で調整された 3D モデルをサンプリングします encode_model.ipynb - 3D モデルまたはトリメッシュをロードし、マルチビュー レンダリングとポイント クラウドのバッチを作成し、それらを潜在的にエンコードして、レンダリングし直します。これを機能させるには、Blender バージョン 3.3.1 以降をインストールし、環境変数BLENDER_PATHを Blender 実行可能ファイルのパスに設定します。 テキストから3Dモデルを生成するimport torch fr
はじめに この記事で書いていること、書いていないこと アルバイトゲームとShapley Value 機械学習モデルへの応用 参考文献 はじめに ブラックボックスモデルを解釈する手法として、協力ゲーム理論のShapley Valueを応用したSHAP(SHapley Additive exPlanations)が非常に注目されています。SHAPは各インスタンスの予測値の解釈に使えるだけでなく、Partial Dependence Plotのように予測値と変数の関係をみることができ、さらに変数重要度としても解釈が可能であるなど、ミクロ的な解釈からマクロ的な解釈までを一貫して行える点で非常に優れた解釈手法です。 SHAPの論文の作者によって使いやすいPythonパッケージが開発されていることもあり、実際にパッケージを使った実用例はたくさん見かけるので、本記事では協力ゲーム理論の具体例、Shapl
この記事は GMOアドマーケティングAdvent Calendar 2022 20日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.Hです。 今回はXAIの一つである「SHAP」というライブラリについて、自然言語処理向けの機械学習モデルの観点から書いていこうと思います。 はじめに 昨今ではもはや聞き馴染みとなった「機械学習」や「AI」ですが、そのモデルはコンピューティングシステムの計算能力の向上と共に加速度的な速さで複雑化してきています。もちろんそのようなモデルを使ってビジネスに貢献ができれば嬉しいのですが、モデルの中身に関してはブラックボックス化されていることがほとんどで、「何が要因となってこの結果がもたらされたのか？」という部分はなおざりになりがちです。 機械学習のビジネス利用が当たり前に行われるようになった今日では、こういった原因や要因に関して人間がわかる形で示そう
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
先日，協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPという手法の理論と既存のライブラリの実装についてのブログを書いた． blog.tsurubee.tech 既存のSHAPライブラリであるslundberg/shap（以下，単にSHAPライブラリと呼ぶ）は，SHAPの提案論文*1のファーストオーサーにより開発されており，多くのSHAPのアルゴリズムの実装や可視化の機能が非常に充実している素晴らしいライブラリである． しかし，私が自身の研究の中でSHAPライブラリの中のKernel SHAPを使っている際に，計算速度と拡張のしやすさの観点で改善したいポイントがいくつか出てきた．今回は，まだ絶賛開発中であるが，Kernel SHAPの高速性と拡張性の向上を目指したShapPackというライブラリのプロトタイプが完成したので，それについて紹介する． 目
text-to-3D & image-to-3D
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
「ここ2年ほど、主要な国際AI学会では新しい『説明可能なAI』の手法の提案よりも、どの説明可能AIが実社会で使えるか、生成する説明に信頼性があるか、などを検証する研究が増えてきた」。説明可能AIの研究動向に詳しい大阪大学 産業科学研究所の原聡助教はこう語る。 説明可能AIへのニーズや実用化への機運が産業界で高まりつつある一方、大学など学術界においては技術の限界や過信へのリスクに警鐘を鳴らす研究が目立ってきた。説明可能AIの実用化に向けた、産業界と学術界双方の動きを追った。 説明可能AIの代表選手「LIME」と「SHAP」 説明可能AIの手法はいくつかあるが、特に産業界において代表的な手法と目されているのが「LIME（local interpretable model-agnostic explanations）」と、その発展形である「SHAP（SHapley Additive exPlan
SHAP は協力ゲーム理論にもとづいて機械学習モデルを解釈する手法と、その実装を指している。 今回は、あまり理論の部分には踏み込むことなく、使い方を中心として書いていく。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G73 $ python -V Python 3.8.5 下準備 はじめに、利用するパッケージをインストールしておく。 $ pip install shap lightgbm scikit-learn matplotlib jupyterlab また、SHAP は Jupyter 経由で使った方がインタラクティブな表示ができる。 そのため、今回は Jupyter Lab 上で操作することを想定する。 $ jupyter-lab Jupyter Lab を
2023年6月19日に社内で発表したLT資料です． SHAPでありがちなミスリーディングや，特徴量が予測に与える影響（因果効果）を推定できるケースについて紹介しました． 資料内で出てくるリンクは以下です（参照日: 2023年6月13日） https://arxiv.org/abs/2011.01625 https://christophm.github.io/interpretable-ml-book/shapley.html https://christophm.github.io/interpretable-ml-book/shap.html https://econml.azurewebsites.net/ https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191 https://shap.readthedocs.io/en/late
SHAPを用いた木構造モデルの解釈機械学習モデルの解釈性については、しばしば問題になります。 「モデルの精度が高いが、なぜモデルが、その予測を行ったのかを説明できず、実用に至れなかった…。」 といった事を、多くの方が経験しているのではないでしょうか？ 今回は、複雑なモデルの解釈を行うための手法「SHAP（SHapley Additive exPlanations）」を紹介します。 そして、実際に「木構造モデル」に適用したいと思います。 この記事で紹介すること複雑なモデルにおいて、各特徴量の寄与の解釈を行うモデル「SHAP」を解説。「SHAP」を、実際に「木構造モデル」に適用してみた結果を、特徴量重要度の指標と比較する。モデルの解釈性についてまず、機械学習モデルの解釈性について説明します。 一般的に、「モデルの複雑性」と「解釈性」は、トレードオフの関係にあります。 例えば、 「重回帰モデル」
1.はじめに SIGNATEで「日本取引所グループ ファンダメンタルズ分析チャレンジ」というコンペが開催されています。私も参加していますが、その中で出てくる知識に関して基礎部分をまとめよう！という動機で書いた記事の第2弾です。 コンペのチュートリアルでは、「XGBoost」での予測結果に関しての根拠説明として本記事で紹介する「SHAP」を使用していますが、本記事では現在一番メジャーなLightGBMを使用してこのSHAPを紹介していきます。 動作環境 OS : Windows10 pro Python : 3.8.3 // Miniconda 4.9.1 LightGBM: 3.1.1 SHAP : 0.38.1 jupyter notebook 2.LightGBMでとりあえず学習して、特徴量重要度を図示する 今回は、回帰分析を例として行うことにする。 サンプルデータはscikit-le
https://www.kaggle.com/learn/machine-learning-explainability 今回はこれをやっていきます。先に一言で言うと機械学習のfitを説明しよう、と言うことです。言い換えるとモデルがデータをどう扱ったか解釈しよう、と言うことです。なんとなくまとめを先に行っておくと次の通りです。 ブラックボックス 機械学習も僕の知っている２年前に比べて色々と賑やかになってきました。決定木だとLightGBMやXGBOOSTありますし、ニューラルネットだとStacked LSTMやGANとかですねえ。そんな優秀なアルゴリズム達をどうやって理解すればいいんだろう？と言うのがブラックボックス問題です。例えば「ニューラルネットで学習させたけどこの重みの意味って、、、？」とか「この入力と出力の間の関係は、、？」とか「この変数って予測にプラスに働いたのか、、、？」などで
機械学習モデルを学習させた時に、実際にモデルはどの特徴量を見て予測をしているのかが知りたい時があります。今回はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを解説します。 目次1. XAIとは 2. SHAPとは 3. 実験・コード 1：回帰モデル（Diabetes dataset） ＿＿3.1 データ読み込み ＿＿3.2 モデル作成 ＿＿3.3 SHAP値 ＿＿3.4 SHAP可視化 4. 実験・コード 2：画像データ（Imagenet） ＿＿4.1 データ読み込み ＿＿4.2 モデル作成 ＿＿4.3 SHAP可視化 1. XAI (Explainable AI)とはXAI はExplainable AI（説明可能なAI）の英略称です。言葉通り、予測結果や推定結果に至るプロセスが人間によって説明可能になっている機械学習のモデルに関する技術や研究分野のことを指します。 A
機械学習モデルは、統計モデルよりも予測に長けた手法であり、皆様もご存知の通り様々な場面で用いられています。一方で、結果の解釈の面ではブラックボックスになりやすいため、モデルの作成時のみならず、機械学習に覚えのない方々とコミュニュケーションをする上でも重要な課題です。 そんな、機械学習モデルと対話するためのツールがSAHP値(SHapley Additive exPlanation Values)です。SHAPを使うと、機械学習モデルが特徴量をどのように使って予測をしたのか、特徴量は予測結果にどれぐらい影響を与えているのか、などをデータ全体(Global)、さらに個別のサンプルごと(Individual)に確認することができます。今回はSHAPを使って、学習した機械学習モデルと対話してみましょう。 今回は主に以下を参考にしました。 github.com shap.readthedocs.io
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
（noteの「クリエイターを応援する」で応援していただけると嬉しいです。よろしくお願いします） SHAP（SHapley Additive exPlanations）とは背景昨今では機械学習モデルに解釈性や説明性が強く求められるようになっており「説明可能なAI（Explainable AI｜XAI）」が着目されるようになっている。 SHAPは、予測モデルに対してそのような解釈性を付与するために作られたライブラリ。 SHAPとは協力ゲーム理論のシャープレイ値（Shapley Value）を機械学習に応用したオープンソースのライブラリ。 SHAPを使うことで、ある機械学習モデルが導き出した予測値に対して、それぞれの特徴量の影響をどれだけ受けたか（寄与の度合い）を求めることができる。 特に、変数重要度をデータ個別に出せる点が、SHAPの魅力的な点と言える。 アウトプット例として、例えば以下の図。
機械学習のモデル解釈手法を学びました。ほとんどは、書籍「機械学習を解釈する技術」から学んでいます(良書！)。ここに書いているのは、個人的視点でつまみ食いしている感じなので、興味を持ったら購入おすすめです。 一部、scikit-learnからも学んでいます。 内容 全般 解釈手法一覧 下表が解釈手法の一覧です。 解釈手法 解釈手法(正式名) 内容 視点
背景・目的 ブラックボックス化しがちな機械学習モデルを解釈し、なぜその予測値が出ているのかの説明に役立つSHAP値について、理解を深めるべく論文や公式資料を漁りました。自分用の備忘録としてこちらに内容をまとめておきます。 SHAPとは何か? 正式名称はSHapley Additive exPlanationsで、機械学習モデルの解釈手法の1つ なお、「SHAP」は解釈手法自体を指す場合と、手法によって計算された値(SHAP値と呼ぶこともある)を指す場合がある NIPS2017 1にて発表された 論文はA Unified Approach to Interpreting Model Predictions それまでに存在した解釈手法(Additive Feature Attribution Methods。 LIMEの基本アイデア)に協力ゲーム理論のShapley Valueを導入して改良し
#アズールレーン 今日に中国で有名なエロゲーム「アズールレーン」はダウンロードルートを一時閉鎖させられました。原因は中国極端女性権主義が関係部門に告発したからです。具体的な再開時間はまだ公表されていません。 https://t.co/Zx7ShAP9up
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
