量子化の3回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は 3章の予定でしたが、2章に関係が深い Appendix を先に読んでいきます。

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 前回は、gemmlowp の サンプルコード（doc/quantization_example.cc）を実行しました。長い実行ログが出力されて、その内容は量子…

今回もAIの量子化について学んでいきます。GoogleのQAT量子化の論文 に出てくる gemmlowp ライブラリ について見ていきます。 それでは、やっていきます！

「量子化の論文を読む」の2回目です！ Googleが2017年12月にarXivに登録した論文の「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」の続きで、今回は2章を読んでいきます。

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、TensorFlow Lite C++ の動作を見るために、デバッグ環境を立ち上げたいと思います。 前回は、TensorFlow Lite の C++ で、量子化モデルを動かしました。何が実行されてるか分…

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、実際に量子化モデルを動かして、推論の高速化を実感したいと思います。 前回（TensorFlow Lite Pythonで量子化モデルをRaspberry Pi 4で動かす - daisukeの技術ブログ）は、Py…

今回もAIの量子化について学んでいきます。論文を読むことは継続しつつ、今回は、実際に量子化モデルを動かして、推論の高速化を実感したいと思います。 まずは、VirtualBox の Ubuntu 22.04 で動かしていきますが、TensorFlow Lite は、ARM CPU に最適化さ…

今回からAIの量子化について、学んでいこうと思います。具体的には、量子化することによる推論の高速化について調べていきたいと思います。 最近のChatGPTなどに代表される「大規模言語モデル（LLM）」の動向としても、量子化が注目されてきています。 量子…

Webスクレイピングとは、プログラムを使用して、Webサイトの情報（データ）をダウンロードし、データを解析、分析することを言います。 初回なので、スクレイピングをするにあたっての注意事項や基本的なところを書きます。 あまり無茶は出来ませんが、スク…

2024/4/15現在の最新版「無料版ChatGPTの始め方」です！ 無料版では、GPT3.5が使えて、テキスト生成（質問に答えてくれるなど）だけ可能ですが、無料で使えるので、良かったら使ってみてください。 20ドル/月（3000円）の有料版では、日本語の文章から画像を…

今回は、OSSのOptunaを使って、多目的最適化をやっていきます。 具体的には、書籍「Optunaによるブラックボックス最適化」の「3.1 多目的最適化」のサンプルコードを使います。 また、Pythonのmatplotlibで、3Dのグラフで可視化します。この可視化はマウスを…

今回は、OSSのOptunaを、Google Colaboratoryで使う手順の詳細説明と、実際の実行結果を記載します。 プログラムは、書籍「Optunaによるブラックボックス最適化」の2章のサンプルコードを使用します。 また、トライアル（学習）の再現性を確保（同じ学習結果…

今回は、OSSのOptunaの実行結果を可視化する「Optuna Dashboard」を、「Google Colaboratory」で使う方法を説明します。 今回の使い方は、Google ColaboratoryでOptuna Dashboardを起動（サーバを起動）し、ブラウザからOptuna Dashboardを使えるというもの…

今回は、フリーソフトのDB4Sのインストール方法と、使い方を説明します。 対象は、SQLiteで、Optunaののデータベースファイルを使って、具体的な操作方法をを記載します。 また、Google Colaboratoryで、SQL命令を実行する方法についても紹介します。 この内…

ブログを書いていると、記事の内容に合ったオリジナルの画像がほしくなることがあると思います。 いろいろなフリー素材はありますが、イメージに合わなかったり、他のブログでよく使われてる画像だったりということが、よくあります。 そこで、今回は、Canva…

前回（ゼロから作るDeep Learning 4（強化学習編）の4章のサンプルコードにアニメーション化の機能を追加する - daisukeの技術ブログ）に続き、今回は、同じく「ゼロから作るDeep Learning 4（強化学習編）」の4章のサンプルコードの「policy_iter.py」に対…

日本を代表するAI企業であるPreferred Networks（PFN）さんは、Optunaというオープンソースソフトウェア（OSS）ツールを提供しています。 Optuna（オプチュナと読みます）に関して、PFNさんが解説する書籍「Optunaによるブラックボックス最適化」を読みまし…

ゼロから作るDeep Learning 4（強化学習編）の4章のサンプルコードの「policy_iter.py」のステップごとの更新された価値関数が書かれたマップの画像ファイルをアニメーション化する機能を追加します。