本記事では、FlexGenをDockerで使う方法を紹介します。 ※nvidia-docker2が導入済みの、DockerからGPUが使用できる環境でなければ実行できませんのでご注意ください。 FlexGenとは ライセンス：Apache-2.0 license FlexGenとは、自前のPCなど計算資源の小さいマシン上で、大規模言語モデル（Large Language Model: LLM）を動作させることを可能にする技術です。 FlexGenについては、既に概要を詳しく説明している記事が沢山出ていますので、ここでは説明を省略します。詳細は、リポジトリや論文で確認することができます。 論文：High throughput generative inference of large language models with a single gpu DockerでFlexGenを動作させる
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
#DockerでPython3.5で作成したWebアプリケーションの検証用環境を作成 PythonでWebアプリケーションを作成することはほんとんどなかった。ノンブロッキングI/Oの（node.jsやGolangとの比較検証等を考慮した）動作検証をする際にWebアプリケーションとして用意したかったので、その際、Docker for Macで簡単な環境を構築したので備忘録として記載。 Docker ComposeでPython3.5+uWSGI+Nginxの動作環境用のコンテナを用意した。 余談だが、uWSGIは「ウエスギ」という読み方が一般化しているようだ。「ユーウイスキー」と読んでいた。 ##Docker for Macのインストール Docker for Macを利用した。ここからDocker for Macをダウンロードして、Macにインストールする。 ##Docker Compos
tl;dr Read the Docs (RTD)でよくわからないバグでコンパイルできない -> Dockerを使うと簡単にデバッグできるよ。 問題 RTDにはじめてドキュメンテーションを登録してみたところ、エラーでまくり。 このGithubレポジトリをこのRTDとしてアップロード。 ローカルの環境ではうまくいくのにImportErrorがでていた。 やったこと 公式ドキュメンテーションにあるとおりRTDはそのドキュメンテーションビルド手順を完全に公開しています。また、ビルドに使う環境のdockerイメージも公開しているので、手元で同等の環境を作り、デバッグすることが容易です。 まず、dockerイメージをpullし、interactive shellで起動します。 export READTHEDOCS=1 # 追加分 mkdir -p /home/docs/checkouts/readt
以前、Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみました。 Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみた - メモ的な思考的な その時はPython2.x系で試したため、今回はPython3.x系でmod_pythonをコンパイル&インストールし、Hello worldしてみます。 目次 環境 まとめ 準備：prefork MPMで動作するApache2.4のDockerイメージを作成 masterをコンパイル&インストール ブランチ3.5.xをコンパイル&インストール masterにブランチ3.5.xをマージして、コンパイル&インストール masterのビルド用ファイルをブランチ3.5.x
前回、フォームのデータをcgiモジュールを使って受け取りました。 Docker + Alpine3.5 + Apache2.4 + Python3.6で、フォームのデータを標準モジュールcgiで受け取ってみた - メモ的な思考的な 今回は、ApacheのSSI(Server Side Include)を、公式チュートリアルを見ながら試してみます。 Apache チュートリアル: Server Side Includes 入門 - Apache HTTP サーバ バージョン 2.4 目次 環境 AddOutputFilterを使って、shtmlファイルのみSSIを有効にする AddOutputFilterを使って、shtml・htmlファイルでSSIを有効にする XBitHack onを使って、htmlファイルのみでSSIを有効にする XBitHack onを使って、html・shtmlファ
前回、フォームのデータをCGIのPythonスクリプトでsys.stdin.read()とos.environを使って受け取りました。 Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをCGIで受け取ってみた - メモ的な思考的な 今回は標準モジュールcgiにあるFieldStorage使ってデータを受け取ってみます。 目次 環境 cgi.FieldStorageを使ったフォームデータの受け取り データの読み込み FieldStorageの属性やメソッド フォームのフィールド値の取得 同じnameを持つ複数フィールド値の取得 cgi.FieldStorageを使ったアップロードファイルの受け取り ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpine3
以前、DockerでCGIを動かしてみました。 Dockerで、Alpine3.4 + Apache2.4.25 + Python3.6.0の環境を作って、CGIを動かしてみた - メモ的な思考的な 今回は、Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをPythonのCGIで受け取ってみます。 目次 環境 Dockerfile作成 HTMLフォームの作成 CGI用のPythonスクリプトを作成 CGI用のPythonスクリプトのパーミッションを変更 Dockerの起動 フォームでGET フォームでPOST その他悩んだこと Dockerfileの中で、共有ディレクトリのパーミッションを設定する方法 ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpi
こんにちはsekitakaです。 本番だけでなく、ローカル開発環境のPycharmのRunコマンドでもプログラムをDockerコンテナ上で実行できるといいですよね。 本番と同じ環境のDockerコンテナが使用できればハマりも減ることでしょう。 今回はPycharmのインタプリタをDockerコンテナ上のpythonにする方法の紹介です。 設定方法 python実行環境のイメージを取得する コンテナに使用するイメージを取得してます。今回は例なのでDocker Hubのpython3環境を使っているだけです。 実際は使用するイメージをそれぞれの開発に最適化されたイメージにするのがベストです。 設定確認 Preferences > PluginsでDocker integrationが有効になっていることを確認してください。 Pycharmのインタプリタ設定をDockerのものにする Prefe
仕様 ターミナルからcurlコマンドでjsonデータを送ると, 文字列が成型されて, 同じくjson形式でデータが返ってくる. 環境 Mac OS X 10.12 Docker for Mac 17.03 多分Linuxでも同様にできます. 1. Flask起動スクリプトの用意 Pythonの軽量WebフレームワークであるFlaskをつかって作成します. @app.route()で指定されたディレクトリにアクセスすると, defで定義したメソッドが起動し, returnで結果を返す, という流れです. from flask import Flask, jsonify, request import json app = Flask(__name__) @app.route("/", methods=['GET']) def hello(): return "Hello World!" @a
##要件 Docker ビルド時に, github, BitBucket 等のプライベートリポジトリのライブラリを pip install したい ##条件 プライベートリポジトリにアクセスするための鍵は $HOME/.ssh 以下にある ##案1 ローカルで wheel 作成して Dockerfile でコピー pip wheel djando (django はプライベートじゃないけども) 良い点 鍵問題と Docker を切り離せる イメージをビルドし直す際に wheel を使いまわせる 問題点 ライブラリのビルドをローカル環境で行うためコンテナ内の実行環境と合わない可能性がある 例1: Django を wheel で取得した場合 -> Django-1.8.1-py2.py3-none-any.whl python2-3 互換性があり, OS 非依存(any) こちらの場合なら問
開発部 R&D グループで研究開発をしている CRuby コミッターの村田 (mrkn) です。 2/23 に渋谷で開催された Ruby Business Users Conference 2017 *1 でキーノートスピーカーとして講演をさせていただきました。 内容は、Ruby で統計分析や機械学習ができない現状についての解説と、その状況を打破するために私が現在開発を進めている pycall.gem のデモンストレーションでした。 カンファレンス当日に使用した資料は私個人の Speaker Deck で公開していますので、そちらをご覧ください。 カンファレンスの発表後、当日カンファレンスで一緒だった YassLab の安川さんがデモ部分の動画を facebook で公開し、twitter で拡散してくださいました。 .@mrkn さんの PyCall を使ったデモがスゴい！😆 #RBU
得られた重要な知見 ・DockerでPython3の開発環境を構築することができた ・Dockerfile：myDockerfile/my_python_dev_env at master · hyperSuperHoge/myDockerfile · GitHub ・ただし、わざわざDockerまで導入する必要はなく、Miniconda3がすべて解決してくれる ・でも、Dockerを使えるようになったのは収穫だ 背景 ディープラーニング学習 Pythonの開発環境が欲しくなった 2.x系と3.x系とで結構違うらしい 環境変数やパッケージ管理も要注意 http://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c 手元にはWindows10 & Cygwin のマシン 現環境を汚したくない VirtualBox + Ubuntu 16.04 LTS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
