こんにちは．今回はNVIDIA CUDAをインストールして，PyTorchやTensorflowなどをNVIDIA GPUを利用して実行するための環境を構築する手順を書きます． 巷ではこういう記事がたくさん出ているかと思いますが，本記事では，研究室や会社などで共有利用するサーバとして想定している点が他の記事との相違点です． 私は今まではNVIDIA社の佐々木氏が書いていた，以下の「NVIDIA Docker って今どうなってるの？ (20.09 版)」にお世話になっていたのですが，近年状況も変わってきているので，ここで一旦まとめます． 本記事では以下のような環境を構築することを目的とします． Ubuntu 22.04 LTS Server(Desktopでも可) Docker NVIDIA Driver, CUDA, NVIDIA Docker Ubuntuのインストール・設定 まずはサー
データ戦略室で室長かつデータサイエンティストをしている阪上です。今回は統計学のことをもっと伝えたくて10個の事例について記しました。 『統計学で嘘をつく法』という本がありますが、人々に間違った解釈を与える以上、統計学は便利である反面、罪深いものでもあります。ビジネスの世界でデータサイエンティスト業を生業としているものとしては誤解や誤用とは向き合い続けていきたいです。 統計学などの知識を正しく理解して使うというのは中々難しいと思います。先日読んだ『統計学再入門』という書籍にも記されているように、科学者ですら誤用や誤解が蔓延しているとされる統計学において、ビジネスの世界でも誤用されないわけがないと思われます。 そこで、私が過去にビジネスを進める上で観察した統計学の誤用と、観察はしていないが良くありそうな誤用について記してみたいと思います。両者を混ぜることにより、社内で実際に生じたエピソードを特
私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正（アノテーション）して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 また、今回の発表の肝は、この蒸留をOpenAIのDashboad上で簡単に行えるようになったことです。 ですが、他社さんでも実際に蒸留を使っているというお話はあまり聞ないので、蒸留の基本とModel Distillationの使い方をご紹介しつつ、使い所と注意点をシェアしたいと思います。 o1-previewとo1-miniが同時に発表されたことを見ても、今後も"高性能で高価なモデル"と"少し性能は劣るが安価なモデル"は（多少の時期の違いがあっても）セットでリリース
表の「問題」「解答」をクリックすると当該科目の問題、解答のＪＰＥＧ画像が見られます。「ＰＤＦ」をクリックすると、当該科目の問題と解答が一体になったＰＤＦファイルが開きます。「分析」は、駿台予備学校とベネッセコーポレーションの協力による当該科目の問題分析ページにリンクしています。 ＜注意＞表紙や解答用紙など不要なページを除いたため、画像やＰＤＦファイル下部にあるページ数は必ずしも連続していません。また、英語のリスニング音声については、毎日新聞社が再生用にデータ化しました。専用のＩＣプレーヤーでの再生音と比べて、聞き取りにくかったり異なって聞こえることがあります。
2025/1/18 北陸三県.rb Lightning Talks in Kanazawa
「品質保証（QA）とは。定義の三大流派と定義揺れの弊害 - 千里霧中」で触れたとおり、QAの定義は日本国内では曖昧化しています。それに伴って、QAエンジニアの定義も曖昧化している状態です。曖昧化しているポイントは主に以下の二点です。 「品質保証（QA）」の定義が曖昧 チームとの関係性（開発チームに入るか、第三者検証に様に独立性を保つか等）が曖昧 こうしたQAエンジニアの定義のブレ・曖昧さは、完全内輪向けならば許容される場合があります。 ただ、外部から知見を取り込んだり、外部から人材を募集したりと、外部組織と接点を持つと支障が出ます。例えば「QAエンジニアを募集」と人材要件に書いても、読み手によって何をする職種なのかの理解がばらばらになる恐れがあります。 そこで今回は、QAエンジニアを分類することで、自分なりにQAエンジニアの定義を具体化したいと思います。 概要 「担当する業務の種類」「開発
Train 400x faster Static Embedding Models with Sentence Transformers TL;DR This blog post introduces a method to train static embedding models that run 100x to 400x faster on CPU than state-of-the-art embedding models, while retaining most of the quality. This unlocks a lot of exciting use cases, including on-device and in-browser execution, edge computing, low power and embedded applications. We
以前の記事（行列乗算の最適化入門（コンシューマー向けGPU編） - よーる）で、RTX 4090向けの単精度行列積コードを作成し、cuBLASの98.4%である58.3 TFLOPSの性能を達成しました。 そのコードを更に最適化した結果、cuBLASを超える60.0 TFLOPSの性能を出せる単精度行列積コードを作れたので、その改良を紹介します。 実験条件等は前回の記事に準じます。 グローバルメモリからの読み出しをソフトウェアパイプライン化 以前の記事で紹介したコードは、以下のような構造でした。 for( int k0 = 0; k0 < N; k0 += SharedMemBlockK ) { __syncthreads(); グローバルメモリからシェアードメモリへの転送 __syncthreads(); シェアードメモリからレジスタへの転送と、レジスタ上での行列積計算 } この方式は、
最近、AIにアンテナの高いエンジニア界隈でClineというツールが話題です。 これは元々Claude Devと呼ばれていた、VS Codeの拡張機能です。 サイドバーで生成AIとチャットしながら開発補助をしてもらえて、自分のリポジトリから必要なファイルを読み込んで理解してくれたり、ターミナルでコマンドを実行して出力を確認してくれたり、さらには必要なコードを書いたりしてくれます。 似たようなツールでCursor（カーソル）も結構前から人気ですが、Clineのいいところは いつものVS Codeに拡張入れるだけでそのまま使える どこまで手動/自動で補助してもらうか、好きな具合にカスタマイズできる 結果、コーディングしながらChatGPTやClaude.aiとエディタを往復する手間が省ける ことが大きなメリットです。私も秒でトリコになりました。 実際に試してみよう！ VS Codeに拡張機能「C
せっかく作ったAIエージェントは一般ユーザにも届けたいですよね？？ 皆さん、AIエージェント触ってますか？ 私は最近LangGraphを触るのが楽しいです。 せっかく作ったエージェントは一般ユーザにも届けたいですよね？？ で、あればフロントエンドも作りたいんですが、これが私の様な素人には意外と難しいです。 APIとしてデプロイして蹴って使うのも手間ですし、Streamlitで実装するのも、 チャット履歴は？ツールを使った場合の表示はどうする？など意外と考える事が多くて面倒です。 もっとエージェント開発に注力してフロントエンドはサクッとモダンなものを実装したい... そんな風にして調べていたらChainlitと出会ってしまいました。 ※この記事の続編はこちら [Chainlit✖︎AWS]超簡単!?LangGraphマルチエージェントのチャット履歴をAWSクラウド上に保存しよう Chainl
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、私がこれまでXで発信してきたデータサイエンスに関わるさまざまな分野のチートシートを一挙にまとめました。前処理、可視化、機械学習、深層学習、ベイズ・統計、さらにはその他の関連トピックまで、私が作成したものからネット上のものまで多岐にわたる内容を網羅しています。 それぞれのセクションでは、実践的かつ即戦力となる情報が詰まったチートシートを紹介しており、初心者から上級者まで幅広い層に役立つ内容を目指しました。 日頃からX（旧Twitter）を通じて、データサイエンスに関する知識や役立つリソースを共有していますが、今回の
Reclineの構築手順本記事では、Reclineの構築手順について解説します。Reclineは、CLIおよびエディタ内で動作し、コードの作成、編集、実行を支援します。このプロジェクトはClineをフォークしたものであり、Claude 3.5 Sonnetによって真価が発揮されます。。 これ何がすごいって、VSCodeのLanguageModelAPIとCopilotを使用するため、実質月額10ドル払えば無限にClaudeがClineで使えちゃうんですよね！！！！！！！！！！（ついでにcopilotも使えちゃう） ということで、下記構築手順まとめます。 本記事を作成するにあたり、以下の情報を参考にしました。 Reclineリポジトリ: https://github.com/julesmons/reclineVSCodeダウンロードページ: https://code.visualstudio
たしかに、その年ごとに何を使っているのかログ取れるとおもしろいですね。来年もやるかどうかは未知数ですが！ blog.handlena.me エディタ Neovimを使っています。2023年ごろにVS Codeから乗り換えたはずです。一応緊急避難先としてVS CodeやZedもセットアップしてはありますが、普段は使っていません。 ただ、仕事ではKotlinという言語がちゃんと動くLanguage Serverを持っていない関係で、IntelliJを使っています。マウスカーソルを動かす必要があり、とてもイライラします。Kotlin以外の言語ではすべてNeovimを使用しています。 VS Codeで少し羨ましいのは、コーディング用のAI周りの対応が速いことです。時代の変化についていくためにはVS Codeをしっかり使っている必要がありそうではあります。 しかし、Neovimでも実はCopilot
Mroongaのメンテナンスもしている堀本です。 今回はGitHub Actions上でAlmaLinuxの仮想マシンを作って何かする人向けの記事です。 Groongaとその関連プロダクト（PGroongaやMroongaなど）は、様々なOS向けにパッケージを提供しています。 提供するパッケージはGitHub Actions上でビルドしたり、テストしたりしています。 今回は、AlmaLinux向けのパッケージのテストをする環境を作る時に躓いた点があったので、その回避策を紹介しようと思います。 最初にどんな問題が発生したかを紹介し、次にどのように解決したかを紹介します。 では、まずどんな問題が発生したかを紹介します。 MroongaのCIでは、Ubuntu上にIncusをインストールし、それを使って仮想マシンを立ち上げることで AlmaLinuxの環境を用意していますが、この仮想マシンを起動
GitHubを利用して様々なプロジェクトに関わっている場合、関連するissueを一覧で確認できると便利な場合があります。 Notificationsのフィルタを活用すればある程度一覧性を担保できますが、その結果を複数人で共有、加工等したい場合には不向きです。 GitHub ProjectsではOrganization配下に作成されたリポジトリのissueを任意で追加できるので、トリアージが必要なissueを登録しておくと一覧できて有用です。 クリアコードではFluentdの開発にも深く関わっていることから、Fluentdのサポートサービスを提供しています。 Fluentdにはプラグインのエコシステムがありますが、関連するリポジトリはあちこちに分散しています。 それらのリポジトリで新規に起票されたissueをGitHub Projectsで一覧できると有用なのですが、そのようなしくみは整えら
このエントリが結構反響あった。 blog.inorinrinrin.com ので、同じく榊巻さんのシリーズの『世界で一番やさしい会議の教科書』で学んでから実践してる会議のコツについて書こうと思う。 世界で一番やさしい会議の教科書（日経BP Next ICT選書） 作者:榊巻 亮日経BPAmazon 相変わらずおすすめだし、明日からでもできることがたくさんある。構成自体は物語仕立てだけど、途中途中でテクニックの部分だけでもまとめてくれてはいる。なので拾い読みするだけでも結構効果があると思う。 前置きはこのくらいで詳しく話す。 いちばん大事なこと: 会議の前に4つのPを作る 基本的にこれに尽きる。この4つが準備できてない状態で会議を設定すると、自分の経験上は十中八九何も決まらずに終わる。 Purpose (目的・終了条件) People (参加者) Process (進め方) Property
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
