業務でとあるサーバー上のDockerコンテナが立ち上がらなくなってしまう事象に出会った。 原因を先にいうと、Dockerコンテナ内のvar/lib/docker/overlay配下の容量が肥大化してコンテナのデータ容量が100%になってしまっていた。 色々やって結局先輩エンジニア方が解決してくれたんだけど「そもそもoverlayって何？」って感じで調べたら、この間勉強したLPICの内容も少し絡んでいて面白かったのでまとめてみた。 原因 先程も書いたが、今回の事象の原因は、var/lib/docker/overlayの容量が大きくなってしまって、データ領域が足りなくなりコンテナが立ち上がらなくなってしまっていた。*1 overlayって何？ で、「overlayってなんぞ？」となったのだけど、やっぱり公式を見るのが一番ということで調べてみたら、DockerのドキュメントにoverlayFS
はじめに 環境 使用するコード 枝刈りとは MedianPruner アルゴリズム 使い方 n_startup_trials n_warmup_steps SucccessiveHalvingPruner アルゴリズム 使い方 まとめ はじめに PFNから発表されたハイパーパラメータ最適化ツールOptunaの記事が多数見受けられるようになってきました．Optunaは特に探索中に試行の枝刈りを行うことで，効率の良い探索を行うことができることが目玉の一つです．ここでは特に，Chainerと組み合わせる際の枝刈りの方法と，Optunaの採用する枝刈りのアルゴリズムについてまとめておきます．また，僕自身そこまで詳しいわけでは無いため，厳密な枝刈りによる効率化の度合い，その是非等についてはここでは議論しません*1． Optunaがパラメータの選択に採用しているアルゴリズムに関する情報は以下の記事が大
O'Reilly Answersは、技術的な質問に対してAI駆動の検索を提供するサービスだ。ユーザーが自然言語で質問を入力すると、O'Reillyの書籍コンテンツから関連性の高いスニペットを抽出して回答を表示する。 技術面では、Miso社がBERTやllama 3など複数のLLM技術を組み合わせたパイプラインで開発している。 ただし現状の課題として、O'Reilly Answersは英語でしか利用できない。O'Reillyには日本語の書籍も多数あるものの、検索は英語で行う必要がある。そして英語で検索すると日本語の書籍はヒットしない。コンテンツの大半が英語であることを考えれば許容できなくもないが、日本語での文章検索ができればより便利だろう。 そこで、この課題を解決するため、書籍の公開情報を取得して、日本語で質問して検索できるウェブアプリを即興で作った。さっき。以下にデプロイしてある。 ask
はじめに 近年、AIを活用したコーディングツールが急速に発展し、プログラマーの生産性向上や開発プロセスの効率化に大きな影響を与えつつあります。これらのツールは、コード補完、チャットアシスタント、コーディングエージェントなど、様々な形態で提供されており、プログラマーの作業をサポートしています。 その中でも、オープンソースのコーディングエージェントである「Cline」は、独特のポジションと活発なコミュニティによって注目を集めています。 本記事では、Clineを中心に、現在のAIコーディングツールの動向を探ります。Clineの特徴や利点、そして他のツールとの比較を通じて、AIコーディングツールの現状について考察します。また、Clineのアーキテクチャや実用面、コミュニティの動向についても解説します。 AIコーディングツールは、特に個人のプログラミングの世界に大きな変革をもたらしつつあります。本記
はじめに ChatGPT をはじめてとして、多くの LLM が世の中に送り出された 2023 年でした。OSSとして公開されているモデルも多く試すだけであれば非常に Colab などで試せて感動しています。 とはいえ、やはり一度は LLM を自分で学習させてみたい、ただ効率的な学習をさせないとお金が溶けるだけ...。そんな中見つけた記事がこちらです。 さまざまな tips が載っています。 npaka san がこちらを日本語でまとめて下さっています。 この記事では、上に挙げられている技術の１つである FlashAttension についてみていきます。特に、どのような改善が行われているのかを追います。（結果的にどれくらい高速になるかは詳しく述べないため他の記事を参照してください） 実は FlashAttension(2022) のさらなる改善として FlashAttenstion2(20
とあるノートブック試したくて、そのノートブック内でFlashAttentionがインストールされている。 ただこれめちゃめちゃ時間がかかる。ノートブックではT4を使用しているようだが、試した限り少なくとも1時間では終わらなかった。L4でも試したが同じ。（ちなみにFlashAttention2はT4のような新しいアーキテクチャには対応していないとレポジトリには書いてあるようなのだが、はて？） 自分は待てなかったので止めた。 でこういうポストを見かけた どうやらFlashAttention2のレポジトリで事前ビルド済みのものが提供されているみたい さらにpip install flash-attn --no-build-isolationは、この事前ビルド済みのものをダウンロードしてきてインストールするのだが、この時、環境内のPython/CUDA/PyTorchなどのバージョンをチェックして
２０２４年 日本はこうなる 目次 目次 はじめに バックパック：『Bellroy Transit Backpack Plus』 モバイルバッテリー兼充電器：『Anker 733 Power Bank』 無料Chromeプラグイン：『Tab Session Manager』 骨伝導イヤホン：『ゲオの激安骨伝導イヤホンGRFD-BCH BH330』 技術書：用件定義：『はじめよう！システム設計 ～要件定義のその後に』 技術書：『Web API: The Good Parts』 ノートPC：『13インチ M3 Macbook Air』 カードゲーム：『UNO』 モニターアーム：『サンワダイレクト モニターアーム 100-LAC003』 スマートフォン: 『iPhone16 Pro 128GB』 小説: 『エレファントヘッド』 小説：『松岡まどか、起業します ＡＩスタートアップ戦記』 eSIM:
はじめまして。脱線おじさんと申します。「脱線おじさんの独学記」をご覧いただきありがとうございます。このページでは当サイト運営者である私＝脱線おじさんの自己紹介について記載しております。よろしくお願いいたします。自己紹介「お前はだれだ？」とよく質問やお問い合わせを頂くので、この場を借りて自己紹介と当サイトを開設するにあたった経緯について記載していきたいと思います。そりゃそうですね。「どういう人間がどういった経緯で勉強方法や人生観を語ってるんだ」という話になりますから笑私は負けず嫌い・頑固とよく... 総評 初めにランキングTOP10の全体の総評をします。 評価項目としてザっと３点、用意させて頂きました。 ①市場価値 私が勤めたIT企業での評価や現場における話題性を考慮して評価しています。 合格すると一時金や昇格条件を満たしたりと色々ありますね。 ②難易度 単純に合格率だけでなく、勉強時間がど
最近は“こういう状況”ということもあって「快適なリモートワーク環境をつくりたい」「仕事や趣味に打ち込める書斎スペースがほしい」と考えている人は多いのではないでしょうか。 ぼく自身、ここ数年はこのブログの運営だけでなく本業もリモートへ完全移行し、気づけば1日のうちほとんどの時間を書斎で過ごすようになりました。 2年くらいかけて少しずつ理想な作業環境を整えてきたので、今回はそんな筆者の現在の書斎・デスク環境をまとめておこうと思います。 「機能性と快適性」を求めて、かつ「見た目もそれなりにこだわって」構築してきたので、この記事を通して何かしらの新しい発見があれば幸いです！ ■書斎スペースの全体像作業環境の全体像はこんな感じ。賃貸の6畳ほどの部屋を「書斎」として活用していて、ここで本業含むブログ執筆、撮影・編集作業から、趣味のゲームや読書なんかもぜんぶ完結するように工夫してみました。 夫婦共有の6
この記事はこんな人に刺さるかも知れません🙂 ・デスクをすっきりさせるマガジンが好きな人 ・自宅のデスク環境を改善したい人 ・ガジェットが好きな人 ・スタンディングデスクが気になってる人 ・オーダー天板が気になってる人 ・ディスプレイを縦に並べてみようと思ってる人 ・MacやPCを天板裏に収納出来ないかアイデアを探している人 ・DIYが好きな人 ・ ・ ・ ・ケーブルの存在を消し去りたい人...🗑 こんにちは！ LONZ（ロンズ）という会社をやっている、鈴木と申します。 普段はWEBやアプリのデザインや設計を。週末は極たまにお寺の住職をしてます。 そして生涯現役ピンピンコロリな人生を模索しています😌 さて、ここから本題です。 2020年リモートワークの波。 デスク環境改善の無限にループにはまる♻️2020年はほぼ自宅で仕事をしていた関係で、こんなループにはまってました...（こういう人
量子コンピューターの実用化には「量子ビットのエラーを訂正する仕組み」の開発が必要不可欠です。新たに、Google DeepMindとGoogle Quantum AIがエラー訂正AI「AlphaQubit」を発表しました。AlphaQubitはアルゴリズムを用いた既存の技術と比べて正確なエラー訂正が可能とされています。 Learning high-accuracy error decoding for quantum processors | Nature https://www.nature.com/articles/s41586-024-08148-8 AlphaQubit: Google’s research on quantum error correction https://blog.google/technology/google-deepmind/alphaqubit-qu
なぜあなたの深層学習システムは本番で期待した性能を出せないのか キーワード：ドメイン適応, 転移学習, out-of-distribution generalization, コンピュータビジョン, 機械学習 Summary：多くの機械学習システムは、学習データと運用時に使用するデータが同じ分布に従うことを前提としている。 しかし、実際のデータ分布は、トレーニング時とテスト時で異なることは往々にしてあり、そのような場合システムは開発時では見られなかった精度低下に悩まされることになる。 一つのデータセットから学習した知識を異なるドメインに属する別のデータセットに転移するために様々な手法が提案されているが、これらのドメイン間の「ギャップ」によっては、適切な generalization を実現することは困難である。 この記事では、ドメイン適応（DA）手法の概要と、その必要性、および DA のタ
はじめに背景僕は北米に住んで4年以上になる。そのうち、3年以上はソフトウェアエンジニアとして北米の現地企業で働いている。ただ、来た当初はスキル不足だったし、後半の2年は大不況でレイオフも経験した。周りでもレイオフの話をよく耳にするし、単純に仕事を見つけるのも時間がかかる。何が言いたいかというと、北米での仕事探しは本当に大変だ、ということだ。 そんな中で気づいたのは、就活に関する情報と対策が成功の鍵を握っているということだ。就活のスキルとソフトウェアエンジニアのスキルは全く別物である。正確に言えば、エンジニアとしてのスキルの上に、さらに別のスキルが要求される。だから、優秀なエンジニアであるだけでは仕事が見つかるとは限らない。逆にいえば、特定の技術スキルがそれほどなくても、技術者としての教養や基礎力を持ち、面接の準備と対策をしっかり行えば、チャンスを掴める確率は大幅に高まる、と感じた。 実際、
コミューン株式会社で機械学習エンジニアをしている深澤です。 この記事はCommuneアドベントカレンダー(シリーズ2)の 21 日目の記事です。 直前まで全く違う記事を書いていたのですが、ModernBERT というアツいモデルが発表されて話題になっており、Huggingface の公式からブログも出ているので、早速読んでみた感想をアドベントカレンダーの記事にすることにしました。感想だったり、付属事項を調べてみたので記事として昇華することを目指しています。 翻訳したもの、というよりは要点をかいつまんだものになっています。詳細は以下の記事を御覧ください。 記事 論文 コード ModernBERT のここがすごい Token length が 8192 に拡張(！？) もともとは 512 です。10倍以上になってる... GLUE スコアもかなり向上 それでいてbase (139M param
ライフMale person with strong arms in white shirt over green background. 黒坂岳央です。 頭脳労働をする現代人にとって、仕事や勉強の成功とは「情報力、知力」といったパラメータばかりを考えがちだ。確かにその要素は否定しない。 しかし、今年に入ってパーソナルトレーナーをつけ、本格的に筋トレやエアロバイク、トレッドミルを使って体力増強をするようになって気付いたことがある。それは「体力」はすべての土台であるということだ。 肝心の情報力や知力も、体力がなければ行動を起こすことにつながらない。とにかく体力が重要だ。 気持ちは体力と繋がっている 前向きに頑張る、リスクを取って挑戦する、という姿勢について「気合根性」と考える人や、「メンタルマネジメントが必要」と考える人は少なくない。だが、個人的には「まず体力」と考えている。なぜなら気力も体
「会社のソースコードをオープンにすると得をする」位置情報スタートアップが語るビジネスとOSSの交差点 2024年12月18日 株式会社Geolonia 代表取締役CEO 宮内隆行 大手重電メーカー系商社、スキューバダイビングのインストラクターを経てフリーランスのWebエンジニアとして起業。WordPressではVCCWのリード開発者で、日本人で唯一のWP-CLI、WP-APIチームメンバーとして10年以上活動。その後位置情報に興味を持ちGeoloniaを設立。書籍「WordPressプラグイン開発のバイブル」共著者。 ソースコードが公開されており誰でも利用可能な OSS は、その概念の誕生以来、ソフトウェアを軸としたビジネスのエコシステムで重要な役割を果たしています。その歴史の中で「OSS の持つ力をどう活用し、ビジネスと結びつけるか」「ビジネスの成果をどうやって OSS のコミュニティに
2. Transformer の構造と本研究のまとめ • Transformer は Layer Normalization (LN) の位置で2種に⼤別される 2 Post-LN Pre-LN Residual 後に Layer Norm 本研究の貢献 ・Post-LN と Pre-LN の性能差を実験的に⽰す ・多層 Post-LN の学習が難しい原因を⽰す ・⾼い性能を維持しつつ多層化する⼿法を提案 性能 多層化 Post-LN ○ × Pre-LN × ○ B2T（提案⼿法） ○ ○ × N × N Layer Norm Attention FFN Layer Norm Layer Norm Attention FFN Layer Norm Layer Norm Attention × N × N Attention Layer Norm Layer Norm FFN Layer
はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
