タグ

2021年7月12日のブックマーク (8件)

  • [レポート] dbtとAirflowとGreat Expectationsで堅牢なデータパイプラインを構築する #dbtcoalesce | DevelopersIO

    大阪オフィスの玉井です。 12月7日〜11日の間、Fishtown Analytics社がcoalesceというオンラインイベントを開催していました(SQLを触っている方はピンとくるイベント名ではないでしょうか)。 「Fishtown Analytics社って何やってる会社?」という感じですが、dbtというツールを開発しているベンダーです。dbtについては、下記をご覧ください。 今回は、その中からBuilding a robust data pipeline with dbt, Airflow, and Great Expectationsというセッションを受講したので、レポートを記します。 イベント概要 公式 Coalesce 2020 online - December 7-11, 2020 Building a robust data pipeline with dbt, Airfl

    [レポート] dbtとAirflowとGreat Expectationsで堅牢なデータパイプラインを構築する #dbtcoalesce | DevelopersIO
    clavier
    clavier 2021/07/12
  • load averageを見てシステムの負荷を確認する - Qiita

    load averageとは ロードアベレージはシステム全体の負荷状況を表す指標。 「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。 システムのスループットを上げたい場合はロードアベレージを下げることを目標にする。 詳細な説明 Linuxカーネルはプロセス1つごとにプロセスディスクリプタを持っていて、そのstateメンバにプロセスの状態を入れて管理している。 プロセスの状態は以下のように区別される。 TASK_RUNNING: 実行可能な状態。CPUが空いていれば実行できる。 TASK_UNINTERRUPTABLE: 割り込み不能な待ち状態。ディスクI/O待ちなど、短時間で復帰するもの。 TASK_INTERRUPTABLE: 割り込み可能な待ち状態。ユーザの入力待ちなど、復帰時間が予測できないもの。 TASK_STOPPED: 実行中断になった

    load averageを見てシステムの負荷を確認する - Qiita
    clavier
    clavier 2021/07/12
  • Amazon RDS移行のための 性能検証でわかった2つのこと

    MySQLユーザ会(MyNA会) 2021年07月 -下位レイヤ勉強会- での発表資料です。

    Amazon RDS移行のための 性能検証でわかった2つのこと
    clavier
    clavier 2021/07/12
  • プログラマが入門書の次に読めばよさげな書籍 - 覚書

    はじめに 記事は2010年10月に某所で書いた記事を2016/2/2に編集したものです。 プログラムの入門書を読んだ上でプログラムを書いた経験があるけれども、そこからステップアップするために何をしていいのかわからないという人向けのをいくつか紹介したいと思います。なるべく平易な文書で書いてあるものを選びました。ただし、筆者の趣味の問題で、Linux/UNIX関連のが多いです。 「これらを読むだけで凄腕エンジニアになれます」などという無責任なことは言わないですが、飛躍するための1ステップとしては十分役立つのではないかと思います。 珠玉のプログラミング コンピュータシステムを使って物事を解決しようとするとき、どんな状況でどのようなデータ構造、アルゴリズムを使うことによって、結果がどうなったかという面白いエッセイを掲載しています。データ構造やアルゴリズムを扱ったは数式がたくさん出てきて一目

    プログラマが入門書の次に読めばよさげな書籍 - 覚書
    clavier
    clavier 2021/07/12
  • ゲームエンジンはアートである - 8 年以上自作ゲームエンジンをメンテし続けている話|Hajime Hoshi

    自分は Ebiten という 2D ゲームエンジン (ゲームライブラリ) を趣味で開発しています。使用しているプログラミング言語は Go です。 2013 年 6 月に最初のコミットを行ったので、現在 8 周年の 9 年目です。 Ebiten は「くまのレストラン」などのモバイル及び Nintendo Switch 向けゲームで使われており、一定の実績があります。 ゲームエンジンの開発は一朝一夕では終わりません。UnityRPG ツクールといった既製品がある中、ゲームエンジンをわざわざ自作することは酔狂かもしれません。ではなぜそのようなことをしたのでしょうか。端的に言うと「ミニマムな API で実用的な 2D ゲームが作れるかどうか」ということを証明したかったのです。自分の美的感覚の追求です。この目的に気づいたのは割と最近のことです。やっていくうちに「自分がやりたかったのはこういうこ

    ゲームエンジンはアートである - 8 年以上自作ゲームエンジンをメンテし続けている話|Hajime Hoshi
    clavier
    clavier 2021/07/12
  • ヘタクソなコードを書いてもいい - 覚書

    プログラミング言語のお作法から外れたコードやメンテ性が悪いコードを書くのはダメとよくいわれます。わたしは学生の頃、そういう意見を過剰に気にしていました。コードを書くことそのものに慣れていないのに綺麗に書こうとして手が動かず、動かないがゆえにコーディングの練習が進まない、という悪循環になっていました。そうすると何もアウトプットしないまま知識だけが増えていって、自分がこれくらいできそうというイメージと実際のプログラミング能力とのギャップで苦しみました。 この意識が薄れたのは、あるときものすごく手が早い人のコードを偶然見たときでした。たしかにちゃんと動くものができているんですが、そのコードの中身は当時の私の基準からいって*1おぞましいほど汚いものでした。そこで「これはわたしが書けば100倍くらい綺麗なコードを書けるんでは…」と一瞬思ったんですが、その後すぐに「あ、自分は知識はあるけど練習してない

    ヘタクソなコードを書いてもいい - 覚書
    clavier
    clavier 2021/07/12
  • ライティング力が勝手に上達する「写経」

    文章が上手になる方法 「文章」や「記事」を書くことが苦手な方は是非参考にしてください。 「文章を書く」と聞いただけで諦めてしまう方が多いのも現実です。 そもそも「文章を書く」事が苦手な方の原因ははっきりしています。 はっきり言いますが、原因は「練習してない」からです。 「では、今までに文章を書く練習をどのくらいしましたか?」 ほとんどの方が「やっていない」と答えます。 書けないのではなく、やっていないだけです。 文章を上手になる方法は「書いた量=実力」と言うことです。 つまり、書けば書くほど上達します。 更に、ほとんどの人が「練習していない」のです。 今から始めても全く遅くはありません。 文章が溢れるトレーニング 「文章が上手くなりたい」 そんな方には「写経」をお勧めします。 「写経」とは「好きな文章そっくりそのまま書き写す」作業です。 句読点やスペースも全く同じように写してください。 手

    ライティング力が勝手に上達する「写経」
  • ニュース配信における�MLOps・分析基盤の事例紹介 / A Case Study of MLOps and Analysis infrastructure on News Delivery System

    ■イベント 
:【Sansan×Unipos×M3】事例から学ぶ!MLOps・データ分析基盤 最前線事例共有勉強会 https://m3-engineer.connpass.com/event/216065/ ■登壇概要 タイトル:ニュース配信における�MLOps・分析基盤の事例紹介 発表者…

    ニュース配信における�MLOps・分析基盤の事例紹介 / A Case Study of MLOps and Analysis infrastructure on News Delivery System