Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
📖

データエンジニア道の俺のバイブル

2023/01/03に公開
1

先人の知恵に学ぶ

データエンジニア道で、本当に良かった!読み物を、不定期に追記していく。

  • A Beginner’s Guide to Data Engineering — Part I
    • データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。
  • Functional Data Engineering — a modern paradigm for batch data processing
    • 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。
  • Engineers Shouldn’t Write ETL: A Guide to Building a High Functioning Data Science Department
    • エンジニアはETLを書くなという強めのタイトルの記事ですが、読んで見ると世界の見え方が変わる。この記事に書いてある組織設計の話は、特におすすめ。
  • Star Schema: The Complete Reference
    • 実践的なデータウェアハウス向けのモデリングを学んだ本。文章は少し難しいけど、現状これ以上にまとまっている本は見つかっていない。
  • How to think about the ROI of data work
    • データの仕事のROIとは何か、私が担っているデータエンジニアはどういう仕事を期待されているのか、それ以外の様々な役割との関係性を、分かりやすくまとめてくれている。
  • Why You Should Consider Being a Data Engineer Instead of a Data Scientist.
    • データエンジニアという役割を意識し始めた頃、将来性どうなんだろう?とかを考えいた時に、勇気がもらえた記事。読み終わる頃には、「やることいくらでもあるな!」になった。
  • The Rise of the Data Engineer
    • データエンジニアの先人たちのストーリーを垣間見れる。私がデータエンジニアを始めるもっと前から、このレベルまでやってたのか・・・という衝撃とまだまだやれることがあるなと思わされる。
  • Disrupting Data Governance: A Call to Action
    • データガバナンスとは、データ資産を管理することだと思っていましたが、この本では、データがいかに利用されるかに焦点を当てたアプローチについて書かれています。言われてみれば当たり前だけど大事なことが、まとまっている素晴らしい本です。
  • Data Modeling with Snowflake: A practical guide to accelerating Snowflake development using universal data modeling techniques
    • モデリングに関する本は、現状だと少し古い情報だったりするため、現代の文脈に変換しながら読む必要がありますが、本書では現代の知識のまま、モデリングを深く学ぶことができるので、おすすめです。
  • The AI Hierarchy of Needs
    • 最初のデータ・サイエンティストを雇ったものの、あまり良い結果が得られなかった。そんな会社が何故失敗するかについて、構造的に解説してくれている記事です。まず、AIとかやる前に、無限にやることがあることに気付かされます。
  • The future of the data engineer — Part I
    • データエンジニアリングというキャリアが、今後どういう進化を遂げていくのか、未来予想図としてワクワクした内容です。読み終えると「一生やることあんなー」って呟きたくなるでしょう。
  • Data quality dimensions: Tackling data quality with intentionality
    • dbtによるデータ品質とは何か?について書かれた記事。品質ってワードを深掘りして、我々が求めている品質とは何か?を理解することができます。

Discussion

崎陽崎陽

わぁ!すごい。 これは、最近興味とエンジニアリングを得て、それを追求する計画を持っている人にとって、絶対に役に立つでしょう。 また、あなたが掲載したガイドの概要を簡単に説明しましたが、感動しています。