Aboutこの記事は、「Data Mesh」について書かれたものです。参考文献に記載された内容をベースとして、個人的な感想や意見を加えたものです。 事例ではありません。 TL;DRData Mesh はデータ基盤の新しいアーキテクチャ原則であり、現在主流である中央集中型のデータ基盤と、そこから起こる問題への解決策です。Data Mesh はマイクロサービスと DDD から着想を得ており、データの生成・管理・提供を中央ではなくドメインごとに管理します。管理が分散することでスケーラビリティ・自律性を確保しつつ、統一的なガバナンスを保持できるアイデアです。主な想定読者Data Mesh が気になる方データ基盤を開発・保守するデータエンジニアデータマネジメントをより洗練させたいと感じている方Data Mesh の登場した背景 (WHY)詳細に入る前に、Data Mesh が前提に置く現代のデータ基
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
【参加記録】データとML周辺エンジニアリングを考える会 #2 【参加記録】データとML周辺エンジニアリングを考える会 #2 簡単に 各発表 GCPでStreamなデータパイプライン運用しはじめた リアルタイムデータ処理基盤の構築 Google Cloud ML Engineに浸かってみる PoC案件が多すぎてつらいので、パイプラインを使い回すツールを入れた。 Cloud Composer & Cloud Dataflow によるバッチETLの再構築 DigdagでETL処理をする Comet.mlでAutoMLライブラリ開発 データ活用の際にハマってしまったログ・データスキーマ設計 まとめ 簡単に データとML周辺エンジニアリングを考える会 #2に参加してきたので簡単なまとめと若干のコメント 実サービスでのログ管理、どうやってDWHにデータ突っ込んでるのか、という話題が中心でした 普段は機
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
