技術部の染矢です。 最近は社内のデータ基盤「Bigfoot」の信頼性向上や機能開発をおこなっています。 Bigfootは、Google CloudのBigQueryとCloud Composerで主に構築された社内システムです。 この記事では、Cloud Composer環境におけるデータパイプラインの信頼性を向上させた事例を紹介します。 前半では、Cloud Composer環境において信頼性を低下させる原因であったソフトウェアのバグに気付くまでの調査過程を説明します。Cloud Composer環境で調査可能なメトリクスやログ、そして具体的なコマンドを紹介しながら説明していきます。 後半では、そのバグに関連する修正のためにOSSにコントリビュートしようとしたら、さらにバグを作ってしまった失敗談を綴ります。OSSのコードリーディングをしながら、そのバグの原因であったPythonのshal
米国立標準技術研究所（NIST）は2024年12月4日（現地時間）、情報セキュリティ測定に関する包括的なガイド「Measurement Guide for Information Security（情報セキュリティ測定ガイド）」の最終版となる特別刊行物（SP）を公開した。 SP 800-55v1およびSP 800-55v2と名付けられたこれらのガイドは組織が実施する情報セキュリティ施策の成果を評価し、データに基づく意思決定を支援することを目的としている。 情報セキュリティ施策の評価および優先順位付けのガイドラインをNISTが公開 SP 800-55v1では情報セキュリティ対策の選定や優先順位付けに向けた柔軟なアプローチを提示している。定量的および定性的な評価を基にした対策選定を支援し、データ分析手法や影響と可能性のモデリングについての基本的なガイダンスが提供されている。 対策の開発やテスト
雑にまとめるので何かあったら直接言ってほしい。⇒ @konifar チームで仕事をしていると、なんかあんまり意味のないことで議論している事態に陥ることがある。こういうのは議論の中心にいるとわかりにくいが、少し引いて眺めてみると「それそんなに重要なんだっけ？俺たちはこんなに時間使って何を決めようとしてるんだっけ？」という状態になってることも多い。 例えばAとBどっちがいいですかね？という意見の時、正直どちらでもいいと皆が思ってるのにAとBのそれぞれのいいところや懸念点なんかを皆で話しこんでしまっているみたいな。こういう時に難しいのは、単に「それどっちでもよくないですか？」みたいな言い方をすると場が凍って空気が悪くなるという点である。もちろんそういう本質的なことを言ってくれる人はありがたい存在なんだけど、言うタイミングが少し遅くなると「俺たちはなぜこんな無駄な時間を…」みたいな感じになることが
翻訳を担当した書籍『ソフトウェアアーキテクトのための意思決定術 リーダーシップ／技術／プロダクトマネジメントの活用』（インプレス）が明日2024年12月11日に発売となります。 本書は、2023年12月に出版されたSrinath Perera 著『Software Architecture and Decision-Making: Leveraging Leadership, Technology, and Product Management to Build Great Products』（Addison-Wesley Professional）の全訳となります。 ソフトウェアアーキテクトのための意思決定術 リーダーシップ／技術／プロダクトマネジメントの活用 作者:Srinath PereraインプレスAmazon 著者は、Apacheのオープンソース開発者として20年以上のキャリアを
TOPICS 発行年月日 2025年01月 PRINT LENGTH 468 ISBN 978-4-8144-0101-7 原書 Building Multi-Tenant SaaS Architectures FORMAT Print PDF SaaS（Software as a Service）とは、ソフトウェアをクラウド環境などでホストし、ユーザーにサービスとして提供する形態のビジネスモデルです。マルチテナントとは、複数のユーザーが同一のリソースを共有するモデルや、それらを統一された体験を通じて管理する仕組みを指します。セキュリティや可用性、運用面などで独自の考慮事項が必要となりますが、インフラストラクチャコストの削減や運用効率の向上が見込めるため、近年その採用件数は右肩上がりに増加しています。本書は、エンジニア向けの本格的なSaaS解説本として、マルチテナントSaaSの概念、実践的
この記事はenechain Advent Calendar 2024の10日目の記事です。 はじめに enechain データサイエンスデスク エンジニアの藤村です。 我々データサイエンスデスクは、電力や燃料に関するデータ分析や予測モデルの構築などの他に、enechainの様々なビジネスをサポートする社内向けツールの開発・運用も行っています。機械学習や数理最適化を活用したアプローチを中心に、最近ではLLMの活用にも取り組んでいます。 本稿では、この取り組みでStreamlitアプリケーションをGKEでホストするに至った経緯や、その運用について紹介します。 なぜ Streamlit なのか 社内の業務を支援するツールを構築する際、常に課題となるのが「人間の判断をどのように介在させるか」という点です。ドメインやアルゴリズムの性質上、自動化が難しい部分も多く、人間の判断を介在させる必要のある場面
何かを調査している時など、人に聞いた方が早いかもしれないことはよくある。"かもしれない" というのがポイントで、もう少し自分で調べた方がいいかもという気持ちもちょっとあって判断がむずかしい。 経験上そういう時は聞いてしまったほうがよくて、聞くフレーズの引き出しを増やしておくと聞きやすくなる。自分が聞く時にチャットでも口頭でもよく使っているフレーズを雑にまとめてみる。 質問です！もしすぐわかったら教えてください いったん雑に聞いてしまうんですが もしもっと詳しい人や適切な人がいたら教えてください 何かこれを読むべしみたいな資料をもらえるだけでも助かります 以前に対応していたようなのでちょっと聞きたいんですが 頓珍漢な質問だったらすみません！ もしテキストだと説明しづらかったら、シュッとhaddleやzoomで話させてください 30分だけ時間もらって相談させてもらっててもいいですか。もしOKな
2024-06-24 / scala 何で Scala 3 をそんなに推すのかと聞かれることがあるので、リスト形式で書き出してみた。順は特に無し。これは僕が Scala 3 をどう書いているかとか、将来どう書きたいのかみたいな個人的な好みに基づいているので、それは注意してほしい。 1. enum (と GADT) Scala 3 で enum が追加され、これは case class のアップグレード版だと考えることができる。ボーナスとして、これは GADT も扱うことができる。 case に関する備考: 一旦 Scala 2 に戻るが、case class の case がどこから来たのか考察した人はいるのだろうか? 一つの説としては、case は C 言語とか Java の switch 文の流れをくんでいて、既に予約語なのでそれを使ったと考えることもできる。 もう1つの由来として僕が
みんなが行動を変えることが、私たちのより良い未来のためになると知っていても、ついついこれまでと同じ方を選んでしまった…という場面、皆さんにもあるのではないでしょうか。「行動を変える」のは、とても難しいこと。誰かの行動を変えるのはなおさらです。省エネルギー（省エネ）の取り組みも、そうした“行動の変化（行動変容）”が大きな焦点となる分野です。より多くの人に、省エネ性能にすぐれた製品の方を選ぶ“行動変容”を起こしてもらうためには、どんな方法が効果的なのでしょうか。今回は、家庭での省エネ促進のためにおこなわれているさまざまな施策と、行動科学・行動経済学分野で注目の「ナッジ手法」を使った最新の実験についてご紹介しましょう。 家庭での省エネは家電製品の買い替えがカギ 家庭においてエネルギーが使われている量、つまりエネルギー消費量は、第一次オイルショックがあった1973年度から2017年度までに約2倍に
はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 今年の6月に Iceberg Table が Snowflake の機能として GA したのは記憶に新しいかと思います。 自分もこの時から Iceberg に興味を持ちブログを書いたりしました。 そんな中、ちょうど良いタイミングで Apache Iceberg: The Definitive Guide が2024年5月に出版されており、 SnowVillage の有志の方たちと輪読会という形で読み進めておりました。11月末に無事に全体を読み終えましたので、今回は各章について簡単に紹介していきたいと思います。 Part1: Fundamentals of Apache Iceberg Part1 は Apache Iceberg の基礎、ということで、 Iceberg が生まれてきた歴史や、そのアーキテクチャや仕組み、カタ
組織で仕事をするなら自身の専門領域や役割を越境していくスタンスでいた方がいい。 役割をきっちり隙間なく分けることはむずかしいし、できたとしても状況の変化によってすぐに隙間ができてしまう。ボールが落ちないようにするには、お互いのカバー範囲を少しずつはみ出しておくしかない。個々人にとってもメリットは大きい。できることが増えやりとりの負荷も下がり、自分の仕事もしやすくなってくる。 LayerX社の「ボールを拾う人が偉い」や、リクルートの「染みだす」といった言葉は、"越境" を奨励するということだと理解している。 自分の隣の領域にも興味をもって関わっていくだけではあるのだけれど少しだけ注意点もあると思っていて、雑にまとめておきたい。 1. 体験して観察する 一見「もっとこうしたらいいのに」と思うことがあっても、いきなり否定して変えようとしないこと 越境先へのリスペクトを持って、いったん郷に従ってみ
この記事では、Amazon Aurora DSQLの特徴、主要コンポーネント、互換性について翻訳してみました。 特に互換性の サポートしていないPostgreSQL機能 は目を通しておいた方が良いと思います。 ※ 英語得意じゃないので、AIに頼っている部分があるのでご了承ください。 Aurora DSQL について出典: https://docs.aws.amazon.com/aurora-dsql/latest/userguide/what-is-aurora-dsql.html 特徴Amazon Aurora DSQLは、無制限のスケーラビリティ、高可用性、インフラ管理不要のサーバーレス分散型SQLデータベース アクティブ-アクティブの高可用性を提供し、単一リージョンで99.99%、マルチリージョンで99.999%の可用性を実現 ワークロードのニーズに応じて自動的にインフラを管理しスケ
New Amazon S3 Tables: Storage optimized for analytics workloads | Amazon Web Services
AWS News Blog New Amazon S3 Tables: Storage optimized for analytics workloads Amazon S3 Tables give you storage that is optimized for tabular data such as daily purchase transactions, streaming sensor data, and ad impressions in Apache Iceberg format, for easy queries using popular query engines like Amazon Athena, Amazon EMR, and Apache Spark. When compared to self-managed table storage, you can
この話の重要なポイントは、 会社全体の機械をフルパワーで製造したほうがp2の製造能力は下がり、リードタイムも悪化してしまう ということである。そして、 フルパワーで製造してしまうほうが余計な在庫を持ってしまい、在庫コストも発生する ということである。したがって、ボトルネックを最初に特定し、そこから逆算ですべてを考えろ。というのが、制約理論の本懐である。 非ボトルネックの非経済性 ここには、もう1つの学びがある。 ボトルネックの処理能力を超えて、非ボトルネックを働かせるな。休ませろ。 ということである。 p2の製造ラインのみを取り出して考える。この時、Aを20個/時のフルパワーで製造する。しかし、Cが5個/時でしか製造できないため、Aは15個/時で在庫を作り続け、在庫の管理コストが発生し、非経済的になる。 また、フルパワーで製造した場合の、Dにかかわる部分だけを取り出してみる。Dは、B2から
この記事は、Finatextグループ Advent Calendar 2024の3日目の記事です。 はじめに ナウキャストでデータエンジニア/データプラットフォームエンジニアとして働いている@mt_musyuです。ナウキャスト社内のデータ基盤の構築や運用を行い、また社内の知見を生かしてクライアント企業様のデータ基盤の構築や運用の支援を行っています。 近年、データ利活用の推進や生成AIの利用が進む中で、データ基盤の重要性が増しています。単にデータ基盤を構築するだけでなく、増え続けるデータやユーザーを考慮した運用も求められています。そのため、データ基盤の構築や運用を効率化するために、IaC（Infrastructure as Code）の導入が重要であると考えています。もちろん、通常のシステム開発においてもIaCは重要ですが、データ基盤においては特にその重要性が際立っていると考えています。そう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
