はてなブックマーク

[新サービス] 分析と人工知能（AI）をシンプルに統合化したデータレイクハウス、Amazon SageMaker Lakehouse が発表されたので実際に試してみました #AWSreInvent AWS事業本部コンサルティング部の石川です。re:Invent 2024のキーノートにて、分析と人工知能（AI）を簡素化する統合された、オープンで安全なデータレイクハウスである Amazon SageMaker Lakehouse を発表しました。本日は、Amazon SageMaker Lakehouseのご紹介とドメインやプロジェクトを作成してクエリを実行できるまでを実際に試してみました。 あくまでも今日時点の話ですが、従来のアナリティクス関連サービスは、Amazon SageMaker Unified Studio（プレビュー）という統合環境にまとめられ、Amazon SageMaker

今回は、Splunk Cloud に AWS の Amazon VPC Flow ログを送信してみます。 AWSのアーキテクチャはビルディングブロックと呼ばれ、様々なAWSサービスを組み合わせてシステムを構築できるようになっています。 ログの送信においてもインテグレーション方法は様々で、要件に合わせたサービスを組み合わせることができます。 VPC Flowログでは、ログの送信先を、Amazon S3、Amazon CloudWatch Logs、Amazon Data Firehoseの３つの中から選択することができます。詳細は下記のブログをご確認ください。 VPC Flowログはセキュリティを強化する上でも重要なログの一つとされていますが、何せログの量が多くコストもかさみがちです。 また、VPC Flowログはセキュリティグループに従い、VPC内のネットワーク通信が許可されたのか、拒否さ

はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用することができます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォー

こんにちは、@TakaakiKakei です。 2024年12月5日（米国太平洋標準時）から12日間に渡って開催される、12 Days of OpenAI。 今回は、以下のアップデートについてご紹介します。 ChatGPT Proプランの提供開始 新モデルo1、o1-proの提供開始 3行まとめ 月額200ドルのChatGPT Proプランが提供開始 新モデルo1-proがChatGPT Proで利用可能に 新モデルo1が既存プランで順次利用可能に ChatGPT Pro ChatGPT Proは、OpenAIの最高のモデルとツールにスケールアクセスを可能にする月額200ドルの新プランです。OpenAI o1のほか、o1-mini、GPT-4o、Advanced Voiceへの無制限アクセスが含まれます。また、より多くのコンピューティングリソースを使用してより深く考え、最も難しい問題に対し

マルチアカウント環境における全アカウント・全リージョンのSecurity Hubセキュリティ基準を一括集計して確認してみた はじめに マルチアカウント環境において、全アカウント・全リージョンのSecurity Hubセキュリティ基準の有効化状況を一括で集計し、確認する方法をご紹介します。 マルチアカウント環境では、アカウントごとに有効化するセキュリティ基準が異なる場合、各アカウントで意図したセキュリティ基準が正しく有効化されているかを確認したり、 Security Hubの中央設定を利用していない場合、全アカウントで特定のセキュリティ基準が有効化されているかを確認したいケースがあります。 このような場合、効率的に全アカウントのセキュリティ基準の有効化状況を確認するには、管理アカウントから一括で情報を収集し、集計する方法が有効です。本記事では、その具体的な手順を解説します。 実施手順の概要は

2024/11/27にTerraformのVersion 1.10がGAになりました！ 1.10より Ephemeral valuesという機能が利用可能になりました。この新機能の詳細を見ていきましょう。 概要 ざっくりとは、機密情報をTerraformで扱う際に利用する機能です。 例えばデータベースインスタンスをTerraformで管理しようとした場合、そのパスワード(=機密情報)の値は他のattributeと同様TerraformのStateファイルに保存されます。また terraform planコマンドに -out オプションをつけると生成されるplanファイルにも保存されます。 これらStateファイルやplanファイルが万が一外部に漏洩した場合、それはデータベースパスワードが漏洩したことになり、大きなセキュリティリスクです。 そのため従来はこのリスクの対策として、例えばリソース

[待望のアップデート]Amazon Connectのオペレーション時間のみで祝日判定が可能になりました！ はじめに AWSからの公式アップデートとしてはまだ発表されていませんが、Amazon Connectのオペレーション時間にオーバーライド設定が追加され、オペレーション時間のみで祝日判定が可能になりました。 従来、Amazon Connectでは日本の祝日や年末年始など、特定の日付のみを営業時間外に設定することができませんでした。 実現するには、以下の記事の通り、AWS Lambdaを利用し、Connectフローから呼び出すなどの追加開発が必要でした。 今回のアップデートにより、プログラム開発を行わず、オペレーション時間の設定だけで対応できるようになりました。 具体的には、特定の日を終日営業時間外にしたり、営業時間を短縮したり、イベントがある日は特別に営業時間を伸ばすなどが、オペレーショ

[新機能] メタデータを管理する最も簡単で最速な方法、Amazon S3 メタデータ (プレビュー) を試す！ #AWSreInvent AWS事業本部コンサルティング部の石川です。Amazon S3バケットのクエリ可能なオブジェクトメタデータ（プレビュー版）が発表されました。S3バケット内のオブジェクトメタデータを自動的に生成し、効率的にクエリできるようになります。 Amazon S3 メタデータとは Amazon S3は、数十億から数兆のオブジェクトを含む個別のバケットを作成できる大規模なストレージサービスです。この規模で特定の条件を満たすオブジェクトを見つけることが課題となっていました。 そこで、登場したのがAmazon S3 メタデータです。S3オブジェクトの追加や変更時に自動的にメタデータを生成し、Apache Icebergテーブルに保存します。Apache Icebergテー

はじめに マルチアカウント環境でAWS Security Hubに統合されたAmazon Inspectorの未改善の脆弱性検出結果を、週次でメール通知する方法をご紹介します。 Amazon Inspectorでは、脆弱性の検出結果が一度だけ作成されます。 そのため、検出結果の作成をトリガーにAmazon EventBridge経由で通知する一般的な方法では、一度しか通知されず、その後の通知が行われません。 この仕組みでは、重要な脆弱性を見逃してしまうリスクがあります。 そのため、定期的に未改善の検出結果を通知する仕組みを構築する方法をご紹介します。 本記事では、マルチアカウント環境でInspectorがSecurity Hubと統合された構成を想定しています。 Amazon EventBridge Schedulerを使用して週次でAWS Lambdaを起動し、LambdaがInspec

Google Cloud データエンジニアのはんざわです。 皆さん、SQL のリンターを使っていますか？ 過去のブログで SQL のリンターである sqlfluff を紹介しましたが、本ブログでは、sqlfluff よりも高速と噂される新しいツール「sqruff」を試してみたいと思います。 （余談ですが、この「sqruff」ってどう発音するんでしょうね、SQL + Ruff で「エスキューラフ」？それとも別の発音？） 検証環境 OS とバージョン macOS 13.5.2 パッケージ管理システム Homebrew 4.4.8 SQL の方言 BigQuery sqruff とは？ sqruff は、Rust で開発された SQL リンターおよびフォーマッターのオープンソースツールです。 似たようなツールとして sqlfluff がありますが、sqruff はその sqlfluff よりも高

お疲れさまです。とーちです。 AWS re:Invent 2024 もうすぐ始まりますね。 re:Invent前ということもあり大量のアップデートが発表されています。 今日はその中から、「AWS announces access to VPC resources over AWS PrivateLink」というアップデートを詳解します。 とりあえずまとめ AWS PrivateLink（以下PrivateLink）が進化し、NLBやGateway Load Balancerなしで、VPCリソースへの直接的なプライベートアクセスが可能に PrivateLink経由で通信させるには Resource configuration と Resource gateway が必要 何が変わったのか 従来のAWS PrivateLinkで、他VPCからEC2などのVPC内リソースにアクセスさせるためには

CICが個人の信用把握を容易にする目的でクレジットガイダンスの提供を開始しました。以前CICに照会した記事を参考に、照会情報にどの程度違いがあるのか試してみました。 2024年11月28日、CICはクレジット・ガイダンスの提供を開始しました。これはクレジットカード利用者の信用状態を数値化した指標で、200から800の範囲で示されます。 約4年前の2020年9月にCICの照会を試してDevIOに記事を書きました。今回は、当時の照会と比べてどの程度情報が追加されているのか確認してみました。 照会手順 今回はスマートフォンでインターネット開示を利用しました。2020年当時はPCから操作していましたが、スマートフォンからの申請では決済手段がカードまたはキャリア決済の2つから選択できるようになっています。なお、記事執筆時点では提供開始直後のため、電話回線が混み合っている状況です。 手続きの説明を一通

こんにちは。たかやまです。 Amazon CloudWatchが関連するテレメトリやリソースの関係を可視化することで、問題の根本原因をより迅速に特定し、運用効率を向上させることができるようになりました！ 三行まとめ CloudWatchで関連するテレメトリやリソースの関係を可視化できるようになった AWSマネジメントコンソールの「Operational troubleshooting」タブからも利用可能 ネイティブに対応していないテレメトリについてはカスタムテレメトリとして追加も可能 やってみた サンプルリソースとしてAuto ScalingするEC2インスタンスを作成します。 以下CDKサンプルコードです。 サンプルコード #!/usr/bin/env node import * as cdk from 'aws-cdk-lib'; import * as autoscaling fro

AWS事業本部コンサルティング部の石川です。新たなマイクロ環境サイズが追加された Amazon Managed Workflows for Apache Airflow（以降、Amazon MWAAと略す）が追加されたので環境構築してみました。 Amazon MWAAと マイクロ環境クラス「mw1.micro」の導入ユースケース マイクロ環境クラス「mw1.micro」の登場によって、ユースケースが広がります。 コスト効率の向上 小規模な本番ワークロードでも導入できる リソース最適化とコスト効率に柔軟に対応できる 開発用途に最適 開発環境やテスト環境として効率的に利用できる データ分離 異なるワークフロー要件毎にデータ分離を実現する 部門ごとの分離環境が提供できる mw1.microの主な特徴 mw1.microのスペックは以下のとおりです。 クラス/リソース スケジューラとワーカー vC

いわさです。 Step Functions を使っている全員がこれまで感じていたと思いますが、ステート間の値の引き渡し面倒でしたよね。頑張って出力に入れて...とか。 昨日、AWS Step Functions で変数が使えるようになったというアップデートがありました。 ステートマシンでは様々なタスクを組み合わせてワークフローを作成するのですが、前半のタスクの取得・処理結果を後半のタスクに引き渡したいことが必ず出てきます。 例えば以下のフローで Step1 の処理結果を Step5 で参照するためには、Step2、Step3、Step4 と引き継いでいく必要がありました。 画像引用元：https://docs.aws.amazon.com/step-functions/latest/dg/workflow-variables.html 今回のアップデートで変数がついに使えるようになり、例え

[アップデート] Amazon Cognito ユーザープールに機能プランの概念が導入され、料金計算方法が変わります いわさです。 今朝アナウンスされましたが Amazon Cognito ユーザープールに機能プランという概念が登場しました。 まず、Cognito ユーザープールの料金は月間のアクティブユーザー数（Monthly Active Users / MAU）によって算出されます。 これまではオプションの高度なセキュリティ機能などを有効化するかどうかで MAU ごとに追加コストが発生するような形でした。 今後はユーザープールごとに機能プラン、要は使える機能の異なる料金プランを選択する形になります。 先にまとめ Cognito ユーザープールに機能と料金の異なる３つのプラン Lite / Essentials / Plus という概念が追加された。 既存ユーザープールのプランは「Li

いわさです。 最近社内にて Visual Studio Code 上で Web アプリケーションや AWS インフラテンプレートを開発することがあります。 チーム開発に GitHub を使っているのですが、Issue や Pull Request の処理で IDE と GitHub (Web ブラウザ) を行ったり来たりするのが面倒だなと思い始めました。 何か良いものは無いだろうかとマーケットプレイスを探してみると GitHub Pull Requests という GitHub 公式の Visual Studio Code 拡張を見つけました。 本日時点のバージョンは 0.101 です。 マーケットプレイス上プレビュー表記はありませんでしたが、どこかで正式版 1.0 になるのかな。 こちらを試してみましたので紹介します。 前提として、私は GitHub をライトな使い方しかしていなくて、M

CloudFrontのアクセスログ機能が大幅にアップデートされ、CloudWatch Logs/Firehoseへの配信、S3出力時のパーティション指定やログ項目・フォーマットのカスタマイズが可能になりました。 2024年11月20日、Amazon CloudFront は、標準のアクセスログ機能がアップデート。 CloudWatch Logs と、Firehose へのログ配信と、 S3のログ出力もパーティション指定や、ログ項目、フォーマットのカスタマイズが可能になりました。 今回 新しい CloudFrontの標準アクセスログの S3出力設定と、機能変更、アップデート内容について、確認を試みる機会がありましたので、紹介させていただきます。 CloudFront設定画面 CloudFrontダッシュボードを利用しました Loggingタブ ディストリビューション設定画面に「Logging

Amazon Aurora Serverless v2が最小キャパシティ0に対応し、自動停止･再開が可能になりました Amazon Aurora Serverless v2 はAurora Capacity Unit(ACU)という単位でリソース管理され、0.5 ACU単位でワークロードに応じてスケールアップするサーバーレスデータベースです。従来は最小ACUが0.5でしたが、0キャパシティに対応したことにより、アクティビティのないインスタンスが自動的に停止・再開するようになりました。 例えば、本番･開発環境に同じAurora Serverless v2を導入しているケースにおいて、夜間や週末はアイドル状態を伴う開発環境の最小ACUを0にしておけば、利用がなくなるとインスタンスは自動停止し、コスト削減に繋がります。 対応DBエンジン 以下のAuroraエンジンに対応しています Postgre

困っていること Jumpアカウントやスイッチロール先アカウントでIPアドレス制限を設定する場合、通常はJumpアカウントのIAMユーザーまたはスイッチロール先のIAMロールにIP制限を適用します。 しかし、許可されているIPアドレスからアクセスキーを使用してAWS CLIでスイッチロールを実行した後、非許可IPアドレスに変更しても、JumpアカウントのIAMユーザーまたはスイッチロール先のIAMロールでの操作が引き続き可能となってしまいます。 # JumpアカウントのIAMユーザーのアクセスキーを利用して、AssumeRoleを実行 $ aws sts assume-role \ --role-arn arn:aws:iam::123456789012:role/test-user \ --role-session-name test-session $ export AWS_ACCESS

[アップデート]待望！管理アカウントでメンバーアカウントのルートユーザ操作禁止などが設定できるRoot access managementがリリースされました！ 待望！！管理アカウントでルートユーザの操作禁止やルートユーザだけが可能な操作が実行できるRoot access managementがリリースされました！ はじめに Control Tower/Organizations使用者にとって今年１番熱いアップデートが来ました！！Organizationsを使用している際に、管理アカウントから各メンバーアカウントのルートユーザを使用禁止や、ルートユーザ特有の操作の実行が可能になりました！ 具体的には管理アカウントから以下の操作が可能になります。 ルートユーザに対して以下を実施 認証情報、パスワード、署名証明書、MFA設定、セッション情報の削除 パスワードリセットの禁止 ルートユーザ特有の操