はてなブックマーク

リテールアプリ共創部@大阪の岩田です。 2024/12/11 に開催された AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」にて、「これでLambdaが不要に？！Step FunctionsのJSONata対応について」というタイトルで登壇しました。 内容的には以下アップデートの紹介になります。 自分の周りだと変数対応についての喜びの声は良く耳にするものの、JSONata対応についてはあまり認知されていないように感じていました。しかし、このJSONata対応は非常に魅力的なアップデートです。多くの人のJSONataの可能性について知ってもらいたいと思ってこのテーマを選定しました。 登壇資料 登壇資料はこちらです。 個人的なお気に入りはfunctionの代わりにλ記号を使う記法です。AWS Lambdaのユーザーからすると思わずニヤけてしまい

Amazon Connect アドベントカレンダー 2024、12日目の記事です！ クラスメソッドとギークフィードさん、クラウドビルダーズさん、ネットプロテクションズさん、AWS Japanさんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connectでの通話データをAmazon Bedrockで分析し、コールリーズン（問い合わせ理由）を自動でカテゴリ別に毎日分類・集計してCSV出力する仕組みを構築してみました。 Amazon Connect Contact Lensには、1回のお問い合わせごとに通話内容を文字起こしする機能があります。 その文字起こし内容と生成AIを組み合わせることで、通話内容がどのカテゴリーに該当するかを分析できます。 コールリーズンは、顧客が企業に連絡する目的や背景を把握するための重要な

はじめに AWS Step Functionsの変数を利用して、AWSサービスと連携してみました。 以前、AWS Step Functions において変数が利用可能になるアップデートがありました。 AWS Step Functions ステートマシンに渡した値を変数として利用し、ステートマシン内で処理を行ったり、AWSサービスへのリクエスト結果を変数として後続の処理に渡すことができます。 また、JSONPath形式だけでなくJSONataが利用できるようになりましたので、JSONataを利用して変数の記述方法を解説します。 ステートマシンで処理している内容は以下の通りです。参考にした元記事は以下になります。 EventBridgeからステートマシンに値を渡す コンタクトIDとConnectインスタンスIDが渡される Connect IDとConnectインスタンスIDをもとに、Conne

[レポート][DAT427-NEW] Amazon Aurora DSQL とそのアーキテクチャを詳しく見る #AWSreInvent 製造ビジネステクノロジー部の 田中孝明 です。 ２日目のキーノートで発表されてから話題の Amazon Aurora DSQL について、Deep Dive するセッションがあったのでレポートします。 概要 Amazon Aurora DSQL は、Amazon の数十年にわたるイノベーションと卓越した運用を利用した新しいサーバーレス分散 SQL データベースです。 AWS 副社長兼 Distinguished Engineer の Marc Brooker が、Aurora DSQL を新しいアプリケーションや最高レベルの復元力を必要とするアプリケーションにとって理想的な選択肢にする設計と主要な革新的テクノロジーについて詳しく解説します。 Aurora

[新サービス] 分析と人工知能（AI）をシンプルに統合化したデータレイクハウス、Amazon SageMaker Lakehouse が発表されたので実際に試してみました #AWSreInvent AWS事業本部コンサルティング部の石川です。re:Invent 2024のキーノートにて、分析と人工知能（AI）を簡素化する統合された、オープンで安全なデータレイクハウスである Amazon SageMaker Lakehouse を発表しました。本日は、Amazon SageMaker Lakehouseのご紹介とドメインやプロジェクトを作成してクエリを実行できるまでを実際に試してみました。 あくまでも今日時点の話ですが、従来のアナリティクス関連サービスは、Amazon SageMaker Unified Studio（プレビュー）という統合環境にまとめられ、Amazon SageMaker

今回は、Splunk Cloud に AWS の Amazon VPC Flow ログを送信してみます。 AWSのアーキテクチャはビルディングブロックと呼ばれ、様々なAWSサービスを組み合わせてシステムを構築できるようになっています。 ログの送信においてもインテグレーション方法は様々で、要件に合わせたサービスを組み合わせることができます。 VPC Flowログでは、ログの送信先を、Amazon S3、Amazon CloudWatch Logs、Amazon Data Firehoseの３つの中から選択することができます。詳細は下記のブログをご確認ください。 VPC Flowログはセキュリティを強化する上でも重要なログの一つとされていますが、何せログの量が多くコストもかさみがちです。 また、VPC Flowログはセキュリティグループに従い、VPC内のネットワーク通信が許可されたのか、拒否さ

はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1

こんにちは、@TakaakiKakei です。 2024年12月5日（米国太平洋標準時）から12日間に渡って開催される、12 Days of OpenAI。 今回は、以下のアップデートについてご紹介します。 ChatGPT Proプランの提供開始 新モデルo1、o1-proの提供開始 3行まとめ 月額200ドルのChatGPT Proプランが提供開始 新モデルo1-proがChatGPT Proで利用可能に 新モデルo1が既存プランで順次利用可能に ChatGPT Pro ChatGPT Proは、OpenAIの最高のモデルとツールにスケールアクセスを可能にする月額200ドルの新プランです。OpenAI o1のほか、o1-mini、GPT-4o、Advanced Voiceへの無制限アクセスが含まれます。また、より多くのコンピューティングリソースを使用してより深く考え、最も難しい問題に対し

マルチアカウント環境における全アカウント・全リージョンのSecurity Hubセキュリティ基準を一括集計して確認してみた はじめに マルチアカウント環境において、全アカウント・全リージョンのSecurity Hubセキュリティ基準の有効化状況を一括で集計し、確認する方法をご紹介します。 マルチアカウント環境では、アカウントごとに有効化するセキュリティ基準が異なる場合、各アカウントで意図したセキュリティ基準が正しく有効化されているかを確認したり、 Security Hubの中央設定を利用していない場合、全アカウントで特定のセキュリティ基準が有効化されているかを確認したいケースがあります。 このような場合、効率的に全アカウントのセキュリティ基準の有効化状況を確認するには、管理アカウントから一括で情報を収集し、集計する方法が有効です。本記事では、その具体的な手順を解説します。 実施手順の概要は

2024/11/27にTerraformのVersion 1.10がGAになりました！ 1.10より Ephemeral valuesという機能が利用可能になりました。この新機能の詳細を見ていきましょう。 概要 ざっくりとは、機密情報をTerraformで扱う際に利用する機能です。 例えばデータベースインスタンスをTerraformで管理しようとした場合、そのパスワード(=機密情報)の値は他のattributeと同様TerraformのStateファイルに保存されます。また terraform planコマンドに -out オプションをつけると生成されるplanファイルにも保存されます。 これらStateファイルやplanファイルが万が一外部に漏洩した場合、それはデータベースパスワードが漏洩したことになり、大きなセキュリティリスクです。 そのため従来はこのリスクの対策として、例えばリソース

[新サービス] Aurora が真にサーバーレスでマルチリージョンに対応！リージョンを超えて強い一貫性を持つ Amazon Aurora DSQL が発表されました！ re:Invent 2024 のキーノートでマルチリージョンで Active/Active な RDBMS である Aurora DSQL が発表されました。現在プレビュー中。 ウィスキー、シガー、パイプをこよなく愛する大栗です。 AWS re:Invent 2024 の Keynote をラスベガス現地で見ています。先ほど Amazon Aurora のリージョン間の整合性を担保しつつ書き込みができる Amazon Aurora DSQL が発表されたのでレポートします。 Amazon Aurora DSQL Aurora DSQL は事実上無制限のスケールするサーバーレスな分散 SQL データベースです。3個の AZ に

[新機能] メタデータを管理する最も簡単で最速な方法、Amazon S3 メタデータ (プレビュー) を試す！ #AWSreInvent AWS事業本部コンサルティング部の石川です。Amazon S3バケットのクエリ可能なオブジェクトメタデータ（プレビュー版）が発表されました。S3バケット内のオブジェクトメタデータを自動的に生成し、効率的にクエリできるようになります。 Amazon S3 メタデータとは Amazon S3は、数十億から数兆のオブジェクトを含む個別のバケットを作成できる大規模なストレージサービスです。この規模で特定の条件を満たすオブジェクトを見つけることが課題となっていました。 そこで、登場したのがAmazon S3 メタデータです。S3オブジェクトの追加や変更時に自動的にメタデータを生成し、Apache Icebergテーブルに保存します。Apache Icebergテー

はじめに マルチアカウント環境でAWS Security Hubに統合されたAmazon Inspectorの未改善の脆弱性検出結果を、週次でメール通知する方法をご紹介します。 Amazon Inspectorでは、脆弱性の検出結果が一度だけ作成されます。 そのため、検出結果の作成をトリガーにAmazon EventBridge経由で通知する一般的な方法では、一度しか通知されず、その後の通知が行われません。 この仕組みでは、重要な脆弱性を見逃してしまうリスクがあります。 そのため、定期的に未改善の検出結果を通知する仕組みを構築する方法をご紹介します。 本記事では、マルチアカウント環境でInspectorがSecurity Hubと統合された構成を想定しています。 Amazon EventBridge Schedulerを使用して週次でAWS Lambdaを起動し、LambdaがInspec

Google Cloud データエンジニアのはんざわです。 皆さん、SQL のリンターを使っていますか？ 過去のブログで SQL のリンターである sqlfluff を紹介しましたが、本ブログでは、sqlfluff よりも高速と噂される新しいツール「sqruff」を試してみたいと思います。 （余談ですが、この「sqruff」ってどう発音するんでしょうね、SQL + Ruff で「エスキューラフ」？それとも別の発音？） 検証環境 OS とバージョン macOS 13.5.2 パッケージ管理システム Homebrew 4.4.8 SQL の方言 BigQuery sqruff とは？ sqruff は、Rust で開発された SQL リンターおよびフォーマッターのオープンソースツールです。 似たようなツールとして sqlfluff がありますが、sqruff はその sqlfluff よりも高

お疲れさまです。とーちです。 AWS re:Invent 2024 もうすぐ始まりますね。 re:Invent前ということもあり大量のアップデートが発表されています。 今日はその中から、「AWS announces access to VPC resources over AWS PrivateLink」というアップデートを詳解します。 とりあえずまとめ AWS PrivateLink（以下PrivateLink）が進化し、NLBやGateway Load Balancerなしで、VPCリソースへの直接的なプライベートアクセスが可能に PrivateLink経由で通信させるには Resource configuration と Resource gateway が必要 何が変わったのか 従来のAWS PrivateLinkで、他VPCからEC2などのVPC内リソースにアクセスさせるためには

東京、大阪リージョンで Aurora Serverless v2 (Aurora Standard) が 25%オフになりました (2024年11月) 2024年11月、東京・大阪リージョンのAurora Serverless v2のAurora Standard料金が25%値下となる価格改定がありました。

CICが個人の信用把握を容易にする目的でクレジットガイダンスの提供を開始しました。以前CICに照会した記事を参考に、照会情報にどの程度違いがあるのか試してみました。 2024年11月28日、CICはクレジット・ガイダンスの提供を開始しました。これはクレジットカード利用者の信用状態を数値化した指標で、200から800の範囲で示されます。 約4年前の2020年9月にCICの照会を試してDevIOに記事を書きました。今回は、当時の照会と比べてどの程度情報が追加されているのか確認してみました。 照会手順 今回はスマートフォンでインターネット開示を利用しました。2020年当時はPCから操作していましたが、スマートフォンからの申請では決済手段がカードまたはキャリア決済の2つから選択できるようになっています。なお、記事執筆時点では提供開始直後のため、電話回線が混み合っている状況です。 手続きの説明を一通

こんにちは。たかやまです。 Amazon CloudWatchが関連するテレメトリやリソースの関係を可視化することで、問題の根本原因をより迅速に特定し、運用効率を向上させることができるようになりました！ 三行まとめ CloudWatchで関連するテレメトリやリソースの関係を可視化できるようになった AWSマネジメントコンソールの「Operational troubleshooting」タブからも利用可能 ネイティブに対応していないテレメトリについてはカスタムテレメトリとして追加も可能 やってみた サンプルリソースとしてAuto ScalingするEC2インスタンスを作成します。 以下CDKサンプルコードです。 サンプルコード #!/usr/bin/env node import * as cdk from 'aws-cdk-lib'; import * as autoscaling fro

AWS事業本部コンサルティング部の石川です。新たなマイクロ環境サイズが追加された Amazon Managed Workflows for Apache Airflow（以降、Amazon MWAAと略す）が追加されたので環境構築してみました。 Amazon MWAAと マイクロ環境クラス「mw1.micro」の導入ユースケース マイクロ環境クラス「mw1.micro」の登場によって、ユースケースが広がります。 コスト効率の向上 小規模な本番ワークロードでも導入できる リソース最適化とコスト効率に柔軟に対応できる 開発用途に最適 開発環境やテスト環境として効率的に利用できる データ分離 異なるワークフロー要件毎にデータ分離を実現する 部門ごとの分離環境が提供できる mw1.microの主な特徴 mw1.microのスペックは以下のとおりです。 クラス/リソース スケジューラとワーカー vC

[アップデート] Amazon Cognito ユーザープールに機能プランの概念が導入され、料金計算方法が変わります いわさです。 今朝アナウンスされましたが Amazon Cognito ユーザープールに機能プランという概念が登場しました。 まず、Cognito ユーザープールの料金は月間のアクティブユーザー数（Monthly Active Users / MAU）によって算出されます。 これまではオプションの高度なセキュリティ機能などを有効化するかどうかで MAU ごとに追加コストが発生するような形でした。 今後はユーザープールごとに機能プラン、要は使える機能の異なる料金プランを選択する形になります。 先にまとめ Cognito ユーザープールに機能と料金の異なる３つのプラン Lite / Essentials / Plus という概念が追加された。 既存ユーザープールのプランは「Li

いわさです。 最近社内にて Visual Studio Code 上で Web アプリケーションや AWS インフラテンプレートを開発することがあります。 チーム開発に GitHub を使っているのですが、Issue や Pull Request の処理で IDE と GitHub (Web ブラウザ) を行ったり来たりするのが面倒だなと思い始めました。 何か良いものは無いだろうかとマーケットプレイスを探してみると GitHub Pull Requests という GitHub 公式の Visual Studio Code 拡張を見つけました。 本日時点のバージョンは 0.101 です。 マーケットプレイス上プレビュー表記はありませんでしたが、どこかで正式版 1.0 になるのかな。 こちらを試してみましたので紹介します。 前提として、私は GitHub をライトな使い方しかしていなくて、M