1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 下佐粉 昭 2017.10.18 【AWS Black Belt Online Seminar】 AWS Glue 2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 2 自己紹介 下佐粉 昭（しもさこ あきら） Twitter - @simosako 所属： アマゾン ウェブ サービス ジャパン 技術統括本部 エンタープライズソリューション部 ソリューションアーキテクト 好きなAWSサービス:Redshift, RDS, S3 人間が運用等から解放されて楽にな
Cloudera、AWS上でPaaS「Cloudera Altus」提供を発表。ビッグデータの分析基盤をサービスとして提供 先月4月28日にニューヨーク証券取引所に上場したばかりのClouderaは、クラウドサービス「Cloudera Altus」を発表しました。 これまで主要なHadoop/Sparkのディストリビューションベンダーとして知られてきた同社によるクラウドサービスの提供開始は、同社にとって新たなビジネス展開です。 Cloudera Altusは、下記のようにAWSのうえに構築されたSpark/MapReduce2/Hiveを提供するクラウドサービス、いわゆるPlatform as a Service（PaaS）の一種で、ビッグデータの分析など実行する基盤機能をサービスとして提供します。 ユーザーはクラスタの管理や運用の手間をかけることなく、そのうえで実行するアプリケーションの
［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco
［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift Spectrum」を発表しました。 Amazon S3にデータを保存したままデータウェアハウスで分析可能 Amazon.com CTOのWerner Vogels氏。 多くの顧客で、ペタバイトから多い場合にはエクサバイトクラスの生データがAmazon S3に保存されており、これをAmazon Redshiftへ取り込むのは時間やコストの制約で難しいと考えられていると。 そこで「Amazon Red
Deep Dive of Flink & Spark on Amazon EMR - February Online Tech Talks
Deep Dive of Flink & Spark on Amazon EMR - February Online Tech Talks Organizations are demanding increasingly faster tools to process and analyze data in real time. Apache Spark and Apache Flink have emerged as popular, open source frameworks to address these requirements. In this tech talk, we provide an overview of these technologies and the differences between them. We show how you can deploy
Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
Google Cloud Speech API (以下Speech API) を利用すると、人間が発声した音声をAPIを通してテキストに変換することができます。 Speech APIは日本語にも対応しているため、国内でも電話で話した内容を自動的にテキストに変換するといったようなことが出来るようになります。 ということで、Twilio, Zappa, Speech APIを組み合わせて、サーバレスに電話の内容を文章化する仕組みをつくってみました。 構成 以下が今回作成した仕組みの構成図になります。 Twilioを用いて電話から音声を録音する方法については、こちらの記事を参考にしてください。 上記の記事に加えて、Twilioから録音された音声ファイルのURLをSNSを通して別のLambda Functionに投げ、そこから音声ファイルの取得とSpeech APIへの問い合わせを行っています。最
We are doing the same. We started with Cognito but moved to Firebase because we were not satisfied with the way AWS Android SDK implements the authentication flow with Google and Facebook: the code is quite old, it makes use of deprecated methods and generally requires rewriting. On the other hand, Firebase authentication is obviously working seamlessly. When you don't use Cognito, you need to imp
Private content!This content has been marked as private by the uploader.
Lambda allows real-time event processing from various event sources like S3, DynamoDB streams, and Kinesis streams. Events can either be pushed to Lambda through asynchronous or synchronous invokes, or pulled from streams using Lambda's polling logic. Lambda processes streams efficiently by sub-batching records into invocations and processing shards concurrently with retries. Thomson Reuters used
Using spot instances for application servers
$ kube-aws node-pools init --node-pool-name $(nodepool_name) \ --availability-zone ${KUBE_AWS_AVAILABILITY_ZONE} \ --key-name ${KUBE_AWS_KEY_NAME} \ --kms-key-arn ${KUBE_AWS_KMS_KEY_ARN} $ $EDITOR node-pools/$(nodepool_name)/cluster.yaml $ kube-aws node-pools render stack --node-pool-name $(nodepool_name) $ kube-aws node-pools validate --node-pool-name $(nodepool_name) --s3-uri ${KUBE_AWS_S3_URI}
こんにちは、ソリューションアーキテクトの舟崎です。 2016/12/6(火)に開催しました AWS Black Belt Online Seminar「AWS上でのリアルタイムデータ分析入門」の資料を公開しました。 また、頂いたご質問の回答も併せてご覧ください。 Q1: Kinesis Analyticsを活かすユースケースは、どんなものでしょうか？ ユースケースは大きく「検出系」と「計算系」のものに分かれます。検出系では、セッション中にご紹介したアノーマリディテクション（連続したデータから通常とは異なるパターンを発見する）や前回のデータからの変化量が一定値を超えたものをフィルタリングして通知に連動する等のユースケースがあります。計算系では、連続したデータから特定のカラムの加重移動平均値を算出してトレンドを把握したり、単位時間当たりの集計値の推移をモニタリングシステムに連動する等のユースケ
11. 店舗発注業務の裏側 ローソン全業務で利⽤されるマスタデータを ⽇次バッチで最新化 1 最新化された全業務マスタデータの更新差分を 各店舗へファイル連携 店舗へ更新分データのファイル連携 2 本部センター ファイル 連携基盤 ストアコンピュータ データ反映 発注端末 商品を発注 しますね 更新データ 全業務マスタデータ ⽇次バッチ処理 最新化 1 2 3 4 全業務マスタデータの最新化処理 連携されたファイルデータを各店舗にある ストコン内のDBへ反映する。 3 最新化されたマスタデータをもとに発注業務を実施 発注時の商品データ参照4 更新分データのDB反映処理 12. 店舗発注業務の裏側 ローソン全業務で利⽤されるマスタデータを ⽇次バッチで最新化 1 最新化された全業務マスタデータの更新差分を 各店舗へファイル連携 店舗へ更新分データのファイル連携 2 本部センター ファイル 連
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入と その取り組みについて-
この記事は、Serverless Advent Calendar 2016の14日目の記事です。 qiita.com 昨日は工藤さん(level69)による、「Serverless Meetup Sapporoで話てきた」でした。 工藤さんは元々北海道出身という縁もあることから、先日のServerless Meetup Sapporoに自腹で遠征してくれました。本当にありがとうございます。 serverless.connpass.com 本題 さて、本題ですが、最近はApache (元IBM) Openwiskを筆頭に、IronFunctionsなど、OSSなFaaS実装が増えてきていますが、ふと「Lambdaはどうなってんだろーなー。あ、ていうかLambdaもPythonなら、スクリプト言語だからある程度まではソースコード読めるんでは？」と思い立ったので、じゃあやってみましょうという試み
Joining and Enriching Streaming Data on Amazon Kinesis | Amazon Web Services
AWS Big Data Blog Joining and Enriching Streaming Data on Amazon Kinesis Are you trying to move away from a batch-based ETL pipeline? You might do this, for example, to get real-time insights into your streaming data, such as clickstream, financial transactions, sensor data, customer interactions, and so on. If so, it’s possible that as soon as you get down to requirements, you realize your strea
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Release Notes
https://jp.techcrunch.com/2017/03/01/20170228amazon-aws-s3-outage-is-breaking-things-for-a-lot-of-websites-and-apps/
