This blip is not on the current edition of the Radar. If it was on one of the last few editions, it is likely that it is still relevant. If the blip is older, it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the Radar. Understand more
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
S3 から最新のファイルを 1 つだけ取ってくるのに苦労したので、備忘録代わりにブログに書いておきます。 Auto Scaling する時に CloudInit で S3 からリリース用のバイナリファイルを取ってきたいのですが、ファイル名に頼らずファイルの更新日で取得したかったのです。 AWS CLI の --query オプションの sort_by 関数を使えばできるかなと思いましたが、うまくいかなくて jq コマンドを使いました。 $ aws s3api list-objects \ --bucket ${bucket_name} \ --prefix path/to/release | \ jq -r '.Contents | sort_by(.LastModified) | reverse | .[0] | .Key' LastModified のキーでソートして、降順に並べ替えて
I'm starting a bash script which will take a path in S3 (as specified to the ls command) and dump the contents of all of the file objects to stdout. Essentially I'd like to replicate cat /path/to/files/* except for S3, e.g. s3cat '/bucket/path/to/files/*'. My first inclination looking at the options is to use the cp command to a temporary file and then cat that. Has anyone tried this or similar or
帰省していた妻と子供を迎えに羽田空港まで行ったのに、下の子がまったく嬉しそうじゃなくてガッカリな中村です、こんにちは。 今日は、S3にMavenインハウスリポジトリを構築して、3つのビルドツール（Maven/Gradle/sbt）から扱うための設定を紹介します。 S3にリポジトリ構築するに至った背景 まず、実際の設定内容を紹介する前に、なぜS3上にリポジトリ構築しようとしたのかと、そのメリットを簡単に説明します。 MavenもしくはJavaベースの言語を利用していた場合、インハウスリポジトリを構築すると色々便利だということは、WEB+DB PRESS Vol.39の記事中でも紹介しています。私達も、今までは社内サーバ上にMavenリポジトリを構築していましたのですが、社内サーバのメンテナンスコストも馬鹿にならなくなり、もっとメンテナンスコストを減らせるものに移行しようと決断しました。 メン
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日、VPCのプライベートサブネットからS3へアクセスできるアップデートがありましたのでご紹介します。 どういう仕組み？ プライベートサブネットからアクセスするために、VPC内に特別なエンドポイントを作成します。ルートテーブルでS3へアクセスするIPアドレスをVPCエンドポイントへ向けるようにしてアクセスを可能とさせます。 設定 Management ConsoleのVPCダッシュボードに、以下のように「エンドポイント」という項目が増えています。 ではエンドポイントの作成を行います。 VPC：エンドポイントを作成するVPCを選択します。 サービス：現状ではS3（com.amazonaws.ap-northeast-1.s3）固定になっています。 ポリシー：今回は「フルアクセス」を選択します。ポリシー作成ツールを使用してVPC Endpo
AmazonS3 - Hadoop Wiki
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
SparkでS3上のデータを使用する
http://spark.incubator.apache.org/docs/latest/ec2-scripts.html SparkではローカルファイルやHDFS上のファイル以外に、S3上のファイルもデータとして使用することができます。 読み込む際に、SparkContextにAWSのACCESS_KEYとSECRET_KEYを認識させる必要がありますが、ネット上では色々情報が錯綜していてちょっと良くわかりませんでした。 （Hadoopクラスタのcore-site.xmlに書くとか、S3のURLに含ませるとか） 0.8.1のSparkContext.scala(core/src/main/scala/org/apache/spark/SparkContext.scala)のソースを見てみたら、以下のようになっていました。 /** A default Hadoop Configurati
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
記事投稿者：山下 晴規 記事公開日：2013/10/08 最終更新日： （この記事は約1年以上経過しています。） EC2 ではないCentOS 6 上のファイルを 、インターネットストレージ AWS S3 にバックアップしてみました。 S3 にバックアップする際には、s3cmd が利用できます。AWS の環境外であるサーバのデータを、可用性が高くて容量単価が低いインターネットストレージにバックアップできるので、便利に利用できるケースも多いと思います。 s3cmd のインストールとセットアップ、利用方法について記載しています。 インストール s3 tools からファイルをダウンロードし、インストールします。 # wget http://sourceforge.net/projects/s3tools/files/s3cmd/1.5.0-alpha1/s3cmd-1.5.0-alpha1.t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
