久しぶりのブログになりました。齋藤です。 今日はS3に関するブログです。 はじめに 今回はS3をホストしているファイルに対してアクセス出来る人を制限したい、という話です。 今回は以下の内容で説明していきます。 S3バケットを作る S3に対して VPC エンドポイントを作成する S3バケットにバケットポリシーを設定して、VPC内のみからのアクセスに制限する EC2を起動して nginx を起動させる。 EC2のセキュリティグループを設定する nginxでbasic認証を設定する 今回はVPCはデフォルトのVPCを使いました。 必要に応じて、VPCのセットアップを行ってください。 S3バケットを作る とりあえずデフォルトで作りましょう。今回はマネージメントコンソールから作りました。 バケットの作成をやっていきます。 以下のように適切なバケット名をつけて作成します。（適切な設定をしてダイアログを
Amazon S3 path-style 廃止予定 – それから先の話 – | Amazon Web Services
Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
【速報】全てのS3ユーザ必見！S3の性能が大幅パワーアップ！面倒なアレが不要に！ | DevelopersIO
AWS Summit 2018 New Yorkのキーノートセッションで発表された、S3の性能アップとはどのようなものなのか？ そして不要になった面倒なアレとは？ 皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
Middleman + S3 + Fastly で作るブログ付きスタティックサイトのススメ
どうもこんにちは、僕です。働クリッカーが大盛況につき、 zeny.io へのアクセスが急増しまして、気がついたら AWS から出てきた Data Transfer の今月の請求額がちょっとヤバそうな感じになっていました。バズるの怖いっすね。 それでも Internal Server Error など出さず、粛々と(トロくても)動き続けていたのは、種も仕掛けもなく、純粋に S3 の上に HTML を配置しただけの簡単設計だったのがよかったのですが、さすがに .zip とか .app とか配布するとなると、転送量もばかにならないし、なにより遅い。 ということで、 Fastly を導入してもうちょい早くしたよ☆というのが今日のお題です。やったね！ Middleman は静的サイトのジェネレータです。普通に HTML を書くのはだるいけど、Rails とか Sinatra とか引っ張りだすほどじゃ
Við bjóðum alla velkomna til okkar í verslun Stout sem er staðsett á efri hæð í Holtagörðum. Ef það vakna spurningar þá er símanúmerið okkar 581-1552 🎄 Opnunartími 🎄 27. des. Föstudagur 11-18 28. des. Laugardagur 11-16 29. des. Sunnudagur Lokað 30 des. Mánudagur 11-18 31. des. Gamlársdagur 11-14 1. jan. Nýársdagur Lokað
公式ドキュメントでは gm でサムネイルを作っているが node-imagemagick が入っているのでそのまま貼れば一応動く。 node-imagemagick はメンテされてないので gm を使ったほうがいいとは思う。 元画像用のバケットと、そのバケット名に -thumbnail のサフィックスを付けたサムネイル用バケットが必要。 S3 バケットを作る バケットとファンクションは同じリージョンに作る必要がある。 今回は US Standard に作った。 Lambda ファンクションを作る Lambda function code var fs = require('fs'); var im = require('imagemagick'); var aws = require('aws-sdk'); var s3 = new aws.S3({apiVersion: '2006-03
複数のクラウドサービス間でオブジェクトストレージの中身を同期する こんにちは。インフラストラクチャー部の加藤(@EugeneK)です。 クックパッドのすべてのレシピやつくれぽ等の画像はAmazon Web Services(以下AWS)のSimple Storage Service(以下S3)にオブジェクトとして保存されています。 S3は99.999999999%の堅牢性と99.99%の可用性を謳っていますが、ユーザさんから預かった大切なデータを守るため、万一に備えて別のクラウドストレージにもバックアップを行っています。 今回はそのオブジェクトを準リアルタイムでGoogle Cloud Storage(以下GCS)に同期されるようにした話をします。 S3にオブジェクトが追加されたことを知る S3にはEvent Notificationという機能があります。 この機能を用いると、S3のバケッ
Tutorial: Configuring a static website using a custom domain registered with Route 53 - Amazon Simple Storage Service
Tutorial: Configuring a static website using a custom domain registered with Route 53 Suppose that you want to host a static website on Amazon S3. You've registered a domain with Amazon Route 53 (for example, example.com), and you want requests for http://www.example.com and http://example.com to be served from your Amazon S3 content. You can use this walkthrough to learn how to host a static webs
http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となりますRead less
1. GMO Pepabo, Inc. Ryo kuroda @lamanotrama 2015/08/29 第3回ペパボテックカンファレンス MogileFS をバックエンドとした Private S3の作り方
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
プライベートなバケットなんだけど、特定のURLを知ってる人だけがダウンロードするのを許可したいというときに使うやつ。 aws-sdk-rubyのv1だとAWS::S3Object#url_forで生成できたらしいんだけど、v2ではやり方が変わってるとのことなので試しにv2でやってみた。というかこれのコピペ。 # Gemfile gem "aws-sdk", "~> 2" # irbとか require "aws-sdk" s3 = Aws::S3::Client.new signer = Aws::S3::Presigner.new(client: s3) url = signer.presigned_url(:get_object, bucket: "my-private-bucket", key: "path/to/file.txt") デフォルトだと15分。presigned_url
Authenticating Requests: Using Query Parameters (AWS Signature Version 4) - Amazon Simple Storage Service
Authenticating Requests: Using Query Parameters (AWS Signature Version 4) As described in the authentication overview (see Authentication Methods), you can provide authentication information using query string parameters. Using query parameters to authenticate requests is useful when you want to express a request entirely in a URL. This method is also referred as presigning a URL. A use case scena
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
