オブジェクトのアップロード - Amazon Simple Storage ServiceAmazon S3 にファイルをアップロードすると、S3 オブジェクトとして保存されます。オブジェクトは、オブジェクトを記述するファイルデータとメタデータから構成されます。バケット内のオブジェクトの数に制限はありません。Amazon S3 バケットにファイルをアップロードするには、バケットに対する書き込みアクセス許可が必要です。アクセス許可の詳細については、Amazon S3 用 Identity and Access Management を参照してください。 ファイルタイプ (イメージ、バックアップ、データ、ムービーなど) を問わず、各種のファイルを S3 バケットにアップロードできます。Amazon S3 コンソールを使用すると、アップロードできるファイルの最大サイズが 160 GB になります。160 GB を超えるファイルをアップロードするには、AWS Command Line
s3に関するkakku22のブックマーク (39)
-
kakku22 2018/11/16
-
Amazon S3 Select が一般公開
本日より、Amazon S3 Select はすべてのお客様が利用できます。S3 Select は、オブジェクトから必要なデータのみを抽出するよう設計された、新しい Amazon S3 機能で、パフォーマンスを大幅に改善し、S3 のデータへのアクセスに必要なアプリケーションのコストを削減することができます。 ほとんどのアプリケーションでは、オブジェクト全体を取得した後、詳細な分析に必要なデータのみをフィルタリングする必要があります。S3 Select を使用すると、アプリケーションは、Amazon S3 サービスへのオブジェクト内にあるデータのフィルタリングやデータへのアクセスといった手間のかかる作業から解放されます。アプリケーションでロードおよび処理しなければならないデータ量を減らすことで、S3 Select は S3 のデータに頻繁にアクセスするほとんどのアプリケーションのパフォーマン
-
Amazon S3 が、リクエストレートのパフォーマンス向上を発表
Amazon S3 は、データの追加で少なくとも 3,500 リクエスト/秒、データの取得で 5,500 リクエスト/秒をサポートできるようにパフォーマンスを向上させ、追加料金なしで処理時間を大幅に節約できるようになりました。 それぞれの S3 プレフィックスがこうしたリクエストレートをサポートできるようになり、パフォーマンスを大幅に向上させることが簡単になります。 現在 Amazon S3 で実行されているアプリケーションは変更なしでパフォーマンスの向上が可能であり、S3 で新しいアプリケーションを構築している顧客はこうしたパフォーマンスを達成するためにアプリケーションをカスタマイズする必要はありません。Amazon S3 が並列リクエストをサポートしているので、アプリケーションのカスタマイズを行うことなく、コンピューティングクラスター数の倍率によって S3 のパフォーマンスを拡張するこ
-
Amazon S3 とは - Amazon Simple Storage Service
Amazon S3 Express One Zone ストレージクラスをディレクトリバケットで使用する方法の詳細については、「ディレクトリバケットと S3 Express One Zone」と「ディレクトリバケットの概要」を参照してください。 Amazon S3 の機能 ストレージクラス Amazon S3 では、さまざまなユースケース向けに、幅広いストレージクラスが提供されています。例えば、ミッションクリティカルな本番環境のデータを S3 Standard または S3 Express One Zone に保存して頻繁にアクセスしたり、アクセス頻度の低いデータを S3 標準 – IA または S3 One Zone-IA に保存してコストを節約したり、S3 Glacier Instant Retrieval、S3 Glacier Flexible Retrieval、S3 Glacier
-
【速報】全てのS3ユーザ必見！S3の性能が大幅パワーアップ！面倒なアレが不要に！ | DevelopersIO
AWS Summit 2018 New Yorkのキーノートセッションで発表された、S3の性能アップとはどのようなものなのか？ そして不要になった面倒なアレとは？ 皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/
-
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
-
-
【Scala】しょっちゅう忘れる、AWSのAPI（逆引き）Scala S3編【AWS】 - Qiita
val credentials = new BasicAWSCredentials(アクセスキーキー, シークレットキー) val s3Client = new AmazonS3Client(credentials) val localFilePath = "ローカルのファイルパス" val s3BucketName = "バケット名" val s3FilePath = "S3のアップロード先のパス" val upReq = new PutObjectRequest(s3BucketName, s3FilePath, localFile) s3Client.putObject(upReq) val credentials = new BasicAWSCredentials(アクセスキーキー, シークレットキー) val s3Client = new AmazonS3Client(crede
-
Amazon Redshift DB開発者ガイド – データのロード処理(2).COPYコマンドの使用 | DevelopersIO
『データロードのベストプラクティス』に続くデータロードの処理、第2弾です。またもやかなり長〜くなってしまいましたが、リファレンス的にご利用頂ければと思います。m(_ _)m COPYコマンドは、Amazon S3上のファイルから、又はDynamoDBのテーブルから並列にデータを読み込み、ロードするためにAmazon Redshiftの超並列処理(MPP)を活用しています。 注意： 大量データのロードの際はCOPYコマンドを使う事を我々は強くお奨めします。 個々にINSERT文を使用する場合、実行スピードはとてつもなく遅くなるかもしれません。 また、あなたのデータが他のAmazon Redshiftのデータベーステーブルに存在する場合は、 パフォーマンス向上の為にINSERT INTO … SELECT又はCREATE TABLE ASを使用します。 詳細については、INSERT 又は CR
-
-
IAMを使って特定の人に特定のbucketのみ操作を許可する | kirie.net blog
S3を使う時に特定の人に特定のbucketだけを許可したい場合。 AWS Management Consoleにログイン IAMタブを開く Groupsで「Create New Group」をクリックしWizardを開く Select Policy Templateで「Amazon S3 Full Access」を「Select」 下記の内容にPolicy Documentを修正 「Continue」をクリック「Create Group」でグループを作成 作成したグループに権限を割り当てたいユーザを加えて完了 Pollcy Documentはこんな感じ { “Statement”: [ { “Effect”: “Allow”, “Action”: “s3:*”, “Resource”: “arn:aws:s3:::hoge.bucket.hoge” }, { “Effect”: “Allo
-
Amazon S3 の Bucket 命名ルールについて | DevelopersIO
ごあいさつ こんにちは、会長の横田あかりです。 本日より技術ブログを始めます。 得意分野は、AWS全般です。 よろしくお願いいたします。 Amazon Simple Storage Service (Amazon S3) とは Amazon S3 (以下、S3) は、インターネット用のストレージサービスです。ユーザはS3の全リージョン（地域）にてユニークな名前のBucketを複数作成することができます。Bucket名はそのままURLになるため、全S3ユーザでユニークである必要があります。Bucket内には複数のObjectを置くことができます。S3は、このような簡単な仕組みではありますが、大量かつ大きなファイルを安全に安価に置くことができますので様々なサービスの基盤として世界中で使われています。 Bucketの命名ルール Bucketは、全リージョン内でユニークな名前が付いた入れ物です。こ
-
-
Apache アクセスログを fluentd で S3 に保存する（修正版） - ようへいの日々精進XP
更新情報 S3 プラグインは別途インストールが必要と記載しておりましたが、@repeatedly さんのご指摘により S3 プラグインは標準で同梱されていることを確認致しました。誤った情報を記載してしまい申し訳ございませんでした...。また、@repeatedly さんご指摘有難う御座いました。 要件 Apache のアクセスログを fluentd を使って Amazon S3 に放り込んでみる メモ fluentd についてはこちら 環境 Apache 環境 Amazon EC2（Amazon Linux） 手順 yum のリポジトリを設定する vim /etc/yum.repos.d/td.repo[treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpg
-
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
-
Store Apache Logs into Amazon S3 | Fluentd
This article explains how to use Fluentd’s Amazon S3 Output plugin (out_s3) to aggregate semi-structured logs in real-time. Table of Contents Background Mechanism Install Configuration Tail Input Amazon S3 Output Test Conclusion Learn More Background Fluentd is an advanced open-source log collector originally developed at Treasure Data, Inc. One of the main objectives of log aggregation is data ar
-
fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件
ログのバックアップをfluentd経由でs3に転送するようにしたのですが、time_slice_format %Y%m%dにしてても、一日に複数ファイルが生成されていました。 こんな感じ 原因がよく分からなかったのでtwitterでつぶやいてみたら、@frsyukiが返答してくださいました！ twitterでのやり取りはこちらにまとめました。 fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件解決策↓のように、buffer_chunk_limitを大きい値で設定すればOKでした。 原因原因は、buffer pluginで指定される、buffer_chunk_limitがデフォルトの8M(2012/11/27現在)だったためです。 chunkは一時的なデータの格納場所で、fluent-plugin-s3ではbuffe
-
fluentdでログをS3に格納する – OpenGroove
fluentdをうっすらいじってみた。ほぼ参考サイトからの引用そのまんまなのだが、一応記録。 ログ格納用のS3バケットは適当な名前で作成しておく。実行環境もAWSマシンです。 TreasureDataレポジトリの追加。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 tg-agentインストール $ sudo yum install td-agent -y $ sudo service td-agent start $ sudo chkconfig td-agent on タグを動的に扱うプラグインとプレースホルダを扱えるようにするプラグインを追加でインストール。
-
Fluentd編～ログ収集ツール～
こんにちは！ JQです。 前回は『chef-solo編～パート③～』ということで、nodeに対してrecipeを適用してみました。 今回は『Fluentd編～ログ収集ツール～』と題して、Fluentdをインストールしてみたいと思います。 ※Amazon Linuxを利用します。 Fluentdとは FluentdとはOSSのログ収集ツールです。 Rubyで実装されており、トレジャーデータの開発者やコミュニティメンバーにより活発に開発が進められています。 また、S3連携のPluginなどもデフォルトで実装されております。 Fluentdのインストール yumリポジトリの追記 Fluentdには様々なインストール方法が提供されています。 1. 最初にyumリポジトリの設定を追記します。 # vi /etc/yum.repos.d/td.repo [treasuredata] name=Trea
Amazon Simple Storage Service
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しました