Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

タグ

S3に関するterurouのブックマーク (11)

  • S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG

    あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど

    S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG
    terurou
    terurou 2015/01/13
    これおもしろいよなぁ
  • AWS News Blog

    Amazon Titan Text V2 now available in Amazon Bedrock, optimized for improving RAG The Amazon Titan family of models, available exclusively in Amazon Bedrock, is built on top of 25 years of Amazon expertise in artificial intelligence (AI) and machine learning (ML) advancements. Amazon Titan foundation models (FMs) offer a comprehensive suite of pre-trained image, multimodal, and text models accessi

    terurou
    terurou 2013/02/13
    これは楽チンだなぁ
  • s3sync.rb rrs(開発終了) | GarageGentlemen

    terurou
    terurou 2012/08/27
    s3syncをReduced Redundancy Storageに対応させた版
  • Rakuten LeoFs - distributed file system

    LeoFS has High Performance, High Reliability, High Scalability, file system developed by Rakuten.Read less

    Rakuten LeoFs - distributed file system
  • Amazon S3を33%安く使う方法 - よねのはてな

    暑いですね、汗 汗 汗(汗3)。 Amazon Simple Storage Service、略してS3というストレージサービスがあります。 少し前に、Amazon Web Services BlogでReduced Redundancy Storage(Amazon RRS)が発表されました。 http://aws.typepad.com/aws/2010/05/new-amazon-s3-reduced-redundancy-storage-rrs.html 簡単に説明すると、S3の可用性は99.999999999%ですが、RRSは99.99%となっていて少し可用性が低いので33%安く利用出来ますよという事です。 blogから引用 RRS pricing starts at a base tier of $0.10 per Gigabyte per month, 33% cheaper

    Amazon S3を33%安く使う方法 - よねのはてな
    terurou
    terurou 2011/07/29
    RRS(Reduced Redundancy Storage)でputするサンプル
  • Amazon S3 を Hadoopの HDFSとして利用する

    Hadoop on Flickr ここ数日こればっかりに悩んでましたが、実際は超簡単。 といってもそこまで詳しくやっていないのでこれできちんと出来ているのかは… Amazon S3をHDFSとして利用する利点は 実質容量無制限 Amazon EC2/S3 間の転送料は不要 クラスタが落ちてもデータは無事? こんなところでしょうか。 AmazonS3 - Hadoop Wiki 実際はここに書いてあるとおりで問題ないです。 これをきちんとわかっていなかったので無駄に苦労してしまった… 今回クライアントで使用したのはHadoop 0.19.1です。 まずは、Amazon EC2上でHadoopを起動させます。 ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 このあたりはbloge

    Amazon S3 を Hadoopの HDFSとして利用する
  • ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ

    GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー!古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠

    ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
  • AmazonS3上のファイルを国内でも高速配信可能なAmazon CloudFrontリリース : Media Technology Labs (MTL) : メディアテクノロジーラボ ブログ

    Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や

    terurou
    terurou 2008/11/24
    S3用のCDN
  • Python製開発用SimpleDB·SimpleDB/dev MOONGIFT

    Web APIはその名の通り、Web上で提供される。そのため、ネットワークにつながっていない状態では利用することができず、不便な思いをする。常時接続が当たり前になりつつあるが、近所のカフェや移動時間などで開発を行いたいときもあるだろう。 サービスを立ち上げたところ また、Amazonが提供する各種Web APIの中には有料で提供されるものもある。この場合は開発中もWeb APIを利用する上で課金されることになってしまう。開発中はバッチやテストなどで利用頻度は激しいだろう。その度に課金されてしまうのではスムーズな開発が行えない。そこで利用するのがこれだ。 今回紹介するオープンソース・ソフトウェアはSimpleDB/dev、Python製のSimpleDBクローンだ。 SimpleDB/devはAmazon Webサービスの一つ、SimpleDBをローカルでも動作させられるものだ。Simple

    Python製開発用SimpleDB·SimpleDB/dev MOONGIFT
  • jets3t: JetS3t - Development Home

    terurou
    terurou 2008/02/27
    Amazon S3のフロントエンド
  • アマゾンのストレージサービス「S3」に障害--信頼性をめぐりWeb 2.0界に波紋

    Amazon.com Web Service(AWS)のホステッドストレージサービスが米国時間2月15日の午前中にダウンし、多くのウェブサイトの顧客をいらだたせるとともに、大々的に宣伝されたクラウドコンピューティングの手法に対する懸念を再燃させた。 15日の午前中、一部のユーザーがAmazonSimple Storage Service(S3)に保存されているコンテンツがまったく利用できないか動作が遅くなっていることに気づき、それと同時にあるオンラインフォーラムでは顧客の不満が急増した。 Amazon技術者によるとサービスは数時間後に復旧した。フォーラムに最初の記事が投稿されたのが太平洋時間帯の午前5時であり、サービスが復旧したのは午前9時を少し過ぎたころだった。 今回の不具合はブログ界に波紋を投げかけた。これまでウェブ起業家はAmazonのホステッドコンピューティングサービスの利用を

    アマゾンのストレージサービス「S3」に障害--信頼性をめぐりWeb 2.0界に波紋
    terurou
    terurou 2008/02/18
    S3に障害発生で、やっぱつかえねーじゃんという論調が強く。/まぁ、お金があれば自社で無停止サービス構築すればいいじゃないの。限りなく100%に近い稼働はできても、現在の技術じゃなかなか100%は難しいわ…。
  • 1