Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

タグ

kvsに関するkoyhogeのブックマーク (57)

  • Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装

    Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています(開発元のアナウンス、GitHub)。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術

    Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装
    koyhoge
    koyhoge 2022/07/12
    C++で書かれたRedis/memcached互換KVS。
  • FoundationDB | Home

    FoundationDB gives you the power of ACID transactions in a distributed database.Get StartedDownload FoundationDBMulti-model data store. FoundationDB is multi-model, meaning you can store many types of data in a single database. All data is safely stored, distributed, and replicated in the Key-Value Store component.Easily scalable and fault tolerant. FoundationDB is easy to install, grow, and manag

    koyhoge
    koyhoge 2018/04/26
    AppleがOSSで開発している分散DB。
  • GitHub - louischatriot/nedb: The JavaScript Database, for Node.js, nw.js, electron and the browser

    You can use NeDB as an in-memory only datastore or as a persistent datastore. One datastore is the equivalent of a MongoDB collection. The constructor is used as follows new Datastore(options) where options is an object with the following fields: filename (optional): path to the file where the data is persisted. If left blank, the datastore is automatically considered in-memory only. It cannot end

    GitHub - louischatriot/nedb: The JavaScript Database, for Node.js, nw.js, electron and the browser
    koyhoge
    koyhoge 2016/07/20
    Pure JSな簡易DB。
  • 女子中学生が自転車で夜道を塾通いするのは危険?【通塾なしで成績アップする方法とは】

    女子中学生が自転車で夜道を塾通いするのが心配という方へ 女子中学生が夜遅くまで自転車で塾に通うことは、心配事が尽きません。 夜道を走る際の危険性、事故のリスク、そして犯罪被害に遭う可能性など、多くの問題が存在します。 しかし、塾通いが成績アップにつながるため、親御さんたちはどうしてもこの方法を選ばざるを得ない場合もあるかもしれません。 そこで記事では、女子中学生が自転車で夜道を通う際の危険性と対策について解説します。 また、通塾なしでも成績アップができる方法をご紹介します。 この記事はこのような方へ向けて書かれています 女子中学生を持つ親御さん 塾に通っている女子中学生 これから塾に通うか考え中の方 自転車通学をしている中学生 青少年の安全に関心のある方 この記事を読むことで得られるメリット 女子中学生が自転車で夜道を通って塾に通うことが減れば、次のような多くのメリットが得られます。 交

    女子中学生が自転車で夜道を塾通いするのは危険?【通塾なしで成績アップする方法とは】
    koyhoge
    koyhoge 2015/09/15
    マルチマスターなレプリケーションが可能なCouchDB互換のDBaaS、Cloudant。これはちょっと使ってみたくなった。
  • 非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開

    RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開した「Dynomite」(ダイナマイトとは綴りが違うのに注意)は、こうしたデータストアを分散データベース化し、高速なデータストアの特長を活かしつつ高いスケーラビリティや可用性を実現するためのソフトウェアです。 アプリケーション側でシャーディングのような面倒なデータ構造を設定することなく、RedisやMemcachedをノードとし、CassandraやAmazonクラウドのDynamoDBのような大規

    非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開
    koyhoge
    koyhoge 2014/11/07
    DynamoDBにインスパイアされてNetflixが作った分散DB。Redisとmemcacheプロトコルをサポートしているよう。
  • GitHub - facebook/rocksdb: A library that provides an embeddable, persistent key-value store for fast storage.

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - facebook/rocksdb: A library that provides an embeddable, persistent key-value store for fast storage.
  • NoSQLに関するまとめ

    2. NoSQLとは? • Not Only SQLの略 – 元々は当に「No SQL」だったみたいだけ ど、印象悪いのでこうなったらしい • SQLを使わない非リレーショナルなデータ ベースの総称 – おおざっぱに言うとMySQLとかPostgreSQL以外 • どんなものがあるか – kumofs, redis, Amazon SimpleDB, hBase, Cassandra, memcachedb, Couch DB, MongoDB, ... 3. NoSQL登場の背景 • RDBでは大規模なウェブ環境に対応できな くなってきた。特にスケーラビリティの 面で。 – MySQLでのスケーラビリティを考える – readのスケーラビリティ: レプリケーション +ロードバランシング – writeのスケーラビリティ: sharding/partitioning – いずれにしろ、M

    NoSQLに関するまとめ
  • 松尾芭蕉が名前の由来。分散型NoSQLデータベース「Riak」のBashoが日本法人設立

    NoSQLデータベースを主力製品とする米国のソフトウェアベンダー「Basho Technologies」が日法人「バショー・ジャパン」を設立、日における展開を開始しました。日語版のWebサイトも公開されています。 同社のNoSQLデータベース「Riak」は分散型キーバリューストア。クラウドに対応した高いスケーラビリティや、単一障害点がなく高い可用性が特徴。 Riakはオープンソースとして開発されており、マルチデータセンター機能などが追加されたEnterprise版と、RiakのテクノロジーをコアにしたAmazon S3互換の分散オブジェクトストレージの「Riak CS」などがあります。 Riakはすでに米大手キャリアのAT&T、金融のシティコープ、小売りのベストバイなどの実績があると米Basho Technologies CEOのDon Rippert(ドン・リパート)氏。「ユーザー

    松尾芭蕉が名前の由来。分散型NoSQLデータベース「Riak」のBashoが日本法人設立
  • “第3”のデータベース「NewSQL」

    出典:日経コンピュータ 2012年5月10日号 pp.94-95 (記事は執筆時の情報に基づいており、現在では異なる場合があります) NewSQLと呼ばれる、新たなデータベース分野が確立しつつある。高速処理というNoSQLの強みを生かしながら、RDBの使い勝手を加えようというのが製品のコンセプト。キーとバリューから成るKVSに対して、なぜ、SQLによるアクセスや、トランザクション処理が可能なのか。その仕組みを明らかにする。 「NewSQL」を知っているだろうか。NECが2012年2月に発売開始したデータベース「InfoFrame Relational Store」がその一つ。大量データの高速処理に強い「KVS(キーバリュー型データストア)」に対して、SQLを使ってアクセスできる。従来のRDB(リレーショナルデータベース)、NoSQL(Not Only SQL)に続く“第3”のデータベースと

    koyhoge
    koyhoge 2012/09/26
    「NewSQL」次々新しい言葉を考えるなぁ。RDBの構成要素を分離して別サーバでスケールアウトできるようにしたというアイデア。可用性はどうなんだろう?
  • AWS News Blog

    AWS Week in Review – New Open-Source Updates for Snapchange, Cedar, and Jupyter Community Contributions – May 15, 2023 A new week has begun. Last week, there was a lot of news related to AWS. I have compiled a few announcements you need to know. Let’s get started right away! Last Week’s Launches Let’s take a look at some launches from the last week that I want to remind you of: New Amazon EC2 […]

    koyhoge
    koyhoge 2012/08/22
    バイナリサポートかー。いいとこ突くなぁ。
  • ArangoDB - highly available multi-model NoSQL database

    Gartner Peer Insights 'Voice of the Customer': Operational Database Management Systems Market

  • Redis - The Real-time Data Platform

    # Create a vector index using the HNSW algorithm, 768 dimension length, and inner product distance metric > FT.CREATE idx-videos ON HASH PREFIX 1 video: SCHEMA content_vector VECTOR HNSW 6 TYPE FLOAT32 DIM 768 DISTANCE_METRIC IP content TEXT metadata TEXT # Add a video vector with metadata > HSET video:0 content_vector “\xa4q\t=\xc1\xdes\xbdZ$<\xbd\xd5\xc1\x99<b\xf0\xf2<x[…\xf8<” content “SUMMARY:

    Redis - The Real-time Data Platform
    koyhoge
    koyhoge 2011/12/17
  • OTN Japan マニュアル

    Oracle NoSQL Database is designed for today’s most demanding applications that require low latency responses, flexible data models, and elastic scaling for dynamic workloads. It supports JSON, Table and Key-Value datatypes running on-premise, or as a cloud service with on-demand throughput and storage based provisioning. Oracle NoSQL Database Cloud Service is now a fully managed database service r

    koyhoge
    koyhoge 2011/10/25
    リプリケーション、フェイルオーバー対応のKVS。Java専用らしい。
  • LevelDB: A Fast Persistent Key-Value Store

    LevelDB is a fast key-value storage engine written at Google that provides an ordered mapping from string keys to string values. We are pleased to announce that we are open sourcing LevelDB under a BSD-style license. LevelDB is a C++ library that can be used in many contexts. For example, LevelDB may be used by a web browser to store a cache of recently accessed web pages, or by an operating syste

    LevelDB: A Fast Persistent Key-Value Store
  • NOSQLの新顔、分散KVS「okuyama」の機能

    NOSQLについて解説した前回の記事は、いかがだったでしょうか。今後のアプリケーションでは、増え続けるデータを扱うことが非常に多くなると思います。前回の記事が、こうしたケースに適した新たなストレージの1つとして、NOSQLを理解するきっかけになっていたら幸いです。 連載2回目の今回は、NOSQLの1つである「okuyama」の全体概要と、機能的な特徴を紹介します。 1. 「okuyama」の概要 okuyamaは、まだ聞きなれない方も多いかと思いますが、筆者が開発している分散キー・バリュー・ストアです。2009年12月ごろから開発を始めました。現在はSourceforge.jpにて公開しています。もともとは学習を兼ねて作成したため、一部のログ・ライブラリなどを除き、すべて1から実装しました。2010年1月にファースト・リリースを行い、現在はバージョン0.8.6となっています。 以降は、ok

    koyhoge
    koyhoge 2011/05/19
  • グーグル、NoSQL軽量ライブラリ「LevelDB」を公開。ChromeブラウザのIndexedDBとして採用

    LevelDBSQLをサポートせず、クライアント/サーバ型でもなく、シングルプロセスからアクセスされることを想定したいわゆるNoSQLの高速なキーバリュー型データストアを実現するためのライトウェイトなライブラリだと説明されています。 ChromeブラウザでHTML5の仕様として策定中のIndexedDBを実装するものとして開発されたようです(ドキュメントに明記されていないのですが)。 LevelDBを開発した理由 LevelDBのWebサイトによると、LevelDBは以下の主な機能を備えています。 基的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される Hacker Newsの記事によると、当初はLevelDBを開発する代わりに平林幹雄氏が開発したTokyo Cabin

    グーグル、NoSQL軽量ライブラリ「LevelDB」を公開。ChromeブラウザのIndexedDBとして採用
  • HandlerSocket Plugin for MySQLのPHPクライアントを公開しました

    takada-atです。HandlerSocketPlugin for MySQLPHPクライアントを公開しました。 リポジトリには、OpenPearでアクセスできます。 http://openpear.org/package/Net_HandlerSocket pure PHPで書いてますが、使い方は、今のところperlクライアントに合わせてあります。 HandlerSocketPlugin for MySQLMySQLを高速なNoSQLストレージとして利用できるようにするMySQLプラグインです。詳しくはgithubのリポジトリなどを参照してみてください。 http://github.com/ahiguti/HandlerSocket-Plugin-for-MySQL

  • 開発メモ: Kyoto Cabinet商用ライセンス契約書(最終案)

    弁護士の先生と協議しつつ、Kyoto Cabinetの商用ライセンスを策定した。英語版の策定はこれからだが、日語版としては完成したので、ぼちぼち営業活動を始める。価格に関しては契約者毎に決定することになるし、大口の契約者とはライセンス内容自体の調整もすることになるだろう。ただ、その前に、一般論としてのご意見を広く伺いたいと思っているので、ここに最終案を公開してみる。しばらくしたらKCのページにPDFかなんかにして載せることにする。 なお、当初の予定ではGPLv3とそれに対する例外規程として商用ライセンスを構成するつもりだったが、最終的にはGPLv3とは完全に独立したライセンスを策定することとなった。文にも明記されているが、このライセンスを購入した法人や個人は、GPLv3による権利や義務ではなく、この商用ライセンスで規程した権利や義務を持つことになる。逆も然りで、GPLv3は依然として有

  • グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering

    はじめに グリー株式会社でエンジニアをしておりますkgwsと申します。 今回は、前回に引き続き分散ストレージ(nanofs)のHTTPメソッド毎の処理を紹介させていただければと思います。 nanofsは5つのHTTPメソッド(GET、PUT、DELETE、HEAD、MKCOL)をサポートしております。今回は主なGET、PUT、DELETEの3つについてご説明させていただきます。 まずは構成のおさらい nanofsは、主に3つのプロセスで構成されております。 nanofsd(dispatcher) アプリケーションサーバからリクエストを受け取り実際に保存されているnanofsnに振り分ける 5つのHTTPメソッドをサポートしている(GET、PUT、DELETE、HEAD、MKCOL) データベース(KVS)に保存したデータの情報を送る queueに処理の指示を送る nanofsw(worke

    グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering
  • KVSアルファテストサービスシステム構成について

    マルチテナント化の実現 2010/9/27現在で、12ユーザのFlareインスタンス(テスト用も含む)がこの6台上で稼動しています。 同一のサーバ上で複数のユーザを収容するためには、データの分離やアクセス制御を適切に行う必要があります。これには、以前ご紹介したポート番号を分けて複数デーモンを起動する方式と、お客様に提供するポート番号毎に接続元のIPアドレスを制限する方式を組み合わせることで実現しています。詳しくは以下のブログをご覧ください。 ▽ Flareを使う(マルチテナント化編) https://research.sakura.ad.jp/2010/08/10/flare-multi/ Flareの設定 Flareのインデックスサーバ、ストレージサーバはそれぞれ以下のような設定を行っています。 インデックスサーバの設定例(flarei.conf) data-dir = /home/fl

    KVSアルファテストサービスシステム構成について