Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

タグ

databaseに関するrawwellのブックマーク (113)

  • Cascading

    Please note that all new project news and releases have moved to https://cascading.wensel.net The Cascading Ecosystem is a collection of applications, languages, and APIs for developing data-intensive applications. At the ecosystem core is Cascading, a Java API for defining complex data flows and integrating those flows with back-end systems, and a query planner for mapping and executing logical f

    rawwell
    rawwell 2009/06/25
    "Cascading is a feature rich API for defining and executing complex, scale-free, and fault tolerant data processing workflows on a Hadoop cluster. The processing API lets the developer quickly assemble complex distributed processes without having to "think" in MapReduce. And to efficiently schedule
  • GitHub - cwensel/cascading at master

    rawwell
    rawwell 2009/06/25
    "Cascading is a feature rich API for defining and executing complex and fault tolerant data processing workflows on a Hadoop cluster."
  • DASFAA 2010

    ORGANIZERS University of Tsukuba The Database Society of Japan (DBSJ) IN COOPERATION KIISE Database Society of Korea The China Computer Federation Database Technical Committee ARC Research Network in Enterprise Information Infrastructure Asian Institute of Technology ``New IT Infrastructure for the Information-explosion Era'', MEXT (Ministry of Education, Culture, Sports, Science and Technology) G

    rawwell
    rawwell 2009/06/24
    "DASFAA 2010, the 15th in the series, will be held from 1-4 April 2010 in Tsukuba, Japan."
  • Sports Betting Philippines Online 🏆🥊 The Ultimate Guide 2023

    Ignite the Spark: Why Filipino Hearts Beat for Sports Betting The Thrill of the Chase: Capture the excitement of your favorite sports with an added layer of adrenaline. Placing wagers on the outcomes of sporting events adds an extra rush of excitement on top of simply watching the game. Every possession, point, and play carries more weight when you have money riding on it. Sports betting intensifi

    Sports Betting Philippines Online 🏆🥊 The Ultimate Guide 2023
    rawwell
    rawwell 2009/06/24
    "VLDB 2009 will take place at the Cité Internationale (Convention Center, http://www.cite-internationale-lyon.fr/ and http://www.ccc-lyon.com/) in Lyon, France on August 24-28, 2009."
  • YappoLogs: Data::Model っていう ORM みたいの CPAN にあげたよ

    Data::Model っていう ORM みたいの CPAN にあげたよ あざーす。循環参照しすぎるとバターになる。。なんでそんなに人の目を気にするのだろうと、マジレス。 早速ですが Data::Model っていう O/Rマッパー 的な物を CPAN にあげました。 Data::Model http://github.com/yappo/p5-Data-Model/tree/master 元来は MVC モデルで言う所の Model を一括でまかなえるつもりで実装していますが、ロジック処理は普通の Perl のクラスで書いちゃった方が潰しが聞くため、主にストレージを Perl のオブジェクトにマッピングする ORM 的な使い方が主流となっています。 そして、 Data::Model の多くの実装や設計などは Data::ObjectDriver を参考にして開発しました。 他にも後述して

    rawwell
    rawwell 2009/06/21
    "早速ですが Data::Model っていう O/Rマッパー 的な物を CPAN にあげました。 Data::Model http://github.com/yappo/p5-Data-Model/tree/master 元来は MVC モデルで言う所の Model を一括でまかなえるつもりで実装していますが、ロジック処理は普通
  • http://nl.netlog.com/go/developer/blog/blogid=3071854

    rawwell
    rawwell 2009/06/21
    "You don't want to introduce sharding in your architecture, because it definitely complicates your set-up and the maintenance of your server farm. There are more things to monitor and more things that can go wrong. Today, there is no out-of-the-box solution that works for every set-up, technology an
  • Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi

    InteropTokyo 2009 クラウドコンピューティングコンペティション(通称クラウドコン)は、我等がえとらぼチームが優勝しました! 実行委員・StarBEDプロジェクト・IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー(マウスクリック/矢印キーで進む) PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります(えとらぼチームはちょっと細切れですが) 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時

    Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi
    rawwell
    rawwell 2009/06/14
    "プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 * プレゼンムービー(マウスクリック/矢印キーで進む) o PDF版 * ポスター * パンフレット *2 …どれも相当に気合いが入っているの
  • 東大の喜連川優氏が米ACMのCodd賞を日本人として初受賞

    米ACM(コンピュータ学会)のSIGMOD(データ・マネジメント研究会)は2009年6月6日(現地時間),2009年のEdgar F. Codd Innovations Award(Codd革新賞)に東京大学生産技術研究所の喜連川優教授を選出したと発表した。同賞はリレーショナル・データベースの概念を考案したCodd氏の名を冠した賞で,日人としては初めての受賞となる。 喜連川氏は大規模データ処理を専門としており,文部科学省の「情報爆発」プロジェクト代表や,経済産業省の「情報大航海」プロジェクト戦略会議委員長を務める。 Codd革新賞受賞の対象となった業績は,高性能データベース技術への貢献である。具体的にはハッシュ-ジョイン・アルゴリズムの開発への貢献など。またハッシュ・ベースのアルゴリズムに基づいた共有メモリー・アーキテクチャによるファンクショナル・ディスク・システムを開発。1990年代に

    東大の喜連川優氏が米ACMのCodd賞を日本人として初受賞
    rawwell
    rawwell 2009/06/10
    記念ブクマ。おめでとうございます。
  • PGCon2009:

  • MySQLのプロンプトを変更する。

    MySQLのCLI(コマンドラインインターフェイス)を利用しているとおなじみの mysql> というプロンプトがあるが、実はこれは変更が可能である。MySQL CLIを利用している最中なら、promptコマンドを実行すれば良い。例えば次のように。 mysql> prompt \U [\d] >\_ PROMPT set to '\U [\d] >\_' mikiya@localhost [test] > \Uや\dはそれぞれ意味が決まっていて、それらを組み合わせることで任意の情報をプロンプトに表示できるわけである。見易いように > やスペース、括弧などを組み合わせるといいだろう。例えば何かの作業をするときには mysql> prompt 作業1 [\D]>\_ PROMPT set to '作業1 [\D]>\_' 作業1 [Tue Mar 17 07:39:28 2009]> などとする

    MySQLのプロンプトを変更する。
    rawwell
    rawwell 2009/06/01
    "なお、プロンプトで指定できるシーケンスの意味は次の通り。 \c ・・・コマンド何回実行したかを数えるカウンタ。 \D ・・・日時 \d ・・・利用中のデフォルトデータベース \h ・・・接続先ホスト(サーバ) \l ・・・デリ
  • What's happening with InnoDB

    rawwell
    rawwell 2009/06/01
    "The InnoDB plugin available in 5.1 has a number of new benefits. * fast index creation * table compression * info schema tables * new row storage format * file format management"
  • Identifying resource bottlenecks – Memory

    rawwell
    rawwell 2009/06/01
    "In auditing, I start with the ‘free’ command, the already used ‘vmstat’ command, the /proc/meminfo and /proc/sys/vm/swappiness files to get an indication of memory and swap resources. While we are looking at the Memory, the configuration of Swap is also very important. I will discuss this i
  • MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介

    オープンソースの分散化ファイルシステムで代表例というとMogileFSが挙げられると思う。HTTPでアクセスでき、簡単に信頼性の高い分散化ファイルシステムが構築できる。ただし、基Perlからの扱いになっており、Ruby向けのライブラリも存在するが全ての機能を活用できる訳ではない。 クライアント側 もっと手軽に利用できる分散化ファイルシステムが必要だ。それがこれだ。 今回紹介するオープンソース・ソフトウェアはcagra、C++製の分散ストレージシステムだ。 cagraは日製のソフトウェアで、memcachedのような手軽さで分散ストレージシステムを構築できる。memcachedとの大きな違いは複数ノードを利用できる点にある。各データに対して指定したノード数でのレプリケーションが可能になっているので信頼性を高めることができる。 サーバ側 現時点ではオンメモリストレージのみだが、ファイルシ

    MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介
    rawwell
    rawwell 2009/05/31
    "現時点ではオンメモリストレージのみだが、ファイルシステムやTokyo Cabinetを使ったバックエンドも利用できるようになる予定だ。これが実現すればまさに分散化ファイルシステムとして利用できる。各サーバはIPアドレス
  • 全文検索エンジンLuxとPythonの軽量Webアプリケーションフレームワークfapws3で構築する高速検索サービス - FutureInsight.info

    今、手元で検索サービスを作成するためにいろいろ実験をしているのですが、ある程度ノウハウが貯まったので公開しておこうかと思います。長いエントリーになりますので、検索サービスの構築に興味がある人だけ閲覧下さい。 一般的な検索エンジンは主に2つのパートに別れます。一つは、クローラとインデクサからなるデータを収集するバックエンド、もう一つは検索を行うフロントエンドです。クローラとインデックス部分に関してはまだ手元で試しているところなのです紹介できる状態にないのですが、Pythonを用いたフロントエンドに関しましては、だいたいやり方がわかってきたので、ここで公開しておこうと思います。個人レベルが作れそうな検索サービスの構築に興味がある方はよんでいただければ幸いです。 [追記]クローラ部分は時間がかかりそうなので、インデクサ部分を公開しました。 全文検索エンジンLuxのboost-pythonを用いた

    全文検索エンジンLuxとPythonの軽量Webアプリケーションフレームワークfapws3で構築する高速検索サービス - FutureInsight.info
    rawwell
    rawwell 2009/05/31
    "利用するソフトウェアは主に以下の二つです。 * 全文検索エンジンLux: http://luxse.sourceforge.net/ * Pythonの軽量Webアプリケーションフレームワークfapws3: http://github.com/william-os4y/fapws3/tree/master"
  • Lux: Distributd full-text search engine

    Lux is a distributed full-text search engine library. It helps to retrieve large amount of documents efficiently.

    rawwell
    rawwell 2009/05/31
    "また、Luxのインストールには以下のソフトウェアが必要です。 * QDBM * MeCab (辞書をUTF8でインストールしてください)"
  • Tokyo Cabinet

    Tokyo Cabinet is the successor of QDBM, a high performance database library similar to the DBM family. It also supports hash and B-tree databases and does not require any server process. The overall speed is improved compared to QDBM.

    rawwell
    rawwell 2009/05/31
    "Tokyo CabinetはGDBMやQDBMの後継として次の点を目標として開発されました。これらの目標は達成されており、Tokyo Cabinetは従来のDBMを置き換える製品だと言えます。 * 空間効率の向上 : データベースファイルがより小さい *
  • DBMによるテーブルデータベース その五 - mixi engineer blog

    ついに発売されたスト4のコンシューマ機版をやりたくてしょうがないけど筐体を買ってもらえないので、駅前のゲーム屋のディスプレー前で垂涎するばかりのmikioです。今回は連載の最終回で、各種スクリプト言語を使ってお手軽にテーブルデータベースを操作する方法について説明します。 TokyoCabinet::TDB まずは、TCのPerlバインディングとRubyバインディングの最新版を入手してください。それぞれテーブルデータベースを扱うための TokyoCabinet::TDB というクラスが加わっています。以下のようなIDLによるガイドラインに準拠したインターフェイスが提供されますので、使い方は言語にかかわらず同じようになるはずです。 module TokyoCabinet { interface TDB { boolean open(in string path, in long omode);

    DBMによるテーブルデータベース その五 - mixi engineer blog
    rawwell
    rawwell 2009/05/31
    "# memcachedのように高速かつ並列に操作できる。 # メモリでなくファイルにデータを格納することでデータを永続化でき、実メモリ容量以上のデータも扱える。 # 単純なkey/valueでなく、各レコードに複数のプロパティを持たせ
  • データベースコンサルタントのノウハウちょい見せ クラウドやマルチコアでの将来のボトルネックはきっとロック処理でしょう。コーディングが変わるかもしれません!?

    各種インフラ技術(OS、ストレージ、ネットワーク)やオラクル製品といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります 「私はOSとストレージとネットワークに興味がある」という割には、そういう話題を書いていませんでした。今日はOSをテーマとして、将来のボトルネックという話を書いてみたいと思います。今回は難しい内容を簡単に説明できていないので、「分からなかった」というコメントが届いたら、丁寧に書き直したいと思います。 さて、「分散メモリー」という技術があります。いいですよね。クラウドコンピューティングは将来バラ色に見えます。 マルチコア化(クアッドだけではなく、8コアとか)も、いいですね。どんどん性能が上がるように思えます。 ここで質問です。クラウドコンピュー

    rawwell
    rawwell 2009/05/31
    "この結果からも分かるように、実はDBMSにおいて、CPUコアは頻繁にデータを捨てたり、ロードしたり、他のCPUと同期をとったりしなければいけません。理由は、「データベースが扱っているデータそのものは複数のCPUで同時
  • データベースコンサルタントのノウハウちょい見せ SQLのシーケンシャルアクセスと実I/Oとしてのシーケンシャルアクセス

    各種インフラ技術(OS、ストレージ、ネットワーク)やオラクル製品といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります 今回は、一部の人には「驚愕の事実」(らしい)、SQLのシーケンシャルアクセスと実I/Oとしてのシーケンシャルアクセスが異なる(ことがある)という話です。 何回か前の記事に、『OTNの記事を読みました。待機イベント名の「sequential(シーケンシャル)」は実質的にはランダムI/O・・・が衝撃的でした』とコメントをいただきました。確かに誤解している人が多い事実です。解説についてはこちら(リプライコメント)を御覧ください。 そのコメントを読んでいて、もっと多くの人が誤解している、ちょっとマニアックなOracleの動作があることを思い出しまし

    rawwell
    rawwell 2009/05/31
    "待機イベントが、db file sequential read (ランダムアクセス)に変化しました! ブロックのアドレスも87988となっていて、きちんと載っていないブロックだけを読み込んでいます。 ●まとめ いかにOracleがキャッシュを有効活用(
  • データベースコンサルタントのノウハウちょい見せ ACIDを超える概念か? 新しいトランザクションの考え方 - BASE

    各種インフラ技術(OS、ストレージ、ネットワーク)やオラクル製品といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります DB使いであれば、ACID(Atomicity、Consistency、Isolation、Durability)は当たり前の考えかと思います。実は、DBMSならACIDが当たり前というのは、思いこみと言っても良いのです。少なくとも、ACID以外の考え方が存在するのは事実です。 今回は、そんな考え方である、BASE(Basically Available、Soft state、Eventually consistent)を紹介します。クラウドなどの世界で徐々に広がりつつある、トランザクションの考え方です。 この記事は、「BASE: An A

    rawwell
    rawwell 2009/05/31
    "●どういう業務にBASEは向くのか? 実は、エンティティが少なく、トランザクションが多いようなシステム、例としてはチャネル(窓口)系のシステムに向きます。多くのエンティティをもち、多数のSQL、複雑なSQLを駆使する