社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
Technical Basic Django deployment with virtualenv, fabric, pip and rsync apache, wsgi, how-to, python, deployment, fabric, postgresql, virtualenv, django Deployment is usually a tedious process with lots of tinkering until everything is setup just right. We deploy quite a few Django sites on a regular basis here at Caktus and still do tinkering, but we've attempted to functionalize some of the cor
vboxはシェルスクリプトで作られたDropboxライクなソフトウェア。 vboxはシェルスクリプト製のオープンソース・ソフトウェア。みんな大好きDropbox。指定されたフォルダを自動的に同期してくれて、別なPCともファイルが共有できる上にバージョン管理までしてくれる。普段は何もしないというのが良い所だ。 動作中 しかしそんなDropboxが便利だと感じる反面、自分だけのDropboxサーバを立てたいと感じている人も少なからず存在する。そんな方はvboxを使ってみるといいだろう。 vboxは何とたった一つのシェルスクリプトファイルでできている。技術的に言うと、自分でサーバを立てて、そこにある特定のディレクトリとローカルのディレクトリをrsyncで同期する。それでは単なるバックアップであり、vboxはリモートではGitを使ってバージョン管理を行っている。 複数のコンピュータで同期することも
lsyncdというツールをご存じでしょうか？これを導入することで、リモートのホストとディレクトリ単位で同期をすることができます。 先日のエントリーでも紹介していますが、実は設定や導入がすごく簡単です。した設定でリモート間でファイルの同期をとれるのはやはり便利ですよね。 さて、今回はlsyncdの簡単な導入方法を紹介したいと思います。 lsyncdの仕組み lsyncdはlinux kernel2.6.13で導入された、inotifyというAPIをつかって動作しています。 inotifyはファイルシステムのイベントを取得することができるAPIで、ファイルの作成や削除などをそれぞれイベントとして取得をすることができます。 この仕組みと、rsyncを組み合わせてファイルの同期を行うことを実現しています。 lsyncdのインストール まず、以下のページからsourceをダウンロードしてください。
目的と環境条件 このテキストでは、 rsync を使ったリモートバックアップ（遠隔バックアッ プ）の方法、特に ssh と cron を利用して、暗号化された経路を経由しての バックアップを自動的に行うための手順を示します。 ここで ssh の認証には、パスフレーズを空にし、かつ実行できるコマンドを 限定した ssh 鍵ペアを作成し使用します。これにより、 ssh-agent や eychain を利用する方法、ホストベース認証を利用する方法よりも安全なバッ クアップ体制が整えられる……はずです。 なお、このドキュメントの内容の正確さについては無保証です。なんせ、備忘 録みたいなものですので……。また、このドキュメントに書かれていることを 実行した結果直接的および間接的に発生した損害について、私（佐藤裕介）は 何ら責任を負いかねます。 用語の説明 ローカルホスト、ローカルマシン、ローカル
データのバックアップを行う際に、rsyncを利用することは良くある。サーバ間でも使えて、削除したファイルを消してしまう同期や、消さないバックアップなど様々なオプションが存在するのが便利だ。 フォルダをドラッグアンドドロップで登録できる これは何もサーバのみならず、個人でも十分利用できる。例えばMac OSXのTimeMachineでも使われている技術だ。そんなrsyncをウィジェットから扱うのがこのソフトウェアだ。 今回紹介するフリーウェアはrsyncw、rsyncのウィジェット版フロントエンドだ。 rsyncwはMac OSXのウィジェットとして動作するソフトウェアで、二つのディレクトリを登録し、後は同期ボタンを押すだけでデータの同期処理を行ってくれる。ごく手軽で、非常に分かりやすいソフトウェアだ。 同期中 さらに、rsyncのオプションをそれぞれ指定できるのが良い。細かなオプションは抜
1 Mar 1999 NAMErsync - rcp よりも速くて、柔軟性に富んでいます SYNOPSIS rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... SRC [SRC]... DEST rsync [OPTION]... [USER@]HOST::SRC [DEST] rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 説明 rsync は rcp とほとんど同じ方法で動くプログラムですが、より多くの オプションを持っています。目的のファイルが既に存在する場合に、 rs
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
