Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines) I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processing, and Hadoop data ingestion. To actually make this work, though, this "universal log" has to be a cheap abstraction. If you want to use a system as a central data hub
Optimizing Java CMS garbage collections, its difficulties, and using JTune as a solution Introduction Let's say you are running Java in a production environment, and one of the instances that plays a critical role fell out of SLA. What do you do? Java tuning has a history of shotgun-approach techniques to recover the service, but what if you had a tool that could: Tell you what the JVM is doing in
LinkedIn、の2014Q2の売上は5億3390万ドル、5年間の成長がわかる四半期毎の売上グラフも CHART: LinkedIn’s Revenue Is A Rocket Ship <ピックアップ> CHART: LinkedIn’s Revenue Is A Rocket Ship ソーシャル・リクルーティングの先駆け、エンジェル投資家としても著名なPayPalマフィア、リード・ホフマン氏率いるLinkedInのここ5年の売上成長記録がBIの公開グラフとして掲載されていましたので、ご紹介します。LInkedInの創業は2003年5月ですから、6年間ぐらいは数ミリオン（日本円で数億円）規模だったんですね。 そして見て分かる通り、非情に奇麗な曲線のようなグラフを描いて成長しております。スタートアップがどういう市場を選択し、どういう成長曲線を描くべきか、お手本のようでこの分野取られてま
As 2013 draws to a close, we thought it would be interesting to look back at the year that was and try to answer a simple question: “Who’s getting hired and what are they doing?” Our approach involved analyzing the skills and employment history of more than 259 million LinkedIn members’ profiles. Expertise (skills) and experience (work history) represent the primary components of professional iden
Apache / Giraph / Welcome To Apache Giraph! Last Published: 2020-08-11 | Version: 1.4.0-SNAPSHOT Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and their connections. Giraph originated as the open-source counterpart to Pregel, the graph processing a
Optimizing Linux Memory Management for Low-latency / High-throughput Databases Co-author: Cuong Tran Table of Contents Introduction Setting up the context Reproducing and understanding Linux's zone reclaim behavior NUMA memory rebalancing also triggers direct page scans Lessons learned Introduction GraphDB is the storage layer of LinkedIn's real-time distributed social graph service. Our service h
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013 Facebook、Twitter、PayPal、LinkedInのMySQL担当エンジニアが集まり、それぞれの社内のMySQL利用状況、課題、これから期待する新機能などを語ったパネルディスカッションが、9月21日から23日までサンフランシスコで開催されたMySQLのイベント「MySQL Connect」の3番目の基調講演として行われました。 世界でもっともヘビーなMySQLユーザーといえる4社は、MySQLについてどのようなことを考えているのか、基調講演の内容をダイジェストで紹介しましょう。 Current MySQL Usage Models and Future Developments ──── まずはそれぞれの所
いまスペインのバルセロナにおります。 今回は就職活動が目的ではないのですが、LinkedInでバルセロナにオフィスがある会社のiOSアプリ開発者の求人を見つけたので、申し込んでみました。 で、初めて海外の会社のSkype面接を受けたので、そのメモを残しておきます。 ※なぜスペインにいるの？というあたりの経緯はこちらをご参照ください 経緯 冒頭にさらっと書きましたが、Skype面接を受けるまでの経緯は LinkedInで3件ほど「バルセロナの会社で、かつiOS開発者を募集している」求人を見つけて、申し込む うち1件は速攻で返信がきて落ちる 数時間後もう1件の担当者からメールがあり、スカイプ面接の打診を受ける すぐに提示された日程の中で一番早い時間を指定してOKの返信をする という感じです。申し込み〜実際の面接まで30時間ぐらい。ちなみにもう1件は今のところ返信がありません。 自分の英語力 こ
LinkedInの創業者であるリード・ホフマン氏は1990年にスタンフォード大学を卒業後いくつかの会社を始めましたが、そのほとんどは失敗に終わるなど、多くの問題を乗り越えて現在の地位にたどり着きました。「自分が本当にやりたいことがわかるまでは大学を卒業してから15年かかった」、と言うホフマン氏が社会に出て成功するための「The 3 Secrets Of Highly Successful Graduates(大成功した卒業生の3つの秘密)」というプレゼンテーションを大学の卒業生にアドバイスとして贈りました。 Amazing Career Advice For College Grads From LinkedIn's Billionaire Founder - Business Insider http://www.businessinsider.com/amazing-career-ad
ビジネス向けSNSを提供する米LinkedInが、社内開発した更新通知のためのフレームワーク「Databus」をオープンソースで公開した。ほぼリアルタイムでデータベースの変更をキャプチャできるという。 Databusは分散型のデータ変更キャプチャシステム。同社のデータ処理パイプラインの一部として開発された。データソースに依存せず、タイムラインと一貫性を保ちながら新しいレコードの追加、変更、削除といった情報が含まれるデータを提供するという。遅延の少ない伝送レイヤを持ち、ほぼリアルタイムで変更に関する情報を取得、処理できるのが特徴。 変更を監視するデータベースコネクタ、最近の変更を効率的に取得するためのインメモリ・リレー、スナップショットを格納しクエリをかけられるブートストラップサービス、シンプルなAPIを利用して変更を取得するクライアントといったコンポーネントで構成される。データベースコネク
Since I've been declared the local Java Garbage collection guru[1], I've found myself answering the same kinds of questions over and over. "Why am I getting frequent GC pauses?", "How do I avoid long GC pauses?", "Concurrent mode failure - how bad is that?" In the spirit of teaching people to fish, I thought I'd get together a blog post on how you (yes, you!) can tune the garbage collector for som
テキストなど非構造化データのデータベース機能とサーチエンジン機能を兼ね備えた分散リアルタイムデータベース「SenseiDB」が、オープンソースとして公開されています。 SenseiDBとは先生DBの意味らしく、「Sensei (先生) means teacher or professor in Japanese」と説明があり、ロゴにも「師」の文字が使われています。なぜ先生なのか、その意味について以下のように説明があるのですが…… This name indicates that the system can be used in place of Oracle database in many applications. この名前が示しているのは、このシステムが多くのアプリケーションにおいてOracleデータベースで使われているところで利用可能だということです。 TeacherやProfe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
