インフラ専任エンジニアが一人もいないSmartNewsにおけるクラウド活用法

!
インフラ専任エンジニアが一人も居ない
SmartNews におけるクラウド活用法
#SmartTechNight / SmartNews Tech Night Vol.2

https://www.techinasia.com/smartnews-us-1m-monthly-active-users/

Edge of traﬃc(JP)

ML-Based News App

インフラ専任エ
ンジニアがひと
りも居ない

≠インフラに強いエンジニアが居ない

!
インフラ専任がいない

なぜ専任が居ないのか？
• 組織が少人数である

• クラウドサービスを活用している

エンジニアも少数精鋭

2012年末 : １人 
2013年末 : ５人 
2014年末 : 15人 
2015年末 : ？？

!
少人数の組織


2012年末 : １人 
2013年末 : ５人 
2014年末 : 15人 
2015年末 : ？？

!
少人数の組織
SmartNewsリリース
エンジニア：社長のみ


2012年末 : １人 
2013年末 : ５人 
2014年末 : 15人 
2015年末 : ？？

!
少人数の組織
300万ダウンロード(2014/02)
サーバーサイドエンジニア:１人 
(他 : ネイティブアプリx1 / 機械
学習x2 / 社長x1)


2012年末 : １人 
2013年末 : ５人 
2014年末 : 15人 
2015年末 : ？？

!
少人数の組織
1000万ダウンロード(2015/02)
広告事業開始 
サービス規模相応の体制に
(それでも少人数)

選択と集中
• 本当に大事なところだけに集中
• ネイティブアプリ／サーバーアプリ
(API、機械学習）／データ解析

• それ以外は外部に任せる
• ハードウェア、ネットワーク、etc…

• 自社で管理するには人が足りない…

“If we have seen further, it is by standing on
ye shoulders of Giants.”

クラウドを使う理由
• 以下、釈に説法です

• 欲しい時に必要なコンピュート資源やサー
ビス機能を調達することが出来る

• それらをAPIを用いてプログラマブルにコ
ントロールできる


サーバーやネットワーク、データセン
ターの管理や契約業務、必要機能の開
発などから開放される



• それらをAPIを用いてプログラマブルに
コントロールできる
日々のオペレーション業務を省力化・
自動化することができる

クラウドサービスを活用するということ

最初期から現在まで、サービスのバックエ
ンドのすべてがクラウドサービス上に存在
する

!
SmartNewsとクラウド

なぜSmartNewsではクラウドをフル活用す
ることができたのか？

!

なぜSmartNewsではクラウドをフル活用す
ることができたのか？

運が良かったから

!

運とは？
• クラウドサービスが実用に耐えるように
なっていた（機能、安定性、お金、etc）

• 10年前では無理

• 数年前でも無理かも

• SmartNewsがクラウドサービス向けの
アーキテクトになっているから

クラウドに向かない処理
• write heavyな処理

• 域内でハイトラフィックなネットワーク
(over 10Gbps)が求められる処理

• リアルタイム性の高い処理

• その他、低レイヤーのカリカリのチュー
ニングやカスタマイズが必要な処理

なぜ向かないか？
• 仮想環境の限界

• ネットワーク最適化をユーザーが行う事
が難しい事が多い

• ハードウェアのカスタマイズや導入が難
しい

• Fusion IO, InﬁniBand, FPGAなど

クラウドでも大丈夫な処理
• write heavyではなく、ディスクアクセス
も少ない

• そこまでの域内トラフィックは求められ
ない

• リアルタイム性がそこまで高くない

• 疎結合

• バックエンドは非同期処理を多用 
(同期的書き込みを減らす)

• ディスクへのアクセスを極力減らす

• 短期的なキャッシュを用いて大量のリク
エスト処理を捌く
システムの特徴

構成概略
http://aws.amazon.com/jp/solutions/case-studies/smartnews/

構成概略
記事を収集し分析するシステム。
大量の処理すべきデータを自作の分散
オンメモリストレージに保存 & 永続的
ストレージへ遅延書き込み。

構成概略
ネイティブアプリとのインタラクショ
ンを行うAPI。engineの解析内容を短
期的にキャッシュしつつ高速に配信。

構成概略
分析engineと外部向けAPIは完全に別
システムで、RestfulAPIにて情報をや
りとり。

構成概略 <other APIs>
他にも各種RestfulAPIと連携して処理
を行う（画像クオリティ判定API、国
籍判定API、固有表現抽出APIなど）

短期的なキャッシュの仕組み
簡易的なフレームワークを用いてデー
タを短期的に各種キャッシュレイヤー
に保存。データ構造も最適化した上で。

短期的なキャッシュの仕組み
Cache
API
Background
Origin 
API
or
DB
<every N seconds>
<on demand>
データの種類によってCacheStrategy
を切り替える。

• SmartNewsは比較的クラウド上で動作さ
せても性能に支障が出ないアーキテクト
になっている

• そのように工夫している側面ももちろん
ある
システムの特徴

どのようにクラウドを活用しているか

• 全体の仕組みを話すと時間が足らないの
で、以下に絞って話します

• provisioning toolなどを活用した透過的
な運用

• SaaSの活用

• 情報グルーとしてのslack
どのように活用しているか

#SmartTechNight / SmartNews Tech Night Vol.2 © SmartNews Inc. All right reserved.
• chefやfabricなどのprovisioning toolなど
のツールを活用して透過的に誰でもサー
バーの管理やdeployが行えるように

• 弊社のエンジニアでchefのrecipeを書い
たことの無い人はいない（はず） 
39
provisioning toolの活用

• 主に監視機能や、メトリクス可視化の強
化など、より安定したサービスをより高
速に提供するため。

• 多くのSaaSがAPIを提供しており、既存
のシステムにaddonで組み合わせて連携
することができる 
SaaS活用

Datadog

NewRelic

pagerduty

logentries

chartio

ref. #dd_sushi
http://blog.takus.me/2015/02/26/dd-sushi/

ref. takusの資料
https://speakerdeck.com/takus/smartnews-to-datadog

• datadog、pagerdutyなどの監視アラート
をslackに集約

• slack上で現状共有や対策の協議など
情報グルーとしてのSlack

情報グルーとしてのSlack
• Slackにﬂow情報が集約されている

• 「チラ見」してるだけでも色々なチーム
の状況が分かる

• ふらっと議論に参加もできる

• 「情報」をAPIを使ってプログラマブルに
自由自在に組み立てられる



必要な時に、必要な機能を、APIを介し
て、自社向けにさまざまな形でのりづけす
るように組み立てていく事ができるのが、
クラウド時代のシステムである

インフラエン
ジニアとは？

“企業の情報システムを構成するコン
ピュータや通信ネットワークなどの調達・
導入や運用、管理、調整、更新などを専門
に行う技術者。また、そのような業務を担
う職種。” (IT用語辞典 e-wordsより引用）

インフラエンジニアとは？

インフラ設計
インフラ構築インフラ運用
『インフラエンジニアの教科書』より引用

正直、私の知識と経験では網羅的に語る事
が難しいので、経験（Webサービス、スマ
フォアプリ）から得た知見として話します


サーバーシステムスタック
物理ネットワーク
データセンター
ハードウェア
論理ネットワーク
OS
ミドルウェア
アプリケーション

ハードウェア
OS
ミドルウェア
インフラエンジニア
エンジニア

ハードウェア
OS
ミドルウェア
クラウドサービス
事業者

ハードウェア
OS
ミドルウェア
クラウドサービス
事業者
低レイヤーの環境についてはクラウド
事業者が提供するサービスを使用し自
前では管理しない、という選択肢が普
通になってきた

運用スタック
M/W
App
構築監視障害対応
H/W

運用スタック
M/W
App
H/W
インフラ
アプリ

運用スタック
M/W
App
H/W
ハードウェア環境は
クラウドサービス事業者に依存
インフラ
アプリ
クラウド

運用スタック
M/W
App
H/W
SaaSを用いた監視
インフラ
アプリ
クラウド
SaaS

運用スタック
M/W
App
H/W インフラエンジニアとアプリケーション
エンジニアの対象となるレイヤーが重なっ
てきている
インフラ
アプリ
クラウド
SaaS

• 実際にSmartNewsはクラウドベースな
サービスとして成立しています

• 専任のインフラエンジニアは居ません

• 一番インフラエンジニアっぽいtakus
もプログラム書いてます
まとめ

インフラ専任エンジニアが一人もいないSmartNewsにおけるクラウド活用法

More Related Content

インフラ専任エンジニアが一人もいないSmartNewsにおけるクラウド活用法