タグ
- すべて
- iPhone (36)
- jQuery (12)
- あとで読む (38)
- 参考 (7)
- #プログラミング (6)
- *web制作 (63)
- *あとで (16)
- *あとで読む (248)
- *プログラミング (30)
- AI (124)
- API Gateway (6)
- AWS Lambda (10)
- AdWords (11)
- Android (90)
- Apache (56)
- Apple (27)
- Auth (14)
- BERT (31)
- Backup (12)
- BigQuery (22)
- Bluetooth (10)
- Bootstrap (7)
- CDN (13)
- CROSS (12)
- CSS (59)
- CSSスプライト (6)
- ChatGPT (43)
- Cluster (31)
- Combine (25)
- C言語 (9)
- DASH (10)
- DB (58)
- DMP (12)
- DOM (22)
- DSP (27)
- DeNA (7)
- DevOps (12)
- Dropbox (6)
- EC (30)
- ECS (11)
- ECサイト (11)
- Electron (18)
- Elixir (17)
- Excel (7)
- Exception (12)
- Facebook (47)
- Firebase (52)
- Firefox (6)
- Firestore (6)
- Flutter (10)
- GUI (10)
- Google (128)
- Google Analytics (15)
- Go言語 (7)
- H.264 (27)
- HDD (8)
- HLS (11)
- HTML5 (53)
- HTTP (62)
- Hack (32)
- Hotwire (10)
- IPv6 (16)
- JAVA (87)
- LDAP (13)
- LLM (56)
- LTSV (7)
- LVS (17)
- MDA (7)
- MGMT (52)
- Mac (26)
- Machine Learning (17)
- Mobile (8)
- MultiCore (10)
- MyISAM (6)
- NIC (9)
- NUMA (12)
- Netflix (7)
- Objective-C (15)
- OpenCV (10)
- OpenResty (7)
- OpenSolaris (8)
- PWA (8)
- PostgreSQL (10)
- R (12)
- RTB (20)
- Rack (9)
- Rails (114)
- Raspberry Pi (13)
- Rust (32)
- RxSwift (9)
- S3 (21)
- SAN (89)
- SEM (6)
- SEO対策 (6)
- SOAP (11)
- SSD (18)
- SSL (16)
- SSO (25)
- Security (73)
- Server (223)
- Sinatra (41)
- Stable Diffusion (13)
- Storage (68)
- Streaming (34)
- Svelte (31)
- SwiftUI (28)
- TOEIC (10)
- Tech (87)
- Tips (65)
- Titanium (9)
- Tools (11)
- Tuning (28)
- Turbo (11)
- TwitterStreamingAPI (7)
- TypeScript (14)
- UDID (6)
- UI (76)
- USB (16)
- UX (37)
- VGA (11)
- VSS (13)
- VT (31)
- VirtualBox (7)
- Web (244)
- Websocket (11)
- Windows (19)
- XML (9)
- Yahoo (13)
- actionscript (12)
- ad (64)
- ajax (8)
- algorithm (10)
- amazon (62)
- analytics (16)
- animation (13)
- api (84)
- app (19)
- architecture (15)
- as2 (10)
- aws (170)
- bitcoin (6)
- browser (13)
- business (12)
- c++ (28)
- c10k (10)
- cache (8)
- centos (21)
- chef (17)
- chrome (39)
- cloud (33)
- command (8)
- cookie (36)
- cpu (25)
- cross domain (12)
- css sprite (7)
- css3 (11)
- database (27)
- deep learning (23)
- design (36)
- development (50)
- docker (99)
- e-learning (7)
- ec2 (25)
- elasticsearch (33)
- erlang (28)
- eventmachine (11)
- ffmpeg (37)
- flash (54)
- fluentd (52)
- flv (13)
- fpga (8)
- framework (19)
- gae (12)
- gem (8)
- git (66)
- git-flow (7)
- github (87)
- go (86)
- golang (65)
- gpu (15)
- groonga (8)
- grpc (12)
- hadoop (48)
- hardware (14)
- hbase (7)
- html (36)
- iBeacon (13)
- iFrame (15)
- iPad (7)
- iPhone (78)
- iSCSI (12)
- innodb (15)
- intel (7)
- interface (11)
- ios (89)
- iot (21)
- ipmi (8)
- jQuery Mobile (7)
- javascript (221)
- jquery (21)
- json (19)
- kerberos (16)
- kernel (17)
- kibana (12)
- kubernetes (70)
- lambda (44)
- library (15)
- linux (74)
- log (14)
- lua (31)
- marketing (28)
- media (24)
- memcached (16)
- memory (10)
- microsoft (12)
- module (8)
- mongodb (25)
- monitoring (11)
- mp4 (14)
- mroonga (8)
- mysql (114)
- network (58)
- nginx (80)
- node.js (35)
- nosql (15)
- oauth (45)
- packet (8)
- performance (122)
- perl (9)
- php (22)
- presentation (7)
- processing (9)
- programming (66)
- proxy (13)
- python (58)
- redis (45)
- research (8)
- ruby (208)
- ruby on rails (9)
- scala (7)
- search (18)
- seo (63)
- serverless (12)
- slack (12)
- slideshare (7)
- software (18)
- solaris (11)
- sound (10)
- spark (10)
- spnego (19)
- sql (18)
- ssh (14)
- statistics (12)
- stream (7)
- swift (50)
- tcp (23)
- technology (14)
- tomcat (8)
- tool (15)
- twitter (20)
- unicorn (7)
- vagrant (8)
- video (74)
- vim (10)
- visualization (11)
- webサービス (92)
- webデザイン (61)
- webマーケティング (10)
- web制作 (120)
- web開発 (60)
- wordpress (41)
- wowza (8)
- xcode (14)
- youtube (12)
- zfs (8)
- あとでみる (14)
- あとで読む (424)
- お役立ち (14)
- まとめ (53)
- アイデア (22)
- アクセス解析 (26)
- アジャイル (18)
- アトリビューション (9)
- アドテク (20)
- アドネットワーク (8)
- アナリティクス (8)
- アニメーション (17)
- アフィリエイト (22)
- アプリ (112)
- アプリケーション (48)
- アメリカ (24)
- アルゴリズム (73)
- アーキテクチャ (75)
- インストール (29)
- インフラ (22)
- エンジニア (155)
- オブジェクト指向 (18)
- オープンソース (15)
- カスタマイズ (8)
- ガイドライン (20)
- キャッシュ (27)
- キャンペーン (10)
- クラウド (32)
- クラスタ (12)
- グラフ (21)
- ゲーム (45)
- コマンド (21)
- コミュニケーション (41)
- コンテンツ (41)
- コーディング (21)
- サイト (47)
- サーバ (78)
- サービス (95)
- システム (68)
- システム管理 (85)
- システム開発 (24)
- スクレイピング (13)
- スタートアップ (24)
- ストレージ (50)
- スマホ (10)
- スマートフォン (35)
- スマートフォンサイト (8)
- スライド (28)
- スレッド (9)
- セキュリティ (132)
- ソフトウェア (45)
- ソフトウェア開発 (12)
- ソーシャル (7)
- ソーシャルゲーム (12)
- ソーシャルメディア (13)
- ダイエット (14)
- チュートリアル (33)
- チューニング (50)
- ツール (67)
- テクニック (12)
- テスト (75)
- テンプレート (17)
- ディープラーニング (18)
- デザイン (136)
- デザインパターン (11)
- デバッグ (19)
- データ (79)
- データベース (53)
- データマイニング (13)
- データ分析 (12)
- トランザクション (12)
- トレーニング (39)
- ドキュメント (56)
- ネタ (31)
- ネットワーク (54)
- ネット広告 (12)
- ハードウェア (17)
- バックアップ (9)
- パフォーマンス (67)
- ビジネス (96)
- ビジネスモデル (13)
- ビッグデータ (9)
- フレームワーク (16)
- ブラウザ (38)
- ブロックチェーン (7)
- プライバシー (9)
- プラグイン (14)
- プレゼン (36)
- プレゼンテーション (15)
- プログラマ (29)
- プログラミング (238)
- プログラミング言語 (10)
- プロジェクト (56)
- プロジェクト管理 (33)
- プロセス (25)
- マネジメント (70)
- マルチスレッド (8)
- マーケティング (112)
- メディア (22)
- メモリ (32)
- ユーザビリティ (12)
- ライフハック (17)
- ライブラリ (29)
- ランディングページ (9)
- リスティング (8)
- レイアウト (14)
- レコメンド (9)
- レシピ (22)
- ログ (34)
- 並列処理 (29)
- 中国 (9)
- 人事 (11)
- 人口 (9)
- 人工知能 (31)
- 仕事 (189)
- 仕事術 (21)
- 仕様 (26)
- 仮想化 (22)
- 企業 (51)
- 企画 (9)
- 会社 (40)
- 会計 (16)
- 例外 (9)
- 健康 (17)
- 入門 (67)
- 全文検索 (18)
- 分散 (23)
- 分析 (72)
- 勉強 (109)
- 勉強会 (7)
- 勉強法 (10)
- 動画 (70)
- 協調フィルタリング (7)
- 可視化 (24)
- 基礎 (23)
- 学習 (178)
- 広告 (112)
- 形態素解析 (14)
- 心理 (27)
- 性能評価 (7)
- 情報 (109)
- 技術 (177)
- 投資 (56)
- 採用 (26)
- 携帯 (13)
- 携帯サイト (7)
- 教育 (44)
- 数学 (33)
- 文字コード (7)
- 文章 (24)
- 料理 (27)
- 日本 (22)
- 暗号 (13)
- 書き方 (22)
- 書籍 (26)
- 最適化 (16)
- 本 (32)
- 検索 (66)
- 機械学習 (159)
- 歴史 (26)
- 消費電力 (7)
- 環境 (23)
- 生活 (15)
- 画像 (35)
- 監視 (16)
- 研究 (36)
- 社会 (16)
- 科学 (33)
- 筋トレ (21)
- 組織 (47)
- 経営 (44)
- 経済 (43)
- 統合認証 (10)
- 統計 (60)
- 統計学 (27)
- 考え方 (101)
- 考察 (12)
- 脆弱性 (11)
- 自動化 (11)
- 自然言語処理 (46)
- 英語 (58)
- 英語学習 (37)
- 著作権 (8)
- 解析 (36)
- 解説 (36)
- 設定 (48)
- 設計 (94)
- 認証 (54)
- 認証基盤 (15)
- 読み物 (9)
- 課金 (13)
- 論文 (20)
- 負荷分散 (38)
- 資料 (121)
- 起業 (23)
- 運用 (143)
- 開発 (441)
- 開発環境 (20)
- 電子工作 (11)
- 電子書籍 (15)
- 音楽 (11)
- 高速化 (24)
- 開発 (441)
- あとで読む (424)
- *あとで読む (248)
- Web (244)
- プログラミング (238)
- Server (223)
- javascript (221)
- ruby (208)
- 仕事 (189)
- 学習 (178)
mapreduceに関するmiguchiのブックマーク (5)
-
miguchi 2016/11/06
- serverless
- lambda
- MapReduce
リンク -
Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - Technofara
今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析も必要になってくると思い調査し始めたのがきっかけです。 調べてみると、Redshift、Big Query、TreasureDataなど色々あるんですね、 でも今回は、Facebookで流れてきた記事に目がとまったので、まずはとElastic MapReduceの調査をしてみました。 構成としては、Elastic MapReduce + S3 + Fluentd + nginxでやってみます。 Nginxで書きだしたltsv形式のログが、fluentdでS3に転送されています AWS上で準備（Elastic MapReduce Job Flows作成）
-
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
-
Hadoopのシステム設計・運用のポイント
5. ハードウェア選定の基本的な考え • スレーブノード • コモディティサーバを使う • コモディティ＝コストパフォーマンスが高い • ローエンドサーバではない！ • マスタノード • 従来の高信頼性サーバを使う • ネットワーク • ラック内ネットワークは1GbitLANで十分 • ラック間ネットワークは10GbitLANが必要 • これも構築時に一番コストパフォーマンスが高いものを選 択する 6. ハードウェア選択:スレーブノード • スレーブノードでは以下のサービスが稼働する • データノード(HDFS) • タスクトラッカー(MapReduce) • リージョンサーバ(HBase) • ディスクを大量にRAIDなしで積む • エントリーモデル: 1TB * 8 • 標準: 2TB * 8 • 高集約型: 3TB * 12 • SSD も 15
-
-
1
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定を変更しましたx