2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
タグ
- すべて
- ! (252)
- !! (10)
- (w (134)
- *i (6)
- *映画 (6)
- *本 (28)
- *検討中 (36)
- *要再チェック (24)
- *要再考 (92)
- *要再読 (40)
- *要望中 (77)
- + (10)
- +tard (2272)
- ..Ichijou (8)
- ..Masui (7)
- ..betsuyaku (22)
- ..essa (6)
- ..furyu (6)
- ..id..facet (34)
- ..id..finalvent (14)
- ..id..hyuki (8)
- ..id..jkondo (16)
- ..id..m4i (6)
- ..id..naoya (7)
- ..id..reikon (6)
- ..id..snakajima (13)
- ..id..tsupo (23)
- ..id..umedamochio (10)
- ..id..wanpark (11)
- ..kit (7)
- ..kyorecoba (6)
- ..ma.la (12)
- ..okada (8)
- 2004 (6)
- 2005 (9)
- 2005-08 (6)
- 2005-12 (7)
- 2006 (7)
- 2006-01 (12)
- 3.14 (6)
- 3D (6)
- @Wikipedia (10)
- @_@ (7)
- @ceek (6)
- A (15)
- AI (8)
- API (140)
- AdSense (6)
- Ajax (148)
- Amazon (100)
- Analytics (27)
- Android (24)
- AppEngine (15)
- Apple (21)
- Apps (7)
- Atom (11)
- B (685)
- BD (10)
- Base (40)
- Bloglines (12)
- BookSearch (10)
- Books (8)
- Bourgogne (8)
- Bretagne (54)
- CA (9)
- CC (7)
- CMS (6)
- CPE (18)
- CSRF (6)
- CSS (101)
- Calendar (30)
- Checkout (6)
- Chrome (19)
- Cinnamon (12)
- Cocolog (459)
- Code (8)
- D (265)
- D! (14)
- DOM (12)
- DPZ (12)
- DS (11)
- DVD (17)
- Desktop (19)
- Docs (12)
- Dojo (6)
- E4X (6)
- ESA (69)
- EU (87)
- Earth (73)
- English (36)
- Europe (17)
- Evernote (7)
- F (28)
- FAQ (6)
- Facebook (8)
- Firebug (7)
- Firefox (269)
- Flash (20)
- Flickr (73)
- France (1056)
- G (87)
- G! (9)
- GIS (7)
- GJ! (38)
- GPL (7)
- GPS (48)
- Gadgets (12)
- Gears (7)
- Gmail (80)
- Google (1014)
- Google.org (6)
- Googlism (6)
- Graph (7)
- Greasemonkey (168)
- H (8)
- HTML (42)
- Hatelabo (15)
- Hatena (438)
- Hatena1.5 (12)
- Home (6)
- IE (42)
- IE7 (6)
- IME (40)
- ISS (91)
- IT (118)
- ITER (6)
- JAXA (259)
- JSON (31)
- JSONP (6)
- Japan (11)
- Japon (16)
- JavaScript (496)
- K (16)
- Kindle (8)
- KurataKougorou (8)
- LeWeb3 (8)
- Linux (34)
- Local (6)
- Logo (9)
- Loire (9)
- Lyon (8)
- M (6)
- ML (6)
- MM (9)
- MS (62)
- Mac (87)
- Maps (127)
- MovbleType (32)
- Mozilla (8)
- NASA (154)
- NHK (8)
- NLP (19)
- Net (154)
- Ning (7)
- OOP (10)
- OS (13)
- OSS (28)
- OpenSky (9)
- Opera (18)
- P2P (10)
- PC (82)
- PHP (30)
- PS3 (14)
- Paris (56)
- Perl (20)
- Picasa (22)
- Plagger (12)
- Q (56)
- R (44)
- RDF (10)
- RSS (62)
- Rails (49)
- Reader (7)
- Ring (36)
- Ruby (61)
- S (79)
- SBM (86)
- SELENE (7)
- SF (44)
- SNS (32)
- Safari (12)
- SciTech (181)
- SemanticWeb (7)
- Skype (27)
- Sony (9)
- Spreadsheets (16)
- StreetView (9)
- StructuredBlogging (15)
- TV (36)
- T_T (9)
- Toolbar (14)
- Transit (8)
- Translate (11)
- Tropy (14)
- Twitter (57)
- TypePad (12)
- UD (8)
- UI (194)
- UIEngine (7)
- USA (51)
- Vox (11)
- W-ZERO3 (11)
- W3C (12)
- Web2.0 (26)
- WebServices (7)
- WiFi (10)
- Wii (20)
- Wiki (39)
- Wikipedia (35)
- Win (14)
- Windows (41)
- WisdomOfCrowds (17)
- XML (22)
- XPrize (11)
- XUL (7)
- YUI (11)
- Yahoo (56)
- YahooJAPAN (9)
- YouTube (35)
- ^^ (32)
- ^^; (60)
- accessibility (16)
- ad (16)
- affiliate (24)
- anime (48)
- app (54)
- archive (13)
- art (10)
- beta! (9)
- betted (11)
- biz (48)
- bk1 (8)
- blog (219)
- blogParts (10)
- book (16)
- bookey (12)
- bookmarklet (103)
- browser (21)
- bug (7)
- category (10)
- chateau (11)
- closure (10)
- clustering (10)
- color (8)
- commented (84)
- communication (9)
- data (42)
- datetime (7)
- del.icio.us (102)
- design (48)
- dev (36)
- dic (33)
- eBook (20)
- eco (58)
- editor (13)
- effect (17)
- emergence (12)
- energy (13)
- extension (151)
- f- (13)
- facet (20)
- feed (13)
- film (7)
- finalvent (8)
- folksonomy (28)
- font (22)
- framework (8)
- francais (151)
- gadget (17)
- game (32)
- geo (72)
- goo (11)
- health (8)
- help (11)
- hosting (11)
- i (395)
- i.理由なし却下関連 (13)
- i18n (28)
- iCal (8)
- iPad (13)
- iPhone (92)
- iPod (19)
- iTunes (12)
- idea (35)
- image (15)
- info (12)
- installed (25)
- interesting (111)
- interface (11)
- jQuery (32)
- jkondo (48)
- keyword (129)
- laVie (12)
- latin (16)
- ldr (26)
- lib (48)
- library (9)
- life (121)
- livedoor (35)
- livedoorReader (7)
- ma.la (54)
- mail (35)
- manga (24)
- map (64)
- mashup (27)
- microformats (14)
- micropayment (19)
- mixi (19)
- mobile (163)
- mturk (9)
- music (79)
- naoya (16)
- neta (8)
- news (33)
- nico (14)
- niconico (20)
- nifty (46)
- niftyClip (14)
- nobody (10)
- orz (28)
- permalink (11)
- phone (8)
- photo (48)
- photosharing (15)
- podcasting (12)
- privacy (12)
- programming (22)
- prototype.js (25)
- ref. (73)
- reikon (9)
- restaurant (10)
- robot (30)
- sbライセンス問題 (7)
- script.aculo.us (8)
- search (181)
- security (51)
- service (76)
- sharing (15)
- social (72)
- software (42)
- spam (57)
- staff (8)
- storage (9)
- tag (52)
- tagging (45)
- tech (32)
- test (7)
- tinycafe (10)
- tips (68)
- tool (137)
- tools (8)
- trackback (36)
- trans (14)
- tsupo (10)
- tutorial (13)
- umedamochio (8)
- util (52)
- velocipede (11)
- video (8)
- vin (17)
- wanpark (20)
- web (490)
- world (15)
- www (14)
- ★ (1084)
- あしか (11)
- あとで読む (10)
- いいですね (11)
- これは (25)
- これはすごい (31)
- これはひどい (10)
- な、なんだってー！！ (8)
- なるほど (31)
- なんか気になる (15)
- はてな (34)
- ふむ (44)
- へえ (28)
- べつやくれい (61)
- みんなで解決！広場 (167)
- ん？ (12)
- アニメ (58)
- アフリカ (9)
- アラブ (7)
- イギリス (12)
- イタリア (10)
- インド (19)
- エネルギー (11)
- カテゴリ (7)
- キター (8)
- キット・タケナガ (7)
- キャンセル (27)
- ギリシャ (8)
- クロクロ (15)
- ケータイ (37)
- ゲド戦記 (11)
- コトバ (313)
- サッカー (11)
- チベット (9)
- デジカメ (45)
- ドイツ (10)
- フリーソフト (13)
- ムハンマド風刺画騒動 (7)
- ロケフリ (8)
- ロシア (58)
- ロボット (8)
- 不具合 (9)
- 世界 (114)
- 中国 (372)
- 中国語 (12)
- 中島聡 (10)
- 五輪 (9)
- 京都 (7)
- 他の方法 (20)
- 写真 (337)
- 動画 (133)
- 匿名性 (10)
- 却下 (44)
- 台湾 (11)
- 和 (70)
- 図書館 (9)
- 国際 (111)
- 地球 (46)
- 増井俊之 (10)
- 夏 (7)
- 多言語 (7)
- 天文 (153)
- 宇宙 (1260)
- 宗教 (12)
- 実装済 (76)
- 山陰 (7)
- 岡田有花 (16)
- 工藤拓 (8)
- 市絛三紗 (10)
- 帰国食い (27)
- 引用 (51)
- 後で (18)
- 後でまた (71)
- 後で読む (8)
- 後で読もう (7)
- 投げ銭 (7)
- 教育 (23)
- 文化 (79)
- 文字 (11)
- 文字化け (37)
- 旅 (13)
- 旅行 (12)
- 日本 (444)
- 日本語 (27)
- 映画 (31)
- 暦 (12)
- 朝鮮 (12)
- 木 (9)
- 本 (117)
- 桜 (9)
- 歴史 (29)
- 気が向いたら (7)
- 気になる… (7)
- 海外生活 (12)
- 海外発送 (31)
- 漫画 (45)
- 物欲 (12)
- 犬 (18)
- 猫 (22)
- 理由ナシ却下 (21)
- 環境 (22)
- 由来 (67)
- 社会 (12)
- 空 (7)
- 笑 (8)
- 経済 (11)
- 翻訳 (9)
- 考古 (10)
- 育児 (13)
- 自然 (23)
- 航空 (26)
- 花 (10)
- 英語 (17)
- 著作権 (138)
- 要望 (31)
- 見よう (31)
- 見る (9)
- 訳 (10)
- 語源 (16)
- 読もう (7)
- 車 (21)
- 近藤淳也 (15)
- 遺産 (26)
- 野球 (15)
- 鉄道 (11)
- 雑学 (13)
- 韓国 (61)
- 風景 (18)
- 食 (153)
- 鳥 (10)
- ？ (17)
- +tard (2272)
- 宇宙 (1260)
- ★ (1084)
- France (1056)
- Google (1014)
- B (685)
- JavaScript (496)
- web (490)
- Cocolog (459)
- 日本 (444)
Webとscrapingに関するfacetのブックマーク (1)
-
facet 2007/03/05
「scRUBYt!はRuby向けのツールを組み合わせもので、HpricotとWWW::Mechanizeを統合し、さらにXPathよりも人間に分かりやすい構文が使えるようにしたもの。」 [*]- web
- scraping
- Ruby
- Web88.0
リンク -
1
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定を変更しましたx