二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。 で、それが何だという話ですが、お行儀が悪いというお話です。/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。アドホックな対処はあまりしたくないですけど、仕方がないのでとりあえずホスト単位で弾いてます。今のところ、ホストアドレスが隣合って連続している 2 つのホストでこのクローラが動いているようです。まだ始まって間もないと思うので、ゆくゆくは改善されるはず、と期待して様子見です
タグ
- すべて
- .NET (92)
- 1470.net (28)
- 2ch (70)
- 3DS (65)
- 6a (88)
- 801 (20)
- AIR (32)
- API (707)
- AR (20)
- ASP.NET (24)
- AWS (63)
- Adobe (69)
- Ajax (259)
- Amazon (424)
- Amebaなう (20)
- Android (496)
- Apache (22)
- Apple (258)
- Atom (37)
- AtomAPI (33)
- AtomPP (43)
- BPIB (53)
- BP_TAGS (52)
- C (29)
- C# (91)
- C++ (67)
- CMS (32)
- CSRF (45)
- CSS (59)
- DNS (54)
- DOM (33)
- DSi (28)
- DTM (21)
- DVD (34)
- DeNA (73)
- ECS (25)
- ECnavi (75)
- FC2 (22)
- GMO (25)
- GPL (22)
- Gmail (103)
- Google (1690)
- Google+ (61)
- HTC (28)
- HewlettPackard (40)
- IBM (50)
- IE (83)
- IE6 (20)
- IE7 (40)
- IE8 (42)
- IME (32)
- IPA (81)
- ISO (20)
- IT (75)
- Internet (7515)
- JASRAC (66)
- JBA (31)
- JR東日本 (22)
- JSON (100)
- Jaiku (38)
- Java (233)
- JavaScript (830)
- KDDI (37)
- LINE (24)
- MMmemo (22)
- MSDN (33)
- MyClip (504)
- MySQL (37)
- NHK (36)
- OAuth (161)
- OOXML (20)
- OpenSSL (26)
- Opera (73)
- Oracle (75)
- PCIDSS (27)
- PDF (47)
- PHP (140)
- PHS (42)
- RDF (56)
- REST (25)
- RSA (22)
- RSS (216)
- RSSreader (35)
- SBM研究会 (45)
- SEO (75)
- SEOspam (36)
- SEOコンテスト (25)
- SIM (39)
- SNS (223)
- SOAP (19)
- SQLinjection (54)
- SSL (58)
- Skype (52)
- Sun (53)
- TV (129)
- Tshirt (19)
- Twitter (2709)
- Wave (20)
- WindowsAzure (25)
- WindowsVista (19)
- XML (92)
- XMLHttpRequest (32)
- XSS (82)
- Zynga (27)
- abuse (54)
- accessAnalysis (53)
- acquirement (235)
- actionScript (25)
- ad (306)
- adSense (113)
- adWords (22)
- affiliate (321)
- agent (21)
- amachang (41)
- ameba (27)
- amebaBlog (20)
- ameblo (28)
- america (28)
- anime (158)
- appStore (36)
- arcade (23)
- archive (27)
- art (45)
- associate (38)
- au (45)
- auction (54)
- authentication (223)
- beer (33)
- biglobe (23)
- blog (1368)
- blogClient (62)
- blogParts (91)
- blogPet (87)
- blogSearch (19)
- blogger (27)
- bloglines (23)
- book-review (33)
- bookey (71)
- bookmark (58)
- bookmarklet (55)
- books (552)
- bot (139)
- browser (189)
- business (3407)
- businessModel (24)
- buzzurl (61)
- calendar (81)
- camera (27)
- campaign (110)
- cartoon (39)
- catfrog (31)
- character (29)
- chat (30)
- chirp (28)
- chrome (132)
- client (164)
- cloudComputing (168)
- cocolog (262)
- cocologFree (30)
- collection (22)
- column (154)
- comic (53)
- comics (40)
- comiket (23)
- comment (28)
- commentSpam (53)
- commented (33)
- communication (108)
- community (161)
- compliance (119)
- computer (1801)
- contest (90)
- cookie (44)
- copyright (524)
- creditCard (48)
- culture (1240)
- customize (20)
- cyberAgent (72)
- database (162)
- debug (30)
- debugging (30)
- del.icio.us (120)
- design (51)
- development (27)
- device (26)
- diary (149)
- digg (57)
- disaster (129)
- docomo (65)
- documentation (62)
- doll (21)
- domain (35)
- drecom (41)
- drecomBlog (19)
- drinks (25)
- dwango (40)
- eBay (37)
- eclipse (24)
- economy (282)
- education (225)
- ekken (33)
- email (38)
- emoji (24)
- enquete (20)
- entertainment (336)
- event (1075)
- export (27)
- facebook (351)
- favotter (20)
- feed (67)
- feedBurner (27)
- feedReader (57)
- feeds (26)
- figure (76)
- filtering (43)
- firefox (122)
- flash (114)
- flickr (57)
- font (22)
- foods (421)
- foursquare (32)
- framework (60)
- fsv (21)
- gadget (39)
- game (518)
- git (24)
- github (32)
- goo (42)
- goods (33)
- gourmet (27)
- greasemonkey (67)
- gree (95)
- guideline (28)
- hamachi (105)
- hatena (529)
- hatenaBookmark (664)
- hatenaDiary (141)
- hatenaHaiku (30)
- hatenaIdea (27)
- hatenaStar (84)
- health (55)
- history (57)
- hobby (76)
- holiday (22)
- html (51)
- html5 (90)
- http (23)
- iOS (30)
- iPad (35)
- iPhone (299)
- iTunes (35)
- iesys (22)
- import (35)
- incident (572)
- ingress (179)
- instagram (20)
- interview (142)
- jQuery (30)
- jkondo (28)
- kakakuCom (29)
- keyword (78)
- konami (40)
- kotorikotoriko (24)
- koyomi (37)
- law (44)
- librahack (22)
- library (169)
- license (49)
- life (2886)
- lifelog (33)
- linkage (35)
- linux (51)
- livedoor (119)
- livedoorBlog (87)
- livedoorClip (76)
- livedoorReader (39)
- loveplus (379)
- mail (32)
- maintenance (37)
- malware (301)
- management (29)
- map (22)
- maps (21)
- mashup (64)
- merchandise (26)
- metaBookmark (23)
- metaData (24)
- microblog (20)
- microformats (28)
- microsoft (676)
- mixi (321)
- mixiアプリ (51)
- mobile (940)
- moe (30)
- mogo2 (24)
- mohican (23)
- money (37)
- mono (1046)
- movableType (119)
- movie (54)
- music (371)
- naming (40)
- naoya (46)
- neta (1722)
- netwatch (186)
- network (42)
- news (188)
- newsing (30)
- nicovideo (126)
- nifty (49)
- nintendo (92)
- no-detail (25)
- notePC (37)
- office (27)
- openID (59)
- openSocial (21)
- openSource (87)
- operatingSystem (39)
- otsune (41)
- password (65)
- patent (135)
- payPerPost (35)
- payment (47)
- perl (108)
- phishing (106)
- photo (103)
- pixiv (33)
- plagger (26)
- plugin (33)
- point (53)
- policy (108)
- politics (272)
- present (64)
- presentation (120)
- print (72)
- privacy (741)
- programming (1095)
- programmingLanguage (93)
- publishing (30)
- python (48)
- qanda (21)
- rails (44)
- rakuten (213)
- ranking (45)
- region (58)
- report (260)
- retweet (29)
- review (21)
- robot (26)
- ruby (107)
- science (299)
- searchEngine (464)
- security (3741)
- semanticWeb (64)
- shopping (147)
- showbiz (77)
- social (882)
- socialApplication (33)
- socialBookmark (471)
- socialEngineering (155)
- socialGame (110)
- socialMedia (124)
- socialNews (21)
- softbank (70)
- software (112)
- sony (48)
- spam (110)
- spidering (21)
- statistics (133)
- storage (45)
- studygift (41)
- summarySite (2929)
- tagging (43)
- technology (559)
- template (34)
- tips (101)
- tool (363)
- tools (117)
- trackback (167)
- trackbackSpam (96)
- tradeMark (72)
- travel (25)
- trojanHorse (25)
- trouble (1067)
- tumblr (169)
- twitterconf (20)
- typePad (42)
- userInterface (25)
- ustream (40)
- vocaloid (119)
- vocaloid2 (124)
- voice (22)
- voiceActress (29)
- web (330)
- web2.0 (110)
- webApplication (23)
- webBrowser (56)
- webServices (198)
- wifi (80)
- wiki (41)
- wikipedia (26)
- willcom (93)
- windows (185)
- windows7 (32)
- yahoo (370)
- yahooJapan (273)
- yaplog (22)
- youTube (62)
- かんたんログイン (21)
- ことば (159)
- これはひどい (28)
- ついったん (20)
- オフ会 (55)
- キーワード (43)
- サンシャイン牧場 (26)
- ポイントためため (37)
- マンガ (25)
- モヒカン族 (26)
- ラーメン (44)
- リンク集 (53)
- 不正アクセス (71)
- 中国 (179)
- 事件 (29)
- 京都 (30)
- 人工無能 (26)
- 人工無脳 (41)
- 位置情報 (112)
- 個人情報 (25)
- 写真 (23)
- 初音ミク (450)
- 動画 (30)
- 医療 (34)
- 同人誌 (27)
- 名古屋 (163)
- 図書館 (56)
- 報道 (24)
- 声優 (41)
- 大阪 (40)
- 天文 (21)
- 岡崎市 (45)
- 情報漏洩 (399)
- 投げ銭 (36)
- 揉め事 (271)
- 擬人化 (27)
- 改竄 (53)
- 文字コード (26)
- 新聞 (31)
- 日本語 (25)
- 暗号 (41)
- 生物 (50)
- 百度 (24)
- 短縮URL (22)
- 社会 (390)
- 経済 (38)
- 絵文字 (27)
- 脆弱性 (181)
- 自然言語処理 (32)
- 萌え絵 (46)
- 裁判 (39)
- 訃報 (120)
- 証明書 (43)
- 読み物 (22)
- 資料 (61)
- 鉄道 (64)
- 銀行 (41)
- 鏡音リン (37)
- 障害 (40)
- 雑誌 (20)
- 雪ミク (20)
- 電子書籍 (96)
- Internet (7515)
- security (3741)
- business (3407)
- summarySite (2929)
- life (2886)
- Twitter (2709)
- computer (1801)
- neta (1722)
- Google (1690)
- blog (1368)
Yahooとcrawlerに関するtsupoのブックマーク (1)
-
tsupo 2006/06/12
DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) / そもそも /robots.txt を読んでいません。- Yahoo
- bot
- crawler
- yahooseeker
- Internet
- computer
リンク -
1
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定を変更しましたx