title
TOP / Wiki / Diary / Profile / PC / BBS / Mail

ツッコミ

日記へ / ツリー表示 / 新規投稿 / 新着表示

[[クローラーの正体?!]]

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/08 15:50
From: kamabis
X-URL: http://www.kamabis.org/

そういえば、うちのページ(浮月亭のほう)ほぼ毎日、msnbotかYahooのボットが絨緞爆撃してゆくのだが何でだろう??<br>
そんなもん?

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/09 02:45
From: ともちゃ
X-URL: http://tomocha.net/diary/

msn bot/yahoo bot/google bot 等に関しては放置しているなぁ。
BATTAという感じで表示させていないので分からない…。

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/09 16:02
From: たかゆき。
X-URL: http://c-moon.jp/robot_spam.shtml

そいつらは十中八九、spam用メールアドレス収集のボットですね。
*.marunouchi.ocn.ne.jp、*.ap.yournet.ne.jpともに常習犯です。

リンクページに詳細がありますのでご参考になれば幸いデス。

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/10 14:07
From: kamabis
X-URL: http://www.kamabis.org/

たかゆきさんありがとうございます。 msnbot/0.11 (+http://search.msn.com/msnbot.htm) tide*.microsoft.comが非常に頻繁に来てるんですが、これは本物ですよね。 Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) lj*.inktomisearch.com これは偽装かなぁ・・・?

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/11 14:14
From: たかゆき。
X-URL: http://c-moon.jp/robot_spam.shtml

kamabisさん:

行儀の悪さ云々はおいといて、両方とも一応ホンモノです。
ともに、まだrobots.txtをまともに解釈できるだけマシな部類ですね。

コメントをつける
Subject: Re: クローラーの正体?!
Date: 2004/05/11 15:32
From: kamabis
X-URL: http://www.kamabis.org/

ありがとうございます。なるほど...お騒がせしました

※ ブラウザキャッシュを持っていることが多く,投稿後なかなか日記には反映されませんので,強制リロードしてみてください
※ IEであれば"Clrl+F5"で強制リロードが行えます
※ 特定のリモートホストからの投稿は、認証画面が出ますので、ID及びパスワードに 'test' と入力してください。