Linuxからアホ話まで、何でもありでござる

2009年03月01日

Yahoo!ブログ検索続報

[サイト運営]
Yahoo!ブログ検索はDDoS攻撃みたいだで言及したが、改めてしつこく言うとYahoo!ブログ検索のクローラは挙動不審だ。短い時間に複数のクローラが一つのエントリ目がけてわらわら群がってくる。

あまりに短時間に負荷がかかるので、その嵐が過ぎ去るまでこのサーバは一定時間息も絶え絶え状態となってしまう。あまりにひどいのでYahoo!ブログ検索を成敗した。成敗と行ってもすべて殺したわけじゃなく、推定95個あるであろうクローラのうち、8個くらいを見逃す設定にしておいた。その8個は相変わらずクロールしてくるのだが、その挙動は数が減ったせいかかなりマイルドだ。

ただ、以前は同じIPアドレスのクローラもものすごい短時間で再アクセスしてきたのだが、そういう挙動は見られなくなったような感じだ。もしかしたら仕様が若干変わったのかもしれない。多分気のせいだろうけど。

ということで、受け入れるクローラの数を少々増やして様子を見ることにした。こういう下らん制限は基本的にしたくはない。クローラが行儀よくなれば制限など必要ないのだから、俺の環境にやさしい仕様にしてくれよ、我儘だけど。頼むよ。

[3月1日23:00追記]
だめだ、ぜんぜんだめだ。ガンガンくるじゃんこの馬鹿迷惑クローラ。もう死んでいいよ。なんなのこれ。バカなの?死ぬの?



ブログランキング・にほんブログ村へ
posted by oyajiman at 2009年03月01日 22:30:00



コメント

コメントはありません

トラックバック

トラックバック
このエントリにトラックバックはありません
このトラックバックURLを使ってこの記事にトラックバックを送ることができます。 もしあなたのブログがトラックバック送信に対応していない場合にはこちらのフォームからトラックバックを送信することができます。.

コメントする