Yahoo!ブログ検索はDDoS攻撃みたいだで言及したが、改めてしつこく言うとYahoo!ブログ検索のクローラは挙動不審だ。短い時間に複数のクローラが一つのエントリ目がけてわらわら群がってくる。

あまりに短時間に負荷がかかるので、その嵐が過ぎ去るまでこのサーバは一定時間息も絶え絶え状態となってしまう。あまりにひどいのでYahoo!ブログ検索を成敗した。成敗と行ってもすべて殺したわけじゃなく、推定95個あるであろうクローラのうち、8個くらいを見逃す設定にしておいた。その8個は相変わらずクロールしてくるのだが、その挙動は数が減ったせいかかなりマイルドだ。

ただ、以前は同じIPアドレスのクローラもものすごい短時間で再アクセスしてきたのだが、そういう挙動は見られなくなったような感じだ。もしかしたら仕様が若干変わったのかもしれない。多分気のせいだろうけど。

ということで、受け入れるクローラの数を少々増やして様子を見ることにした。こういう下らん制限は基本的にしたくはない。クローラが行儀よくなれば制限など必要ないのだから、俺の環境にやさしい仕様にしてくれよ、我儘だけど。頼むよ。

[3月1日23:00追記]
だめだ、ぜんぜんだめだ。ガンガンくるじゃんこの馬鹿迷惑クローラ。もう死んでいいよ。なんなのこれ。バカなの？死ぬの？