baiduは行儀が悪い以前に中国なので拒否している。
naverも、クロールしてくる割には客を連れてきたことがないので拒否。
ロシア系のボットも問答無用で拒否。
ICC-Crawlerという研究用のボットも、たまに行儀が悪いので拒否。
msnbotもbingbotも、滅多に客を連れてこないので拒否した。
AhrefsBotというのが、robot.txtを読まないのでIPで拒否。
もうボットはヤフーとグーグルだけでいいと思う。
しかし止めても次からいろんなボットが湧いて出てくる。
困ったもんだ。