С неделю назад этот бот ко мне на сайт повадился... может он и индексирует, но он ТУПОЙ. Долбится по ВСЕМ ссылкам которые видит, даже по тем которые посещал секунду назад.
Такую еще нехилую нагрузку на сервер создал... забанил его нахрен.
Почитал на серче - его многие забанили.
Так что ничего путевого он не проиндексирует))) Любая более менее адекватная защита от ддоса его забанит.