AIDataGateBot - краулер сервиса AI Data Gate. Он скачивает страницы из поисковой выдачи, чтобы отдать их текст AI-агентам. Содержимое не публикуется и не индексируется: страница разбирается, из неё берётся основной текст и отдаётся клиенту, приславшему запрос.

Как он себя ведёт:
- User-Agent: AIDataGateBot/0.1 (+https://aidatagate.ru/bot)
- Уважает robots.txt (User-agent: AIDataGateBot), правила кэшируются на сутки
- Не больше 2 одновременных запросов на один хост
- Не скачивает файлы тяжелее 2 МБ, таймаут 4.0 с
- Не выполняет JavaScript и не кликает по формам

Как заблокировать:
Добавьте в robots.txt вашего сайта:
  User-agent: AIDataGateBot
  Disallow: /

Правило подхватится в течение суток. Если нужно быстрее или есть вопросы, напишите администратору сервиса.