# задаем таймаут в 40 секунд только для YandexBot User-agent: Yandex Crawl-delay: 40 User-agent: Yandex Disallow: /wp-includes/ User-agent: Yandex Disallow: /wp-admin/ User-agent: Yandex Disallow: /wp-content/mp3/ # задаем таймаут в 4000 секунд только для bingbot User-agent: bingbot Crawl-delay: 4000 #запрещаем амазон User-agent: Amazonbot Disallow: / # задаем таймаут в 40 секунд для всех роботов User-agent: * Crawl-delay: 40 # закрываем индексацию wp Disallow: /wp-admin/ # закрываем индексацию wp Disallow: /wp-includes/ # закрываем индексацию mp3 Disallow: /wp-content/mp3/ User-agent: ia_archiver Disallow: / User-agent: archive.org_bot Disallow: / User-agent: ia_archiver-web.archive.org Disallow: /