Robots.txt

Файл robots.txt необходим для управления доступом поисковых роботов к страницам и разделам сайта. С его помощью можно указать, какие страницы разрешено индексировать, а какие — следует исключить из поиска. Плюс, в robots.txt следует указать ссылку на карту сайта.

Это помогает избежать индексации служебных, дублирующихся или технических страниц и более эффективно распределять вес сайта (краулинговый бюджет).

Где найти robots.txt?

Файл нельзя изменить, он доступен по адресу вашсайт.com/robots.txt