Как проверить файл robots.txt на ошибки индексации в валидаторе?

Чтобы проверить файл robots.txt на ошибки индексации в валидаторе, перейдите по ссылке и в поле “Проверяемый сайт” вставьте URL вашего сайта или нужной страницы.

На данной странице ниже, в поле “Разрешены ли URL?”, можно вставить ссылки на определенные страницы и проверить, доступны ли они для индексации.

Часто возникают ошибки и ненужные страницы (например, в формате /?customize_theme) попадают в индексацию из-за добавленной в файл robots.txt директивы

User-agent: Yandex

Т.е. при добавлении данной директивы все остальные правила для всех/других поисковиком (например, все правила директивы User-agent: *) Яндекс игнорирует.

Поэтому откройте файл robots.txt и уберите строку с данной директивой и все строки после неё, кроме строки с картой сайта

Sitemap: https://ваш_сайт/sitemap.xml