Играет ли роль последовательность правил в robots.txt
Последовательность расположения правил в robots.txt
не играет никакой роли. Не обязательно располагать сначала Disallow
, а за ним Allow
.
Директивы
Allow
иDisallow
из соответствующегоUser-agent
блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.Источник: Справка Яндекса
Таким образом порядок расположения правил в файле robots.txt не играет никакого значения. Все правила сортируются по длине URL и применяются по возрастанию длины.
Аналогично описано в Справке Google:
Когда роботы соотносят правила из файла robots.txt с URL, они используют самое строгое правило (с более длинным значением пути). При наличии конфликтующих правил (в том числе с подстановочными знаками) выбирается то, которое предполагает наименьшие ограничения.