WordPress 5.3 меняет метод предотвращения индексации сайтов поисковыми системами

WordPress меняет метод, используемый для предотвращения индексации сайтов поисковыми системами. Ранее, если пользователь выбрал опцию «Попросить поисковые системы не индексировать сайт» в окне «Настройки» -> «Чтение», WordPress добавлял Disallow: / в файл robots.txt.  Это запрещало сканирование сайта, но не всегда препятствовало отображению сайтов в результатах поиска.

В версии 5.3, WordPress понизит метод  добавления тега в robots.txt в пользу добавления обновленных метатегов, чтобы  закрыть сайт от индексации в поисковых системах:  <meta name=’robots’ content=’noindex,nofollow’ />. Метатег предлагает более надежный способ предотвращения индексации и последующего сканирования.

При проверке параметра, который не позволяет поисковым системам индексировать сайт, пользователи часто ищут способ скрыть свои сайты, но этот параметр не всегда работает так, как ожидалось. Jono Alderson резюмировал проблему и предлагаемое решение в комментарии к билету, который привел к изменениям:

1) Параметр «Чтение» подразумевает, что он предназначен для того, чтобы поисковые системы не  индексировали  контент, а не  сканировали  его. Однако  наличие правила запрета роботов не позволяет поисковым системам обнаруживать  noindex директиву, и поэтому они могут индексировать «фрагменты» (где страница индексируется без содержимого).

2) Google недавно объявил, что они прилагают усилия для предотвращения индексации фрагментов. Однако, пока это не реализовано (и я не уверен, что это произойдет; иногда это все еще является необходимым / правильным решением), мы должны определить текущее поведение. Давайте удалим  robots.txt правило запрета и разрешим Google (и другим)  сканировать  сайт.

В заметке разработчика, объявляющей об изменении, Питер Уилсон рекомендует, чтобы разработчики, желающие исключить сайты разработки из индексации поисковыми системами, включали заголовок HTTP  X-Robots-Tag: noindex, nofollow при обслуживании всех ресурсов сайта, включая изображения, PDF-файлы, видео и другие ресурсы.