Начнем 2025 год с полезного поста) надеюсь, что все вспомнили уже, как работать 😂
После недавнего Core Update в Google в индекс часто начали лезть страницы, которые не должны там быть.
Основной причиной этой ошибки является то, что на эти страницы есть внутренние ссылки, которые индексируются. При наличии таких ссылок в индексе ни Disallow в robots.txt, ни мета-тег robots на этих страницах вам не поможет, они все равно будут неконтролируемо просачиваться в индекс.
Тут мы подходим к вопросу как же закрывать ссылки от глаз Google, чтобы он по ним не проходил?
Совсем недавно нам помогал JS, но с последнего Core Update Google начал исполнять абсолютно все JS на сайте.
Сейчас методика такая:
1. Ссылка стоит через JS без использования тега <a>
2. Сам URL кодируем любым способом, который преобразует двоичные данные в текстовый формат
Только таким способом удается Google не давать переходить по ссылкам, и ошибка индексации "левых" страниц пропадает.