Удаляем страницу из поисковой выдачи

Удаляем страницу из поисковой выдачи
автор
Boris
На чтение
11 мин
просмотров
154
опубликовано
31.01.2022

Иногда бизнес нуждается в том, чтобы Yandex и Google не показывал пользователям ссылку на определенную страницу. Причин может быть много: случайное попадание страницы в индекс, устаревшая информация, либо конфиденциальные данные клиентов.

Избежать такой неприятности можно, но для этого надо знать как правильно удалить страницу из индекса. Тем же способом можно даже целый раздел сайта.

Вебмастеру предлагается на выбор несколько способов реализации задуманного. Выбирать можно самый подходящий для себя, а для этого требуется знать плюсы и минусы каждого варианта.

Обязательно надо сразу для себя решить, что именно требуется получить:

  • Удаление страницы из поискового индекса с сохранением доступа для посетителей;
  • Полное закрытие доступа для любого user-agent.

Ошибка 404

Отмечается, что хотя это технически самый простой способ реализации задуманного, реализация может затратить много времени. Удаление информации из поиска может занять целый месяц, зато данные исчезают даже с сайта, что часто бывает удобно для вебмастера.

На практике это будет означать, что пользователь, желая найти определенную информацию увидит страницу с ошибкой 404. Поисковой машине приходит сообщение от сервера с указанным сообщением. Речь идет о специфическом http-статусе, который так и называется not found — так сервер говорит, что документ не найден, либо его не существует вообще.

После этого поисковый робот удаляет из своего индекса сведения о ранее существовавшей странице, а пользователи видят страницу с ошибкой. Иногда такая страница дополнительно красиво оформлена, иногда нет.

Главные особенности реализации:

  • Легкость: достаточно сделать пару кликов, либо написать две строчки;
  • Полное исчезновение страницы, метод подходит для удаления, но не годится для сокрытия конфиденциальной информации;
  • При наличии входящих ссылок рекомендуется настроить 301 редирект;
  • Выпадение из поиска происходит не сразу, поскольку поисковой системе нужно время на проведение индексации, что может занять от пары часов на часто обновляемых страницах до нескольких месяцев на статичных сайтах.

Простота реализации для вебмастера здесь сочетается с неудобством для пользователя, которому не очень приятно видеть указанные сообщения. В ряде случаев пользователь может даже вообще никогда больше не вернуться на сайт.

Для избавления от нежелательных последствий можно интересно оформить 404 ошибку, а также дополнительно разместить на ней полезную и интересную информацию для посетителя. В результате вебмастер показывает свое дружелюбное отношение к пользователю, что может способствовать дополнительному росту популярности конкретного сайта.

У нас вы можете познакомиться с правилами корректной настройки страницы с ошибкой 404, а также сократить до минимума нежелательные последствия от реализации указанной идеи.

Robots.txt

Данный метод также легко реализуется, однако в данном случае речь не идет об удалении информации из поиска. Вместо этого происходит сокрытие результатов поиска, а сама страница остается доступной для альтернативных каналов получения трафика, либо при прямом заходе через адресную строку.

С помощью предложенного метода можно легко избавиться даже от крупных, постоянно обновляющихся разделов ресурса. С помощью данного технического документа можно разрешить или запретить индексацию, поэтому метод активно используется для удаления страниц. Для этого применяется директива Disallow.

Для запрета надо получить доступ к корневому каталогу сайта, либо применять мета-тег. Для robots.txt надо записать всего две строки:

  • user-agent — имя конкретного робота, к которому обращается вебмастер в данной строчке. Имя робота берется из базы данных сканеров, либо использовать user-agent: *. В этом случае обращение происходит сразу ко всем роботам.
  • Disallow — пишется конкретный адрес страницы, либо указывается раздел для сокрытия.

Синтаксис файла robots.txt позволяет поочередно обращаться к разным роботам, а также последовательно запрещать доступ к нескольким разным страницам или разделам сайта.

Отмечается, что поисковые системы могут в некоторых случаях игнорировать команды из файла robots.txt, поскольку для них это только рекомендация, но не абсолютный приказ. Сайт может и дальше при этом появляться в поиске, но с пометкой о закрытии через распоряжения в указанном файле. Полностью страница или раздел сайта исчезнет из выдачи только спустя некоторое время и только при условии, что информация в robots.txt не будет изменена.

Вне зависимости от поведения поисковых систем доступ к страницам сохранится через альтернативные источники получения трафика, а также к документу можно обратиться напрямую.

Мета-тег robots

Реализация данного метода, как и в предыдущем случае, удаляет документ из поиска, но к нему можно обратиться напрямую, либо по ссылке, которая получена альтернативным способом. Часть вебмастеров считает, что данный способ можно назвать полноценной альтернативой предыдущего метода с поправкой на то, что надо команды писать внутри тега в исходном коде сайта.

Как и в предыдущем случае понадобится подождать очередной индексации ресурса, чтобы введенные команды начали действовать.

Преимущества реализации:

  • Можно легко удалить нежелательный URL из индекса поисковых систем, сохраняется возможность сделать это сразу для целого списка адресов;
  • Способ подходит новичкам, поскольку позволяет писать команды в голове документа, без обращения к специальным техническим файлам;
  • Возможность удаления страницы из выборочного числа поисковых систем;
  • Высокая эффективность в том случае, если надо освободить только индекс Google.

Также преимуществом будет служить возможность запретить индексацию при условии, что на данный документ имеется много внешних ссылок. Для достижения этой цели применяется тег .

Иногда вебмастера сталкиваются с дополнительными сложностями, если используют не WordPress. Для других CMS может не быть удобного плагина для внедрения нужных тегов, в то время как для WP существует удобное расширение Yoast SEO, где вебмастер получает возможность закрытия любой страницы.

Редирект 301

В результате реализации данного метода документ перестает быть доступным для всех без исключения людей. Способ состоит в автоматическом перенаправлении на альтернативный URL при попытке обратиться к целевому документу.

Способ не может похвастаться максимальным удобством и простотой для вебмастера, да и конкретная реализация может отличаться в зависимости от того, какая именно CMS используется. Зато пользователь получает максимальное удобство, которое на порядок превосходит комфорт от 404 ошибки.

Иногда редирект делается и по маркетинговым причинам. В частности, можно перевести пользователя на продвигаемый раздел сайта, где имеется выгодное для юзера предложение. Аналогичная задача становится востребована в том случае, если проводятся мероприятия по улучшению поисковой оптимизации сайта. В частности, 301 редирект может улучшить поведенческие факторы в тех случаях, когда на сайте есть битые ссылки, ведущие на несуществующие документы. Применение 301 редиректа позволяет значительно улучшить поведенческие факторы, а следовательно, повысить позиции сайта в выдаче поисковых систем.

Актуальность метод приобретает в том случае, когда надо обработать максимум старых документов, либо при изменении структуры сайта. С помощью редиректа можно сохранить позиции в поисковых системах, поэтому денежные и трудовые затраты на поисковую оптимизацию не пропадают просто так.

Понадобится подождать несколько дней пока не пройдет переиндексация, но это случится только после того как робот попадет на страницу.

Ручной способ

Можно ускорить процесс удаления информации из индекса ручным способом. Метод крайне быстрый, может занять всего 8 часов, либо в крайнем случае — 48 часов. У каждой поисковой системы собственный алгоритм, но главное — необходимость использовать дополнительные средства.

Например, можно применять Google Search Console для удаления страницы. Для этого:

  • Авторизуйтесь;
  • Найдите подходящий ресурс;
  • Откройте «Индекс Google», а потом «Удалить URL-адреса»;
  • В результате создается запрос на удаление, осталось скопировать или вручную написать нужный адрес, а потом нажать на кнопку «Отправить».

Также можно наблюдать за тем, как реализуется запрос. Чаще всего на это уходит порядка пары часов, но может занимать и сутки. Лимита на количество страниц не существует, зато есть функция временного замораживания страницы. В этом случае есть верхний предел периода заморозки — 90 дней.

Похожим образом все происходит в Яндекс Вебмасере, где присутствует открытое предупреждение о том что надо сначала запретить индексацию в robots.txt или мета-тегах. После этого надо будет подождать проверки, если теги или информация из файла останется, страница будет удалена из индекса.

Для ускорения процесса рекомендуется сразу после внесения изменений в технические файлы зайти также в Яндекс. Вебмастер, где ускорить процедуру.

Алгоритм удаления страницы через Я.Вебмастер:

  • Зайти в раздел «Удалить URL»;
  • Указать прямой адрес страницы, подтвердив вычеркивание документа из индекса;
  • За день можно вычеркнуть до 500 объектов, поэтому при необходимости надо повторить процедуру на следующий день.

Также может понадобиться подождать больше времени в сравнении с Google — до нескольких дней.

Данный способ актуален в тех случаях, когда надо быстро вычеркнуть документы с конфиденциальным данными, либо удалить сведения, добавленные после взлома ресурса.

Удаление сайта

Также можно удалить весь сайт. Для этого можно использовать каждый из перечисленных выше методов, указав вместо определенных страниц весь домен.

Если надо закрыть сайт пока ведется разработка, лучше всего использовать пароль на сервере. То же верно и для тестовых версий. Конкретный алгоритм выполнения задачи зависит от выбранной CMS.

Если администратор и вебмастер — разные люди, лучше всего проконсультироваться с IT-отделом, чтобы они настроили доступ к сайту по логину и паролю. В противном случае не удастся ограничить доступ максимально корректным образом с точки зрения поисковых систем.

Заключение

Можно легко удалить из поиска определенные страницы, либо даже весь ресурс, но для этого надо подтвердить наличие доступа к нему. Вебмастер выбирает самостоятельно наиболее подходящий метод, при том, что есть множество хороших вариантов.

Если на первый план выходит необходимость выполнить задачу максимально быстро, лучше одновременно использовать несколько способов. В первую очередь важно использовать ручные способы удаления страницы из индекса поисковых систем. Отмечается, что и в этом случае надо будет подождать, но так сделано для того, чтобы поисковые системы могли убедиться, что запросы делает подлинный владелец сайта.

автор
Boris

Добавить комментарий