Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.
Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то , да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.
Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.
Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.
Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.
Удаление сайта из поиска Google
Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.
Google предоставляет 3 варианта удаления:
- временный;
- удаление сайта навсегда;
- удаление сайта из-за нежелательного контента.
Рассмотрим каждый по отдельности.
Временное удаление сайта
Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.
Для этого в Search Console переходим в раздел «Индекс» =>”Удаления” и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.
После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.
Google даст на выбор два варианта удаления:
- Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
- Скрыть весь каталог и страницы, которые с ним связаны
Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.
Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.
Удаление страниц или сайта навсегда
Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:
- Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
- Установить пароль, чтобы заблокировать доступ к контенту
- С помощью метатега noindex запретить сканирование страницы: <meta name=”googlebot” content=”noindex«>
- Документы в формате PDF рекомендуется удалять с сервера полностью
Удаление сайта из-за нежелательного контента
Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.
Проходим по , выбираем продукт Google, где находится нежелательный контент.
Далее выбираем причину блокировки и нажимаем на «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.
Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.
Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.
Удаление сайта из поиска Яндекс
В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.
Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.
User-agent: Yandex
Disallow: /page
Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 . и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в <head>:
<meta name=”robots” content=”noindex” />
Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.
После этого можно отслеживать состояние статуса в данном разделе:
- в очереди на добавление
- в процессе
- удалена
- отклонено
После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.
Другие способы удаления страниц сайта из поиска
Редиректы
Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).
Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.
- 301 редирект для навсегда удаленных или перемещенных страниц
- 302 редирект для временно неактуальных страниц, которые останутся в поиске
Для настройки редиректа можно воспользоваться указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.
Метатег noindex
Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.
Устанавливается в HTML-коде страницы в <head>. Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.
Прописывается noindex так:
-
Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег:
<meta name=”robots” content=”noindex”/>
…или…
<meta name=”yandex” content=”noindex”/>
<meta name=”googlebot” content=”noindex”/>
-
Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.
-
Далее сохраняем.
После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.
Также метатег noindex можно использовать совместно с тегом nofollow. Например, <meta name=”robots” content=”noindex, nofollow” /> дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.
Важно понимать, что для удаления контента может потребоваться не один день.
Disallow в robots.txt
Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.
Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page
Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.
Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.
Пароль на странице или разделе
Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.
Вывод
На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.
Если у вас возникнут трудности при удалении страниц или сайта из поиска, то всегда можно обратиться к нам – мы обязательно !