st-1

Ошибки, которые приводят к исключению из индекса поисковых систем

К проблемам в индексации сайта могут приводить ряд причин, например, наличие внутренних дублей. В данной статье мы хотим поделиться ошибками, которые были выявлены в ходе проведения аудита и которые привели к плохой индексации ресурса. Итак, к нам обратился клиент с проблемами в индексации  интернет-магазина профессионального оборудования для ресторанов, баров, столовых.

На момент аудита из индекса поисковой системы Яндекс было исключено порядка 4 тыс. страниц сайта — (см. скриншот ниже).

рис. 1 — «Данные в Яндекс.вебмастере и количество исключенных страниц»
ris-1.jpg

В ходе анализа было обнаружено, что на всех страницах сайта прописан мета-тег <meta name="robots" content="none" /> — (см. скриншот ниже).

рис. 2 -  «Мета-тег в коде страницы»
ris-2.jpg

Согласно официальной информации в Справке Яндекса, данный мета-тег запрещает индексацию контента страницы и переходы по ссылками (оф. источник — http://help.yandex.ru/webmaster/controlling-robot/html.xml)(см. скриншот ниже).

рис. 3 – «Справка Яндекса о значении мета-тега <meta name="robots" content="none" />»
ris-3.jpg

Однако дальнейший анализ сайта показал, что, несмотря на наличие указанного мета-тега, 500 страниц сайта все-таки находятся в индексе поисковой системы Яндекс. Далее для наглядности приводим выдержку из аудита сайта:

---начало цитирования---
Например, в коде страницы «Hoshizaki — Холодильная витрина для суши» (http://www.site.ru/index.php/glavnaja/brendy/hoshizaki.html) есть данный тег, но страница находится в индексе — (см. скриншот ниже).

рис.4  — «Мета-тег удален в коде страницы»
ris-4.jpg

Сравнительный анализ исключенных и проиндексированных страниц показал, что в индекс, несмотря на запрещающий тег, попали страницы, которые имеют уникальный и полноценный текстовый контент.

И наоборот, если на странице размещен дубль текста (или текст отсутствует вообще), такая страница исключена из индекса.

Пример неиндексации дублей и страниц без описания: рассмотрим страницы товаров в разделе «Мясорубки, тендерайзеры»:

• страница «Мясорубка МИМ-300М» (http://www.site.ru/index.php/oborudovanie-dlja-kuhni/mjasorubki-tenderajzery.html?page=shop.product_details&category_id=87&flypage=flypage.tpl&product_id=79) индексируется Яндексом — (см. скриншот ниже).

рис. 5 – «На странице размещено описание товара и текст не имеет внутренних дублей.»
ris-5.jpg

• страница «Мясорубка Торгтехмаш ТМ-32» (http://site.ru/index.php/oborudovanie-dlja-kuhni/mjasorubki-tenderajzery.html?page=shop.product_details&flypage=flypage.tpl&product_id=6154&category_id=87) содержит дубль контента и не индексируется поисковиком — (см. скриншот ниже).

рис. 6 – «Страница не индексируется Яндексом»
ris-6.jpg

текстовый дубль страницы  «Мясорубка Торгтехмаш ТМ-32»  размещен здесь — http://site.ru/index.php/oborudovanie-dlja-kuhni/mjasorubki-tenderajzery.html?page=shop.product_details&flypage=flypage.tpl&product_id=6155&category_id=87  и данная страница также не индексируется.

• страница «Мясорубка Convito HM-12N» (http://www.site.ru/index.php/oborudovanie-dlja-kuhni/mjasorubki-tenderajzery.html?page=shop.product_details&flypage=flypage.tpl&product_id=5263&category_id=87) не содержит описание товара и не находится в индексе — (см. скриншот ниже).

рис. 7 – «Страница не индексируется Яндексом»
ris-7.jpg

Вывод: страницы с отсутствующим текстовым контентом должны быть не интересны пользователю, соответственно, поисковая система может не включать такую страницу в индексную базу (это касается и страниц с дублированным контентом).
---конец цитирования---

Как видно из приведенной выше выдержки, анализ показал, что основной проблемой низкой индексации сайта является не только наличие запрещающего мета-тега, но и отсутствующий или низкокачественный контент.

И в заключение: на момент написания статьи на сайте убран запрещающий тег <meta name="robots" content="none" /> — (см. скриншот ниже).

рис. 8 – «Пример отсутствия тега на странице http://www.site.ru/myasorubki-tenderayzeryi/myasorubka-convito-hm-12n.html»
ris-8.jpg

В результате чего в поисковой системе Яндекс проиндексировалось 7 тыс. страниц — (см. скриншот ниже).

рис. 9 – «Количество страниц в индексе Яндекса увеличилось»
ris-9.jpg

Однако проверив страницу из примера на индексацию в Яндексе, выясняем, что она не индексируется — (см. скриншот ниже).

рис. 10 — «Карточка товара по-прежнему не индексируется Яндексом»
ris-10.jpg

Заходим на страницу и видим, что на ней ещё не размещен текстовый контент, что подтверждает наши выводы, сделанные в аудите — (см. скриншот ниже).

рис. 11 – «Карточка товара не наполнена текстовым контентом»
ris-11.jpg

polosa

У Вас есть проблемы с сайтом —

Автор статьи:

anna4

Комментариев к записи: 2

  1. Oleg:

    Спасибо за статью. Давно обратил внимание на проблему с индексацией страниц сайта, все известные причины перебрал и устранил ошибки. Но многие страницы не индексировались. Теперь понял, в чем подвох.

    • Anna Anna:

      Здравствуйте, Олег, спасибо за комментарий, я рада, что статья Вам помогла 🙂