Краулинговый Бюджет Сайта И Web Optimization: 17 Способов Ускорить Обход Сайта Поисковыми Ботами

Причём не важно, получила ли поисковая система информацию о наличии новых страниц, появившихся на вашем сайте. Если они не попадают в ограниченную квоту, шансов на их оценку и включение в индекс попросту нет никаких. Иными словами, перспективы на попадание в содержание органической выдачи есть только у тех страниц, которые оказались в краулинговом бюджете. Это может быть большой проблемой, если речь идёт о масштабных изменениях, происходящих на тяжёлом многостраничном ресурсе. Изучение серверных логов даст вам максимум информации по маршрутам ботов и расписанию их обходов.

Таким образом вы перераспределяете внутреннюю значимость документов – чем больше ссылок идёт на страницу, тем она важнее в глазах поисковых систем. Бот не должен перейти по ссылке, которая будет закрыта в этот атрибут. Ускорение загрузки сайта, как правило, приводит к тому, что робот Google начинает сканировать больше URL.

Учитывайте это при формировании ссылочного профиля и наращивания ссылочной массы своего веб-сайта. Начинающим вебмастерам вообще не стоит задумываться о краулинговом бюджете. Ведь он становится проблемой только в том случае, когда необходимо анализировать и добавлять в индекс сразу большие объёмы страниц с полезной информацией. Если ваш сайт насчитывает менее ста статей, можете вообще не придавать значение этой метрике.

Если раньше бот тратил 5 секунд на одну страницу, а вы уменьшили это время до одной – краулинговый бюджет изменится обратно пропорционально. Частая проблема сайтов-пациентов – низкая скорость обхода страниц поисковыми ботами. Зачастую сталкиваемся с тем, что бот Яндекса обходит в 10–20 раз больше страниц, чем основной и мобильный боты Google. Как правило, работа над сайтом начинается с анализа динамики краулингового бюджета. Чем быстрее бот получает необходимую информацию, тем выше ваши шансы на получение более высокого приоритета в очереди на индексацию.

Поисковый робот будет чаще посещать эти страницы, и бюджет сканирования увеличится. «Краулинговый бюджет» — термин, подразумевающий количество страниц, которые может просканировать поисковый робот за одну сессию визита на сайт. Ни в коем случае не допускайте появления на сайте 404 страниц. Вообще, несуществующие страницы — это главный враг  индексации. Выявить их вы можете с помощью любого софта для аудита сайтов, например, Screaming Frog.

Что Такое Краулинговый Бюджет

А робот в этом случае окажется в тупике, ведь ему некуда переходить со страницы, а нажать на кнопку «назад» он не может. При сканировании и индексировании сайта бот чаще всего отдает предпочтение страницам, которые имеют вес. Чтобы его создать, необходимо настраивать перелинковку между страницами. Со временем страницы редиректов уходят из поля зрения поисковиков и индексируются только конечные URL. А представьте, что таких цепочек будет много — пользователю это не заметно, но робот будет вынужден переходить от ссылки к ссылке, чтобы найти нужную страницу.

И для этого каждому сайту выделяется краулинговый бюджет — количество страниц, которое может быть просканировано во время одного посещения сайта краулером. Обход страниц сайта роботом (краулинг) – это процесс сканирования документов ресурса для последующей их индексации в выдаче. Поскольку для каждого сайта лимиты индивидуальные, именно краулинговый бюджет дает понять роботу, какое количество документов он должен просканировать на определенном веб-сайте. Квота, определенная для ресурса может меняться, и сегодня мы разберем зачем и как её нужно увеличивать. Оптимизация краулингового бюджета в этом случае происходит за счет того, что бот изначально понимает, какие страницы добавлялись недавно или редактировались. И вместо того, чтобы обходить весь сайт, индексация происходит точечно.

Например, можно выяснить, что робот предпочитает информационный раздел, сделанный как дополнение к магазину. А причина в том, что информационный раздел получает намного больше внутренних ссылок, а значит – и приоритет для робота. Last-Modified позволяет роботу убрать из списка URL те страницы, что не обновлялись, и просканировать обновленные, то есть оптимизированные вами.

Где Посмотреть Краулинговый Бюджет Своего Сайта?

Например, ошибки с кодами ответа 300, 404 и 500 и неправильную структуру сайта, из-за которых страницы могут долго индексироваться, не попадать в поиск и лишать вас конверсий. Мы рекомендуем использовать анализ сайта при помощи сервисов Google и Яндекс примерно раз в неделю. Это поможет просто и быстро понять общую картину по сайту и выявить ошибки. Чтобы узнать краулинговый бюджет в Google Search Console, заходим в «Настройки» → «Статистика сканирования» → «Открыть отчет».

Во-вторых, это приводит к трате ссылочного веса и расходу краулингового бюджета. Во время сканирования бот может найти дубли страниц — одну и ту же страницу под разными URL-адресами. Это оптимизирует краулинговый бюджет и положительно повлияет на ваши позиции в выдаче.

В таком случае квота будет расходоваться только на реально изменившиеся или новые документы. Оптимизацией краулингового бюджета стоит заниматься крупным интернет-магазинам и сайтам, для которых важно управлять индексированием страниц. К тому же, такие проблемы, как сложная навигация, битые ссылки, медленная загрузка и непонятная структура, мешают не только роботам поисковиков, но и обычным пользователям. Разработчиком этой технологии является корпорация Google, первая запустившая её в своей поисковой системе.

В таких случаях используются сторонние плагины или даже ручная загрузка карты сайта, сформированной каким-то ПО или внешним сервисом. Что касается фильтров, достаточно выбрать действительно полезные страницы, приносящие трафик, и закрыть от индексации все остальные. Сайты с историей меняют свой краулинговый бюджет при каждом сканировании, которое происходит ежедневно. На рост показателя влияют PageRank, поведенческие факторы и возраст ресурса.

Ловите наш чек-лист технической оптимизации и используйте его в работе. Это повлияет на краулинговый бюджет и дальнейшее ранжирование вашего сайта. Склейка дублей позволила сохранить число страниц в индексе, при этом не навредить репутации сайта большим количеством неуникального контента. Чем быстрее загружается сайт, тем быстрее его просканирует бот.

На текущий момент Яндекс и другие поисковые системы также используют принцип краулингового бюджета при индексации страниц веб-сайтов. Если поисковый робот находит на вашем сайте много ссылок, и выделяет вам большое число для лимита – всё хорошо. Но что делать, если ваш сайт – сотни тысяч страниц, а лимит небольшой? В таком случае вам придётся ждать месяцами, прежде чем поисковая система заметит какие-то изменения на страницах. В своей практике мы использовали разные методы, чтобы увеличить краулинговый бюджет и направить бота туда, куда нужно.

Многие глубоко убеждены, что нет смысла анализировать поведение поисковых ботов, количество и качество страниц, которые они обходят. Мы считаем – это обязательное условие эффективного продвижения сайта. Как показывает практика, даже у сайта с небольшим количеством страниц могут быть серьёзные проблемы с обходом. Поисковая краулинговый бюджет система реагирует на любое изменение в адресе страницы, даже если урлы отличаются одним символом. Поэтому важно как для всей оптимизации в целом, так и для краулингового бюджета в частности, правильно настраивать редиректы. Чем меньше будет одинаковых страниц, тем больше лимитов останется на другие целевые url.

Автоматизация генерации контента, его последующего оформления и публикации неизбежно приводит к возникновению разнообразных проблем. Не стоит полагать, что воспользовавшись автоматическим инструментом для простановки тегов или редактирования изображений, вы сможете добиться качественного результата. Работа над индексом качества сайта включает в себя различные инструменты и методы. Они включают в себя комплекс действий по улучшению внешней и внутренней оптимизации сайта и работу над ссылочным профилем.

• Даже если вы убрали ссылки с 301-редиректом с сайта, есть вероятность, что бот уже записал их себе в базу.
• Речь идёт о страницах сортировки, фильтрации, внутреннем поиске и т.п.
• Краулинговый бюджет, который мы узнаем благодаря информации из Google Search Console и Яндекс.Вебмастер, будет примерный.
• Поисковая система реагирует на любое изменение в адресе страницы, даже если урлы отличаются одним символом.
• Краулинговый бюджет (Crawl Budget) — это количество страниц сайта, которое сканирует краулер поисковых систем.
• Также боту может не нравиться контент на вашем сайте — например, он не отвечает на запросы пользователей.

Это значит, что все нужные страницы индексируются и присутствуют в поиске. А большому сайту вполне может потребоваться увеличение бюджета. Напрямую краулинговый бюджет не влияет на ранжирование, однако он все равно важен для продвижения. Если на сайте много страниц, не факт, что бот их проиндексирует все — он может проиндексировать ошибочные, а на важные не хватит времени и бюджета. Бюджет краулинга – это предел каждого сайта по количеству сканирования. Максимальное число страниц, которые могут быть проиндексированы роботом в определенный промежуток времени.

Но можно вовсе её убрать, юзабилити от этого не пострадает. Поисковый робот или браузер обращается к определенному URL, запрашивая страничку. Если страничка не менялась с последнего взаимодействия, сервер возвращает заголовок “304 Not Modified”. Соответственно, нет необходимости загружать повторно контент, который уже есть в кэше и индексе.

Все помнят отчёт в Google Search Console «Обнаружена, не проиндексирована»? Даже если вы убрали ссылки с 301-редиректом с сайта, есть вероятность, что бот уже записал их себе в базу. Не стоит полагаться на то, что последняя дата обхода в GSC – достоверна. Алексей Трудов уже рассматривал несовпадения данных в панели и журнале логов на реальных кейсах (Блок «Насколько точны данные о последнем сканировании страницы»). К сожалению, многие CMS к которым относятся очень популярные WordPress и Joomla, могут формировать дубликаты страниц. При правильном и нормальном функционировании разделов код будет отдавать значение 200.

Как же обстоит ситуация с краулинговым бюджетом у недавно созданного веб-сайта? За молодыми сайтами пристально следят поисковые системы. Первоначально новым ресурсам выделяется довольно небольшое количество лимитов на переобход. Это делается поисковой системой умышленно, чтобы определить качество площадки и количество контента. Именно поэтому очень важно, чтобы сайт не висел пустым и постоянно обновлялся. Но когда речь идет о большом интернет-магазине или информационном портале, то работа краулера становится очень важной для оптимизатора.

Не ожидайте, что бюджет вырастет через неделю после внесения изменений. Такое возможно только в случае улучшения скорости загрузки сайта. Если говорить о том, чтобы закрыть ненужные страницы от сканирования — борьба с ботом может затянуться надолго. Конечно, нужно разобраться, почему такие страницы попали в индекс. Вероятно, имеется одна или несколько причин из перечисленных выше. В идеальном варианте теперь в индекс должны попадать полезные страницы, до которых роботы не успевали дойти.