Ответы сервера — инструкция для SEO

Важные коды HTTP ответов для SEO, как они влияют на продвижение веб-сайта и какие инструменты вам понадобятся для мониторинга и решения проблем. Различные коды ответов сервера, такие как 404, 301 и 500, играют ключевую роль в определении доступности и качества вашего сайта. Например:

• Код 404 Not Found указывает на недоступную страницу и может негативно сказаться на пользовательском опыте и ранжировании сайта в поисковых системах;
• Код 301 Moved Permanently сигнализирует о постоянном перенаправлении, что помогает сохранить «ссылочный вес» страницы в SEO при изменении её URL;
• Код 500 Internal Server Error говорит о проблемах на сервере, что требует немедленного внимания.

404, 301, 500… и т.д. указывают на то, как работает ваш сайт и как поисковые системы, такие как Google, видят и ранжируют ваш сайт. Понимание и правильная интерпретация этих кодов состояния позволяют поддерживать состояние вашего сайта и оптимизировать его для поисковых систем. Используйте инструменты мониторинга, такие как Google Search Console, Яндекс Вебмастер или Screaming Frog SEO Spider / Site Analyzer, чтобы своевременно выявлять и устранять ошибки с некорректными ответами сервера на вашем сайте.

Ниже мы разберем наиболее распространенные ответы сервера для SEO, какое они оказывают влияние и как следить за ними. Следование рекомендациям по управлению кодами состояния поможет улучшить производительность сайта, увеличить его доступность и повысить позиции в поисковой выдаче.

Что такое ответы сервера?

Когда браузер или поисковый бот (так называемый «клиент») обращается к вашему сайту, сервер отвечает кодом состояния HTTP, каждый из которых имеет своё особое значение.

Например при проверке страницы Список кодов состояния HTTP в Я.Вебмастер страница отдала ответ сервера 200 OK, что значит, что она доступна.

Важность мониторинга ответов сервера

Следя за кодами состояния HTTP вашего сайта и устраняя возникающие проблемы, вы отправляете сигнал поисковым системам о том, что ваш сайт готов для сканирования и индексирования без сбоев. Это важно для поддержания хорошего пользовательского опыта и высокой видимости в поисковых системах для большинства типов сайтов (исключением являются новостные ресурсы, для них это не так важно).

Какие есть основные типы HTTP ответов сервера?

Коды состояния HTTP — это трёхзначные числа, которые серверы отправляют в ответ на запрос клиента. Они предоставляют информацию о статусе запроса и о том, был ли он успешно завершён.

Распространённые коды состояния HTTP:

• 200 (OK): Запрос успешно выполнен;
• 301 (Moved Permanently): Ресурс был перемещён на новый постоянный URL;
• 404 (Not Found): Запрашиваемый ресурс не найден;
• 500 (Internal Server Error): На сервере произошла ошибка, мешающая обработке запроса.

Разновидности HTTP кодов

Коды состояния HTTP подразделяются на пять категорий, которые позволяют понять, как был обработан ваш запрос:

1. 1xx (информационные): Запрос получен, и сервер продолжает его обработку.
2. 2xx (успешные): Запрос успешно получен, понят и принят.
3. 3xx (перенаправления): Для завершения запроса требуется дополнительное действие.
4. 4xx (ошибки клиента): В запросе содержится ошибка, например, неправильно набранный URL или попытка несанкционированного доступа.
5. 5xx (ошибки сервера): Сервер не смог выполнить корректный запрос из-за ошибки на своей стороне.

Влияние ответов сервера на SEO

Коды состояния HTTP передают информацию о состоянии ваших веб-страниц поисковым системам. Такие поисковые системы, как Google и Яндекс, используют эти коды для оценки доступности, релевантности и общего состояния вашего сайта.

Рассмотрим, каким образом коды состояния HTTP влияют на SEO и что можно сделать для оптимизации сайта, чтобы улучшить его видимость в поисковых системах:

Когда поисковый робот заходит на ваш сайт, он ожидает получить код состояния 200 OK для каждой доступной страницы. Если робот сталкивается с другими кодами, такими как 404 (страница не найдена) или 500 (внутренняя ошибка сервера), это может быть воспринято как признак низкого качества или недоступности сайта, что негативно скажется на его позициях в поисковой выдаче.

Коды состояния также играют важную роль в управлении перенаправлениями страниц и сохранении «веса» ссылок.

Влияние ответов сервера на сканирование, индексирование и ранжирование

Коды состояния HTTP оказывают непосредственное влияние на то, как поисковые системы индексируют контент вашего сайта. Когда поисковые роботы, также известные как боты или пауки «crawler», посещают сайты для обнаружения и индексирования нового контента, они анализируют возвращаемый код состояния HTTP, чтобы определить дальнейшие действия.

Например, код состояния 200 OK сообщает роботу, что страница доступна и может быть проиндексирована, что позволяет ей участвовать в ранжировании в результатах поиска.

Однако, если бот сталкивается с кодом 404, означающим, что страница не найдена, это указывает на то, что страница не существует или была удалена. В этом случае бот может исключить страницу из индекса, так как контент больше недоступен для пользователей.

Другие коды состояния, такие как 301 и 302, указывают поисковым системам на то, что запрашиваемый контент переместился на новый адрес. Например, код 301 (moved permanently / перемещено навсегда) важен для сохранения ссылочного веса, при изменении адреса, например:

• Старый адрес site.ru/page
• Новый адрес site.ru/page-2 
• Если их не связать редиректом, то все ссылки ведущие на site.ru/page будут вести на 404-ю страницу.
• Если со старого адреса site.ru/page настроить 301-й редирект на новый адрес site.ru/page-2, то все ссылочный связи сохранятся, а ссылочный вес будет передан на новый адрес хоть и с небольшой потерей.

Категории ответов сервера

Вот разбивка наиболее распространенных категорий кодов состояния HTTP и их значение для SEO:

2xx

Success (2xx) — Эти коды указывают на успешное выполнение запроса, и сервер вернул запрашиваемый контент. Код состояния 200 OK является наиболее распространенным и желательным для SEO, так как он означает, что страница доступна для поисковых систем и пользователей.

3xx

Redirect (3xx) — коды перенаправления сигнализируют о том, что запрашиваемый контент переместился на новый URL. Код состояния 301 (перемещено навсегда) имеет ключевое значение для SEO, поскольку он передает ссылочный вес со старого URL на новый.

Также позволяет дать понять поисковику, что теперь у данной страницы новый адрес и она с меньшей вероятностью просядет в позициях, если этого не сделать страница будет продвигаться с нуля.

4xx

Client Error (4xx) — коды ошибок клиента указывают на проблемы с запросом, такие как неработающая ссылка (404 не найдено) или несанкционированный доступ (401 не авторизован). Эти коды могут негативно сказываться на SEO и пользовательском опыте, если их своевременно не устранить.

5xx

Server Error (5xx) — коды ошибок сервера указывают на то, что сервер столкнулся с ошибкой при обработке запроса. Проблемы, такие как 500 внутренняя ошибка сервера или 503 сервис недоступен, могут нанести ущерб SEO, если они продолжают возникать, так как поисковые системы могут воспринимать их как признаки ненадежного сайта.

Подробнее о 3xx, 4xx и 5xx ответах сервера

Рассмотрим подробнее некоторые коды состояния и их влияние на SEO.

Редиректы 3xx

Коды перенаправления из категории 3xx информируют клиентов о том, что запрашиваемый ресурс перемещен на новый адрес. Наиболее распространенные коды перенаправления в SEO:

• 301 (Moved Permanently);
• 302 (Found).

Код 301 используется, когда страница была окончательно перемещена на новый URL. Он передает ссылочный вес со старого URL на новый, гарантируя перенос данных, связанных с оригинальной страницей. Внедрение 301-перенаправлений особенно важно при реструктуризации сайта или переезде на новый домен.

В отличие от него, код 302 указывает на временное перемещение. Хотя Джон Мюллер из Google заявил, что Google обрабатывает 301 и 302 ответы практически одинаково, 302 стоит использовать только тогда, когда вы планируете вернуться к исходному URL через какое-то время.

Client Error 4xx

Коды ошибок клиента из категории 4xx указывают на наличие ошибки в запросе клиента. Наиболее известный из них — код 404, означающий, что запрашиваемая страница не найдена на сервере. Пара 404 ошибок на вашем сайте является нормальным явлением, особенно если вы недавно удаляли или изменяли URL-адреса страниц (что не следует делать без настройки 301-х редиректов).

Однако большое количество 404 ошибок может негативно сказаться на вашем сайте, так как это сигнализирует поисковым системам о том, что сайт плохо поддерживается или имеет много неработающих ссылок. Чтобы минимизировать влияние 404 ошибок, стоит рассмотреть возможность создания 301 редиректов с несуществующих адресов, которые часто используют пользователи, на релевантный контент и его создание, если на сайте по каким-то причинам больше нет подходящих страниц.

Простая настройка 301-х редиректов на несвязанные страницы не даст особой пользы, так как с точки зрения пользователей они будут попадать не туда, куда хотели, а с точки зрения поисковой системы Google это будет расценено, как Ошибки Soft 404, то есть ссылочный вес не будет передан.

Также обращайте внимание на другие коды ошибок клиента, такие как:

• 400 (Bad Request);
•  401 (Unauthorized);
•  403 (Forbidden). 

Хотя они могут не оказывать прямого влияния на ваше SEO, они способны вызывать недовольство пользователей и усложнять поисковым системам задачу нахождения и отображения вашего контента.

Server Errors 5xx

Коды ошибок сервера из категории 5xx указывают на то, что сервер столкнулся с проблемой при попытке обработать запрос клиента. Наиболее распространенные коды ошибок сервера:

• 500 Internal Server Error;
• 503 Service Unavailable.

Ошибка 500 подразумевает наличие проблемы в конфигурации сервера или в коде веб-сайта. Причинами таких ошибок могут быть, например, поврежденный файл .htaccess или конфликт между плагинами.

Пример ошибок 500

Если поисковые системы фиксируют значительное количество ошибок 500 на вашем сайте, они могут воспринять это как признак ненадежного или плохо поддерживаемого ресурса, что негативно скажется на вашем SEO.

Ошибка 503 обычно возникает, когда сервер временно недоступен из-за технического обслуживания или перегрузки. Хотя редкие ошибки 503 не представляют серьёзной угрозы для SEO, постоянные или длительные сбои могут помешать поисковым системам сканировать и индексировать ваш контент, что приведёт к снижению позиций в поисковой выдаче.

Полный список HTTP ответов сервера

Для справки, ниже представлен полный список кодов состояния HTTP и их значение:

Информационные | Informational  (1xx):

Эти коды состояния указывают на то, что запрос был получен и его обработка продолжается:

• 100 Continue: Сервер получил заголовки запроса и ожидает тело;
• 101 Switching Protocols: Клиент запросил смену протоколов, и сервер согласился;
• 102 Processing: Сервер получил запрос, но процесс еще не завершен.

Успешные | Succes (2xx):

Эти коды указывают на успешное получение, понимание и принятие запроса сервером:

• 200 OK: Запрос выполнен успешно, и сервер вернул запрашиваемый ресурс.
• 201 Created: Запрос успешно выполнен, и создан новый ресурс.
• 202 Accepted: Запрос получен, но еще не обработан.
• 203 Non-Authoritative Information: Запрос успешен, но информация может быть получена из другого источника.
• 204 No Content: Сервер успешно обработал запрос, но не возвращает содержимое.
• 205 Reset Content: Сервер обработал запрос и инструктирует клиента сбросить отображение документа.
• 206 Partial Content: Сервер предоставляет только часть ресурса (например, при использовании заголовков диапазона для больших файлов).
• 207 Multi-Status: Ответ включает несколько кодов состояния (обычно используется в WebDAV).
• 208 Already Reported: Члены привязки DAV уже были перечислены в предыдущем ответе (WebDAV).
• 226 IM Used: Сервер выполнил запрос GET с использованием ответа с манипуляцией экземпляра.

Перенаправления | Redirection (3xx):

Эти коды указывают на то, что клиент должен предпринять дополнительные действия для завершения запроса:

• 300 Multiple Choices: Ресурс имеет несколько вариантов, и клиент может выбрать один из них.
• 301 Moved Permanently: Запрашиваемый ресурс навсегда перемещен на новый URL.
• 302 Found (временное перенаправление): Ресурс временно находится по другому URL.
• 303 See Other: Клиент должен получить ресурс, используя метод GET по другому URI.
• 304 Not Modified: Ресурс не изменялся с момента последнего запроса (используется для кэширования).
• 307 Temporary Redirect: Похоже на 302, но метод (например, POST или GET) должен оставаться прежним.
• 308 Permanent Redirect: Ресурс был навсегда перемещен на новое место, и метод запроса (например, POST или GET) должен оставаться прежним.

Ошибки клиента | Client Errors (4xx)

Эти коды указывают на то, что клиент, вероятно, допустил ошибку:

• 400 Bad Request: Сервер не может обработать запрос из-за некорректного синтаксиса.
• 401 Unauthorized: Для доступа к ресурсу требуется аутентификация.
• 402 Payment Required: Зарезервировано для будущего использования (связано с цифровыми платежными системами).
• 403 Forbidden: Сервер понимает запрос, но отказывается его выполнять.
• 404 Not Found: Сервер не может найти запрашиваемый ресурс.
• 405 Method Not Allowed: Запрашиваемый метод (например, GET, POST) не разрешен для ресурса.
• 406 Not Acceptable: Сервер не смог предоставить ответ, соответствующий списку допустимых значений
• 407 Proxy Authentication Required: Клиент должен пройти аутентификацию через прокси перед обработкой запроса.
• 408 Request Timeout: Сервер не дождался завершения запроса.
• 409 Conflict: Запрос не может быть выполнен из-за конфликта в текущем состоянии ресурса.
• 410 Gone: Ресурс больше недоступен и не будет доступен в будущем.
• 411 Length Required: Сервер требует указать заголовок Content-Length.
• 412 Precondition Failed: Одно или несколько условий в заголовках запроса не выполнены.
• 413 Payload Too Large: Размер запроса превышает допустимый сервером.
• 414 URI Too Long: Предоставленный URI слишком длинный для обработки сервером.
• 415 Unsupported Media Type: Сервер не поддерживает медиа-формат запрашиваемых данных.
• 416 Range Not Satisfiable: Заданный в заголовке Range диапазон не может быть выполнен.
• 417 Expectation Failed: Сервер не может удовлетворить требования заголовка Expect.
• 418 I’m a teapot (шутка на 1 апреля): Сервер отказывается заваривать кофе, так как он чайник.
• 421 Misdirected Request: Запрос был направлен на сервер, который не может дать ответ.
• 422 Unprocessable Entity: Сервер понимает содержимое, но не может обработать инструкции (часто связано с WebDAV).
• 423 Locked: Ресурс заблокирован (WebDAV).
• 424 Failed Dependency: Запрос не выполнен, так как зависит от другой операции (WebDAV).
• 425 Too Early: Сервер не готов обработать запрос, так как он может быть повторен.
• 426 Upgrade Required: Клиент должен переключиться на другой протокол.
• 428 Precondition Required: Сервер требует, чтобы запрос был условным для предотвращения конфликтов.
• 429 Too Many Requests: Пользователь отправил слишком много запросов за определенный период времени (ограничение скорости).
• 431 Request Header Fields Too Large: Сервер отказывается обработать запрос из-за слишком больших полей заголовка.
• 451 Unavailable For Legal Reasons: Ресурс не может быть предоставлен из-за юридических ограничений (цензура).

Ошибки сервера | Server errors (5xx)

Эти коды указывают на то, что сервер не смог выполнить корректный запрос:

• 500 Internal Server Error: На сервере произошла общая ошибка.
• 501 Not Implemented: Сервер не распознает метод запроса или не имеет возможности его выполнить.
• 502 Bad Gateway: Сервер, выступая в роли шлюза или прокси, получил недопустимый ответ от вышестоящего сервера.
• 503 Service Unavailable: Сервер временно не может обработать запрос (из-за перегрузки или технического обслуживания).
• 504 Gateway Timeout: Сервер, выступая в роли шлюза или прокси, не получил своевременный ответ от вышестоящего сервера.
• 505 HTTP Version Not Supported: Сервер не поддерживает используемую в запросе версию протокола HTTP.
• 506 Variant Also Negotiates: Внутренняя ошибка конфигурации сервера (переговоры о содержимом приводят к циклическим ссылкам).
• 507 Insufficient Storage: Сервер не может сохранить данные, необходимые для выполнения запроса (WebDAV).
• 508 Loop Detected: Сервер обнаружил бесконечный цикл при обработке запроса (WebDAV).
• 510 Not Extended: Для выполнения запроса требуются дополнительные расширения.
• 511 Network Authentication Required: Клиент должен пройти аутентификацию для получения доступа к сети.

Рекомендации по настройке HTTP ответов для SEO

Настройка редиректов

Если необходимо навсегда переместить страницу, обязательно используйте перенаправление 301 или 308. Чтобы упростить процесс настройки перенаправлений, рассмотрите использование инструмента для управления редиректами. 

Это поможет вам отслеживать все перенаправления в одном месте и обеспечивать их правильную настройку. При удалении веб-страниц убедитесь, что вы корректно убрали URL из навигации сайта и внутренних ссылок. Также можно использовать код состояния 410, чтобы сигнализировать поисковым системам о намеренном удалении контента.

Работа с 4xx ошибками

При управлении кодами состояния HTTP важно уделять внимание обработке ошибок клиента, таких как страницы 404. Хотя наличие некоторых ошибок 404, особенно на крупных сайтах, является обычным делом, необходимо стремиться к их минимизации. Регулярная проверка на наличие неработающих ссылок и настройка перенаправлений для удаленных страниц или перемещенного контента помогут держать такие ошибки под контролем. 

Кроме того, создание пользовательской страницы 404, которая помогает посетителям найти нужный контент и побуждает их исследовать другие разделы вашего сайта, может превратить потенциально негативный опыт в возможность вовлечения пользователя на целевой контент.

Подробнее в Яндекс Справке.

Следите за ошибками клиента, которые могут возникнуть на вашем сайте. Если вы заметили внезапное увеличение числа ошибок 404 или других тревожных сигналов, пора действовать.

Работа с ошибками сервера

Ошибки 5xx означают, что сервер не смог предоставить запрашиваемый контент, что может разочаровать пользователей и затруднить поисковым системам сканирование и индексирование вашего сайта. Важно регулярно отслеживать производительность вашего сайта и устранять любые скрытые проблемы, чтобы минимизировать влияние ошибок сервера.

Используйте инструменты для логирования и мониторинга сервера, чтобы выявлять проблемы и получать уведомления при возникновении ошибок. К распространенным причинам ошибок сервера относятся конфликты плагинов, ошибки в коде и неправильные настройки сервера. Ошибки сервера могут быть неприятными, но иногда они временные и исчезают сами по себе. Если вы замечаете их чаще, чем хотелось бы, пора заняться расследованием. Возможно, вам потребуется изменить настройки сервера, обновить программное обеспечение или внимательно изучить код вашего сайта, чтобы найти причину.

Отслеживание проблем с кодами состояния HTTP

Не позволяйте проблемам с кодами состояния HTTP неожиданно застать вас врасплох. Регулярное наблюдение за вашим сайтом — ключ к успеху. Когда вы обнаружите проблемы, расставьте приоритеты для их устранения в зависимости от серьезности и потенциального влияния. Сначала сосредоточьтесь на решении ошибок на самых важных страницах, таких как ваша главная страница, ключевые страницы продуктов и популярные статьи в блоге. Помимо мониторинга ошибок, полезно также регулярно проводить аудит общего профиля кодов состояния HTTP вашего сайта. Ищите возможности оптимизации использования кодов состояния, например, убедитесь, что постоянные перенаправления используются правильно, а удаленный контент возвращает код состояния 410 вместо 404.

Инструменты для мониторинга и анализа кодов состояния HTTP

Для эффективного мониторинга и анализа кодов состояния HTTP необходимы подходящие инструменты. Вот несколько из них, которые стоит иметь в своем арсенале.

Google Search Console

С помощью Google Search Console вы можете получить доступ к отчету об индексировании страниц, чтобы увидеть сводку кодов состояния HTTP, которые возвращают страницы вашего сайта.

Этот отчет выделит страницы, возвращающие ошибки, такие как 404 «не найдено» или 500 внутренняя ошибка сервера. Вы сможете углубиться в эти проблемы, чтобы определить конкретные затронутые URL-адреса и предпринять действия для их устранения.

Хотите узнать, как Google воспринимает определенную страницу вашего сайта? Используйте инструмент проверки URL в Google Search Console. Просто введите адрес страницы, и вы получите подробный отчет о том, как Google сканирует и индексирует эту страницу. Если будут обнаружены ошибки кодов состояния HTTP или другие препятствия, мешающие производительности страницы, вы получите уведомление.

Я.Вебмастер

С помощью Я.Вебмастер также можно отслеживать ошибки с разного рода ответами сервера, в рамках основного дашборда есть информация с последними обновлениями и ответами сервера страниц:

Либо можно перейти в отчет «Индексирование» ➔ «Страницы в поиске» полной историей вашего сайта:

Можно отфильтровать все страницы исключенные в связи с некорректным ответом сервера:

Screaming Frog SEO Spider

Еще один мощный инструмент для мониторинга и анализа кодов состояния HTTP — Screaming Frog SEO Spider, особенно полезный для крупных сайтов, на которых может быть тысячи или даже миллионы страниц (при условии мощного сервера или компьютера).

Этот инструмент позволяет сканировать весь ваш сайт и создавать подробный отчет обо всех обнаруженных кодах состояния HTTP. С помощью Screaming Frog вы можете быстро выявить страницы, возвращающие коды ошибок, такие как 301.302, 404 или 500. Вы также увидите разбивку всех различных кодов состояния, используемых на вашем сайте, что может помочь выявить необычные паттерны или потенциальные проблемы. Например, если вы заметите большое количество временных перенаправлений 302, стоит проверить их корректность использования.

Другие инструменты для работы с кодами состояния HTTP

Вот несколько других инструментов, которые стоит рассмотреть, каждый из которых предлагает свои уникальные возможности:

• Проверка ответа сервера от Яндекс Вебмастер.
• Сервис по проверке ответов сервера с гибкими настройками Checkmy.
• Аналогичный сервис по проверке ответов сервера.