Технические ошибки нового сайта, которые замедляют его появление в поиске

Новый сайт может неделями не появляться в поиске из-за мелочей, которые не видны в браузере: запрета индексации, оставшегося после разработки, двух версий адреса, копий страниц с параметрами, ошибок в ответах сервера. Большинство из них находится за вечер. Понадобятся доступ к панели вебмастера, к файлам сайта и немного терпения. Ниже порядок проверки по шагам и список ошибок, которые чаще других откладывают появление сайта в выдаче.

Как поисковик знакомится с новым сайтом

Прежде чем страница окажется в выдаче, поисковый робот должен её найти, скачать и решить, стоит ли добавлять её в базу. Этот процесс называют индексацией. Робот приходит по ссылкам и по карте сайта, читает файл robots.txt с правилами обхода, смотрит на код ответа сервера и метатеги страницы. Любое препятствие на этом пути отодвигает появление сайта в поиске.

Инструментов нужно немного. Панели для вебмастеров есть у крупных поисковых систем: там видно, какие страницы робот уже добавил, какие исключил и по какой причине. Доступ к файлам сайта или к административной панели нужен, чтобы поправить robots.txt и настройки. Пригодится и любой бесплатный краулер: он обойдёт сайт, как робот, и покажет коды ответов.

Технические ошибки у новых сайтов повторяются из проекта в проект, потому что многие из них создают сами движки и конструкторы. Служебные страницы, копии с параметрами в адресе, пустые разделы-заготовки, тестовые тексты: робот тратит время на мусор, а нужные страницы ждут очереди.

Заранее стоит продумать и структуру сайта: какие разделы будут, какие адреса у них получатся. Короткие понятные адреса без случайных цифр удобнее и людям, и поиску. Менять их потом значит настраивать перенаправления и снова ждать, пока робот разберётся с новыми адресами.

Имеет значение и сервер. Если хостинг отвечает медленно или время от времени отдаёт ошибки с кодом 5xx, робот может реже заходить и откладывать обход. Перед запуском стоит убедиться, что сайт выдерживает нагрузку, а сертификат для HTTPS выпущен и продлевается автоматически.

Проверка по шагам

1. Снимите запрет индексации. На этапе разработки сайт часто закрывают целиком: строкой Disallow: / в robots.txt или метатегом noindex. После запуска запрет забывают. Откройте robots.txt и код нескольких страниц и убедитесь, что закрыты только служебные разделы.
2. Выберите главное зеркало. Сайт с www и без него, по http и по https для поиска выглядит как разные адреса с одинаковым содержимым. Нужно выбрать одну версию, настроить на неё постоянное перенаправление с кодом 301 со всех остальных и указывать её же в каноническом теге. Решение принимают один раз и больше к нему не возвращаются. От путаницы с зеркалом страдает продвижение молодого сайта: поисковый робот видит две копии ресурса, и индексация растягивается. В интервью со специалистом по SEO к той же группе ошибок отнесена смена домена или движка через пару месяцев после запуска: переезд требует перенаправлений и повторной проверки настроек, поэтому рост откладывается.
3. Уберите копии страниц. Фильтры, сортировки, метки рекламных кампаний и версии для печати создают адреса с параметрами. Лишние закройте от индексации или укажите для них каноническую страницу.
4. Проверьте коды ответов. Рабочие страницы должны отдавать код 200, удалённые отдают 404 или перенаправляют посетителя. Частая ошибка: страница «не найдено», которая отвечает кодом 200, и робот может принять её за обычную.
5. Отдайте роботу карту сайта. Файл sitemap.xml со списком страниц указывают в robots.txt и в панелях вебмастеров. В карту включают только нужные адреса, без перенаправлений и закрытых страниц.

Ошибки, которые замечают слишком поздно

После основной проверки остаются ошибки, которые всплывают через месяц-другой, когда страницы так и не появились в выдаче.

• Медленная загрузка на телефоне. Тяжёлые картинки и скрипты превращают загрузку в ожидание, и посетитель уходит раньше, чем увидит содержимое.
• Одинаковые заголовки страниц. Если у десятка услуг title «Главная», поиск не различает их между собой.
• Содержимое, которое собирается скриптом. Если текст появляется только после выполнения JavaScript, робот может увидеть пустую страницу или увидеть её позже.
• Цепочки перенаправлений. Один адрес ведёт на второй, тот на третий, и каждое лишнее звено замедляет обход.
• Битые внутренние ссылки. Робот упирается в ошибку 404 и не доходит до страниц, на которые больше никто не ссылается.
• Неверный канонический тег. Шаблон проставляет на всех страницах canonical на главную, и робот считает их копиями одной страницы.
• Закрытые стили и скрипты. Если robots.txt запрещает папки с CSS и JavaScript, робот не может отрисовать страницу так, как её видит человек.
• Тестовые тексты и пустые разделы. «Lorem ipsum» и заготовки «раздел в разработке» попадают в базу вместо настоящих страниц.

Проверить результат помогают те же панели вебмастеров. Растёт ли число страниц в поиске, понятны ли причины исключения, появились ли первые запросы, по которым сайт показывается. В первые недели запросов может не быть вовсе, поэтому сначала смотрят на число страниц в базе и причины исключения. Если через несколько недель нужные страницы так и не добавлены, начинать стоит с начала списка: чаще всего виновата первая же забытая мелочь.

Чистый старт вместо долгого ожидания

Техническая проверка нового сайта занимает вечер, а сэкономить может месяцы. Открытый для робота robots.txt, одно главное зеркало, страницы без копий, правильные коды ответов и аккуратная карта сайта дают поиску понятную картину. Дальше сайт растёт за счёт содержания, и забытая настройка не тормозит этот рост. Ошибки, найденные позже, обходятся дороже: каждую придётся исправлять и снова ждать, пока робот перепроверит страницы.