Как создать XML-файл Sitemap Советы; лучшие практики
Как создать XML Sitemap: Советы & лучшие практики.
В первые недели моей работы в Atlassian я искал быстрый выигрыш, чтобы закрепиться в компании и пропагандировать SEO. Итак, я провел аудит нашего основного сайта и заметил, что у него нет XML sitemap. Какая легкая победа!
Я пошел к разработчикам и попросил их активировать его в CMS. К моему удивлению, они сказали мне, что это невозможно; я был озадачен.
Немного подумав, я вспомнил, что в Screaming Frog есть функция XML sitemap, поэтому я отсканировал сайт и загрузил результаты сканирования в виде XML sitemap. Google съел его в течение нескольких секунд, и мы увидели заметное влияние на наш трафик в последующие дни.
Мораль истории такова: XML sitemaps важны и иногда недооцениваются.
Вот все, что я собираюсь рассмотреть в этой статье.
Что такое XML Sitemaps и почему вам необходимо иметь один HTML vs. XML Sitemap Различные типы XML Sitemap Минимальные требования к XML Sitemap Советы по XML Sitemap для больших сайтов Лучшие и худшие практики XML Sitemap Инструменты и генераторы XML Sitemap.
Что такое XML Sitemaps и почему их нужно иметь.
XML sitemaps — это цифровые карты, которые помогают Google обнаружить важные страницы на вашем сайте и частоту их обновления.
Google заявляет на своей странице справочного центра:
Карта сайта сообщает краулеру, какие файлы вы считаете важными на вашем сайте, а также предоставляет ценную информацию об этих файлах: например, для страниц, когда страница была обновлена в последний раз, как часто страница изменяется, и любые альтернативные языковые версии страницы.
По словам Гэри Иллиса, XML sitemaps является вторым по важности источником URL-адресов, по которым будет ползать Googlebot, после гиперссылок и ранее обнаруженных URL-адресов. Это очень важно и не должно быть недооценено!
Ситемапы — второй вариант обнаружения, наиболее значимый для Googlebot @methode #SOB2019 Enrique Hidalgo (@EnriqueStinson) June 15, 2019.
Google начал использовать XML sitemaps в 2005 году, и вскоре к нему присоединились такие поисковые системы, как MSN и Yahoo. Сегодня они используют их даже больше, чем просто для обнаружения URL-адресов.
Проверьте здоровье вашего сайта.
с помощью инструмента Semrush Site Audit Tool.
Каждый сайт должен иметь XML sitemap. Они особенно важны для:
Сайтов с большим количеством осиротевших страниц.
Сайтов, использующих большое количество изображений и видео.
В то время как robots.txt помогает вам исключить части вашего сайта из рейтинга поисковых систем, XML sitemap делает обратное. Они помогают поисковым системам обнаружить новые страницы — даже если они не связаны с основным сайтом.
Карты сайта поставляются в формате XML, который Google может быстро разобрать, чтобы найти новые URL-адреса. XML — e X tensible M arkup L anguage — легкий и переносимый между устройствами формат, созданный для хранения данных.
Самый простой способ проверить, есть ли на вашем сайте карта сайта, — заглянуть в Google Search Console или Bing Webmaster Tools в раздел «sitemaps.» Большинство поисковых систем, таких как Google или Bing, ищут «Sitemap: <sitemap_location>»запись (или записи) в robots вашего сайта.txt-файл. Кроме того, вы можете отправить карту сайта непосредственно в Google, Baidu, Bing и Yandex.
XML sitemap в Bing Webmaster Tools. 1: Отчет о картах сайта. 2: Добавление новых путей карты сайта. 3: существующие карты сайта, найденные Bing.
XML sitemaps в Google Search Console. 1: отчет Sitemaps. 2: Добавление новых путей к карте сайта. 3: существующие карты сайта Google.
HTML против. XML-карты сайта.
Существует два типа карт сайта: HTML и XML. В чем разница?
1. Вы заметите формат .
HTML, очевидно, отличается от XML. Но из этого следует еще больше: в то время как HTML sitemaps видны пользователям сайта, XML sitemaps — это информация для поисковых систем.
Можно утверждать, что HTML sitemaps также создаются для поисковых систем, но если они могут быть ценными для пользователей, то XML sitemaps — нет.
2. Они служат одной и той же цели, но разными способами.
И то, и другое помогает поисковым системам обнаружить новые URL-адреса, будь то страницы, видео или изображения.
XML sitemaps — это пользовательские фиды, которые помогают поисковым системам понять приоритетность URL для переползания, как часто они меняются, и какие новые URL были добавлены на сайт. Это особенно полезно для планировщиков поисковых систем, поскольку они могут лучше оценить, когда и как часто нужно переполнять URL-адрес.
HTML sitemaps также помогает поисковым системам обнаружить новые URL, но через обнаружение ссылок, по которым они следуют. Это означает, что HTML sitemaps может быть эффективным инструментом обнаружения URL только в том случае, если они просматриваются и если по ним переходят. Вы можете понять это, посмотрев на свои файлы журнала.
3. У них разные побочные преимущества.
XML карты сайта имеют такие мета-атрибуты, как <changefreq> или <lastmod> для указания того, как изменяется состояние URL. Они также могут содержать расширения для видео, изображений и новостей.
HTML карты сайта распределяют PageRank по всему сайту, и именно для этого они сегодня в основном используются, помимо навигационной ценности для пользователей. Поскольку HTML sitemaps часто размещаются в нижнем колонтитуле сайта, на них обычно ссылаются с каждой страницы, и они могут распределять входящий PageRank на другие страницы с более слабой внутренней перелинковкой.
Различные типы XML Sitemaps.
Несмотря на то, что XML sitemaps может быть представлен в RSS, mRSS, Atom 1.0 или текстовый формат, «тип» карты сайта относится к ее содержанию или «типу медиа»:
Как я расскажу ниже, вы можете создавать карты сайта, содержащие только один определенный тип медиафайлов, или интегрировать их в обычную карту сайта XML.
Минимальные требования к XML Sitemap.
Чтобы XML карта сайта работала оптимально, она должна соответствовать стандартам. Карта сайта XML должна:
Содержать только канонические URL-адреса с кодом состояния 200.
Включите до 200 тысяч URL-адресов в карту сайта и до 50 тысяч карт сайта в индексную карту сайта.
Быть упомянутым в роботах.txt.
Будьте сжаты в .формат gz.
быть не более 50 мб или содержать 50 000 URL-адресов (что бы вы ни выбрали в первую очередь).
Но вы можете и должны сделать больше, чтобы получить максимальную отдачу от XML sitemaps. Вы можете указать Google, какие URL являются важными, включив в XML sitemaps только важные страницы и часто обновляя их.
Большинство CMS имеют функцию автоматического обновления карты сайта при создании нового URL или изменении существующей страницы. Для Google частота обновления самой карты сайта и тега lastmod страниц может быть сигналом свежести. Важно ли это для ранжирования, зависит от страницы и контекста.
Представьте XML sitemap как карту города для туристов, где город — это ваш сайт, а турист — Google. Вы хотите убедиться, что включили только важные здания, а не все адреса. Именно поэтому не следует включать неважные страницы; примером могут служить такие страницы, как политика конфиденциальности или страница «О нас». Хотя эти страницы должны быть проиндексированы, их не нужно часто просматривать, и они не важны, когда мы говорим о SEO.
Советы по составлению XML Sitemap для крупных сайтов.
Вы можете сделать больше, чтобы повысить уровень своей карты сайта, помимо выполнения стандартных требований.
Крупные сайты, например, новостные издательства, должны использовать индексные карты сайта, которые содержат (до 50 000) обычных карт сайта, а также не должны быть тяжелее 50 Мб. Они подобны материнскому кораблю XML sitemap, который несет множество более мелких sitemap. Они нужны большим сайтам, потому что они не могут поместиться в одну карту сайта. В любом случае, не стоит пытаться вместить все в одну карту сайта.
Вы можете извлечь максимальную пользу из этих карт сайта, структурировав их по типам страниц или темам. На практике вы можете создать специальные XML-карты сайта для каждого подкаталога или шаблона страницы, чтобы получить представление о технических и индексирующих проблемах вашего сайта.
Существуют специализированные XML-карты сайта для конкретных целей. Сайты, которые в значительной степени оперируют богатыми медиа (например, Pinterest или YouTube), получают большую пользу от сайтов изображений или видео . Издатели должны иметь новостные карты сайта .
Ситема изображений повышает шансы вашего сайта быть найденным в поиске Google по изображениям. Вам не обязательно иметь специальную карту сайта для изображений; вы также можете использовать расширения изображений в своей обычной карте сайта.
Вот как выглядят расширения изображений (спецификации XML):
Видеокарты сайта функционируют по тому же принципу: либо создайте специальную карту сайта, либо добавьте расширения к вашей обычной карте:
Но будьте осторожны с метаданными, которые вы добавляете в видеокарты сайта или расширения.
Google утверждает: «Google может использовать текст на целевой странице видео, а не текст, который вы предоставили в карте сайта, если текст страницы будет считаться более полезным, чем информация в карте сайта».» Речь идет о тексте, передаваемом через описание. Помимо описания, вы можете передать Google миниатюру, длину видео, рейтинг, семейность и многое другое (полный список мета-данных видео XML sitemap). Для сайтов, активно использующих видео, это, безусловно, имеет смысл. Для всех остальных это относительно необязательно.
Карта сайта новостей отличается тем, что вы всегда должны иметь отдельную XML-карту сайта новостей. Google не рекомендует (и не предлагает) расширений в этом случае. Новостные карты сайта помогают Google обнаруживать и ранжировать новые статьи, что особенно сложно для издательской отрасли, поскольку она производит много контента. Несмотря на то, что Google заявляет, что издателям с новостными картами сайта не отдается предпочтение, это помогает быстрее ранжировать горячие новости в Google News.
К новостным картам сайта предъявляются особые требования:
Включать статьи не старше 2 дней.
Не добавляйте более 1000 новых статей в существующую карту сайта за один раз.
Обновляйте существующие карты сайта для обновления статей.
Вы также можете использовать XML sitemaps для определения и указания определенных мета-тегов для Google. Одним из примеров является hreflang; вы можете добавить его в качестве расширения к карте сайта (полное руководство):
Google игнорирует атрибут приоритета в XML sitemaps, но обращает внимание на lastmod, по словам Джона Мюллера. Google сам определяет приоритет ваших страниц, вероятно, по популярности и авторитетности. Lastmod, однако, является тегом, который указывает, когда URL был изменен в последний раз, что действительно интересно для Google.
URL + дата последней модификации — вот что нам важно для веб-поиска. ? Джон ? (@JohnMu) 17 августа 2017 г.
Кроме того, по словам Джона Мюллера, вам не нужно добавлять XML sitemaps для AMP URL.
@Kfowler325 Нет необходимости в картах сайта для AMP-страниц — нам достаточно ссылки rel=amphtml. ? Джон ? (@JohnMu) 13 октября 2016 г.
Лучшие и худшие практики XML Sitemap.
В Atlassian мы решили проблему отсутствия функции XLM sitemap в нашей CMS с помощью стороннего поставщика XML sitemap, и она отлично работает.
Несмотря на то, что формат текстовый, а не XML, он работает.
The New York Times ссылается на свои карты сайта в robots.txt и разделяет такие форматы, как видео или новости. Он идет еще дальше и имеет карты сайта для конкретных категорий, таких как кулинария или выборы.
Имеет смысл иметь специальные XML sitemaps для своевременного проведения мероприятий в качестве издателя, потому что вам нужно понимать, как быстро Google подхватывает контент и все ли можно проиндексировать без проблем.
Walmart имеет аналогичное разделение по категориям, что имеет большой смысл для сайтов электронной коммерции . Имеет Master XML sitemaps для тем и категорий.
Как видно на скриншоте ниже, разделение по темам позволяет Walmart увидеть, как Google индексирует различные области сайта, например, моду или развлечения.
Если у вас есть сайт, разделенный на темы, категории или и то, и другое, рекомендуется создать специальные XML-карты сайта для каждой из них. Нет никаких известных недостатков в том, чтобы иметь одинаковые URL-адреса в разных картах сайта.
Совет Semrush : С помощью инструмента Semrush Site Audit вы можете провести аудит любого сайта и проверить наличие шести конкретных проблем, связанных с XML-картой сайта. Сначала инструмент проверит, есть ли карта сайта.xml присутствует или нет, а затем он будет искать ошибки форматирования, неправильные страницы в карте сайта и другие проблемы, которые могут повлиять на ясность вашей карты сайта.
Инструменты и генераторы XML Sitemap.
Большинство систем управления контентом поставляются с готовыми функциями, позволяющими автоматически создавать XML sitemap. Но некоторые из них этого не делают, и в этом случае вам понадобится инструмент стороннего производителя.
