Что такое карта сайта
Содержимое любого веб-ресурса рано или поздно будет проиндексировано поисковыми системами. А как сделать так, чтобы этот процесс происходил побыстрее?
Один из наиболее эффективных способов – использование так называемой карты сайта (Sitemap ).
Карта сайта (Sitemap ) – это xml -файл с информацией для поисковых систем о страницах веб-ресурса, которые подлежат индексации. Sitemap помогает поисковикам определить местонахождение объектов веб-ресурса, время их последнего обновления, частоту обновления, приоритетность.
Формат протокола Sitemap состоит из XML -тегов.
В файле необходимо использовать кодировку UTF-8 .
Атрибуты XML -тегов Sitemap
Пример XML -файла Sitemap
(необязательные теги выделены ):
Если ваш сайт содержит много веб-страниц, вы можете опустить необязательные атрибуты (это позволит значительно уменьшить размеры файла Sitemap ):
Использование файлов индекса Sitemap
Файл Sitemap должен содержать не более 50000 URL , при этом его размер не должен превышать 10МБ .
При необходимости файл Sitemap можно сжать с помощью архиватора gzip , чтобы уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL , следует создать несколько файлов Sitemap . При этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap . В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap . Размер этого файла не должен превышать 10МБ .
Как создать карту сайта
Для создания карты сайта можно воспользоваться так называемыми генераторами Sitemap , а можно всё сделать самому:
– откройте Блокнот ;
– соблюдая правила протокола Sitemap , заполните файл Sitemap ;
– в соответствующее текстовое поле введите имя файла (например, sitemap.xml );
– в выпадающем списке Тип файла выберите Все файлы (*.*) ;
– в выпадающем списке Кодировка выберите UTF-8 , нажмите Сохранить ;
– закачайте Sitemap в корневую директорию вашего сайта.
Уведомления для сканеров поисковиков о наличии и месторасположении файла Sitemap
После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о его местонахождении поисковым системам, поддерживающим этот протокол. Это можно сделать следующими способами:
Передача файла Sitemap с помощью веб-интерфейса поисковой системы
Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к справочной системе поисковика.
Например, передать
Задумались о создании «Карты сайта»? Попробуем разобраться в том, как правильно ее сделать.
Что такое карта сайта?
Карта сайта - это отдельная страница, на которой перечислены все разделы, подразделы, статьи. Это что-то вроде каталога, в котором зафиксированы все статьи сайта со ссылками на эти самые статьи.
Для чего нужна карта сайта? XML или HTML: какая карта лучше?
Карта сайта в формате html нужна для посетителей - чтобы облегчить им поиск нужной информации. Такая карта должна обязательно присутствовать на крупных сайтах, объемом больше 30 страниц.
А карта сайта в формате xml просто необходима для поисковых систем - чтобы поисковый робот увидел все ссылки, которые есть на сайте и лучше индексировал сам сайт.
Итого лучше создать 2 отдельные карты сайта: sitemap.XML для роботов и.HTML для посетителей.
С помощью файла Sitemap вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно. Полезно посмотреть карты крупных сайтов или хороших сайтов вашей тематики, находящиеся в ТОПе.
Формат xml разберем позднее, сначала попробуем разобраться с форматом html, т.е. с привычной для нас картой, которую мы видим практически на каждом портале.
Карта сайта HTML - 7 железных правил
Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.
Структура карты должна отражать иерархию страниц сайта; в структуре должно чётко прослеживаться - где основные разделы, а где подразделы.
Хорошо, если в начале карты сайта будет размещено краткое описание самого сайта, чтобы посетитель смог быстро сориентироваться, на каком именно сайте он находится.
Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.
Старайтесь в описаниях разделов придерживаться правила: краткость - сестра таланта. Заголовки разделов должны быть ёмкими, чёткими и понятными. Можно добавить краткое описание раздела, например:
«-
О компании
В этом разделе кратко описаны главные принципы работы нашей компании, история её возникновения и развития, а также наши стремления и чаянья в долгосрочной перспективе.
»
Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте.
Соблюдайте эти 7 правил, и карта сайта станет отличным навигатором для ваших посетителей.
Карта сайта sitemap.xml: зачем нужна и как ее самостоятельно сделать
Карта сайта XML - это файл, размещенный в корневой директории сайта, с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Файл этот нужен для того, чтобы поисковым системам было легче индексировать ваш сайт.
Как работает sitemap.xml?
Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса самых важных страниц сайта, которые подлежат обязательной индексации.
Поэтому не забудьте, что файл sitemap.xml надо не просто разместить у себя на сайте, а указать к нему путь в robots.txt в директиве sitemap .
User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps.xml
Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.
Карта сайта sitemap.xml для Яндекса
Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:
- loc — адрес страницы;
-
Как сделать карту сайта sitemap.XML самостоятельно и бесплатно?
Это не трудно. В сети есть несколько бесплатных программ и сайтов, которые сгенерируют вам такую карту автоматически. Вот некоторые из них: sitemapgenerator.ru, xml-sitemaps.com, cy-pr.com/tools/sitemap/
Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.
Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.
Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org
Новичок Эксперт VIP Информация Структура XML История FAQ
Технические подробности sitemap
Теги файла sitemap.xml:
- changefreq - наиболее вероятная частота изменения контента указанного URL;
- lastmod - фактическая дата последнего обновления URL;
- loc - сам URL;
- priority - приоритетность указанной страницы по отношению к другим страницам сайта;
- url - этот тег служит родительским для указанных первых четырех тегов;
- urlset - этот тег объединяет теги первых пяти типов.
Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:
- & - амперсанд;
- " - одиночные кавычки;
- " - двойные кавычки;
- > - знак "больше";
- < - знак "меньше".
Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).
Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:
Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.
Для передачи поисковым системам нового Sitemap
используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.
История развития Sitemap
Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.
Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.
Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.
На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.
И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.
Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.
Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.
В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.
2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.
Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.
Также Вы можете приобрести готовый универсальный
Сегодня мы расскажем Вам, по каким признакам можно отличить мужчину, который также ищет свою любовь от человека не заинтересованного в серьезных отношениях.
Признак первый: называет по имени
Как бы ни странно это звучало, но именно то, что мужчина в начале отношений называет Вас по имени, является первым признаком того, что он настроен серьезно.
Все дело в том, что мужчины, часто меняющие женщин, начинают путать имена. Чтобы выкрутится, начинают использовать ласковые прозвища типа малыш или рыбка.
Признак второй: нет изменам
Помните, что настоящий мужчина, который вас любит не пойдет на измену. Конечно, не всегда женщина знает о том, что мужчина начал ей изменять. Но чаще всего это можно проследить по изменениям в его поведении.
В начале отношений измен может и не быть, но могут быть явнее признаки. Так что если Ваш партнер постоянно засматривается на других барышень или тем более сравнивает Вас с ними, бегите от него. Ведь такой мужчина принесет Вам только слезы и разочарования.
Признак третий: я плачу сам!
Мужчина не обязан платить за Вас, если это Вы позвали его в ресторан. Но если Вы его интересуете, и он хочет продолжения отношений, то он заплатит сам. Чаще всего - из-за желания показать Вам свою щедрость и то, что он - настоящий мужчина.
Психологи отмечают, что когда мужчина приходит в ресторан с любимой девушкой он оставляет больше чаевых, чем, если приходит с друзьями. Но помните, что Вы, ни в коем случае не должны требовать от него заплатить за Вас. Иначе он может воспринять это как желание нажиться на нем.
Признак четвертый: знакомство с родителями
Еще одним признаком мужчины, настроенного на серьезные отношения - станет знакомство с родителями. В первую очередь признаком является его желание познакомить Вас со своей семьей. Так он показывает Вам, то, что Вы ему дороги.
А вот знакомство с Вашими родителями - признак того, что он готов к серьезным отношениям. Конечно, это не значит, что он сразу же женится на Вас. Но предложение пожить вместе точно может прозвучать.
Признак пятый: без рукоприкладства
В жизни каждого человека бывают разные ситуации. В каждых отношениях может произойти ссора. Нонастоящий любящий мужчина никогда не поднимет руку на женщину. И это факт. А про поговорку: "Бьет - значит, любит", забудьте навсегда.
Признак шестой: ему интересно Ваше мнение
Если мужчина рядом с Вами действительно заинтересован в серьезных отношениях, то он будет интересоваться Вашим мнением в важных вопросах. И это будет касаться не только дома или самих отношений, но и других сфер его жизни.
Ведь если мужчина Вас любит - значит он Вам доверяет. Поэтому будет спрашивать совет. Но помните, что давать совет стоит только когда мужчина его попросит. В противном случае, Вы можете задеть его самолюбие.
Напоследок нам хотелось бы Вам пожелать все таки найти свою вторую половинку. И надеемся, что наши советы помогут Вам обрести свой кусочек женского счастья.
Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.
В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.
Нужен ли мне sitemap.xml
Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.
Sitemap.xml важен для сайтов, где:
- Некоторые разделы недоступны через навигационное меню.
- Имеется множество изолированных страниц или плохо связанных между собой.
- Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
- Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.
Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.
Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.
Техническая информация
- Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
- Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
- Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
- Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
- Адреса в sitemap.xml должны быть абсолютными.
- Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
- Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
- Указанные в карте страницы должны отдавать 200 http-код статуса.
- Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
- Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.
Форматы XML карт
Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .
Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.
Пример файла Sitemap, содержащий только один адрес.
XML-теги
urlset
url
(обязательный) - родительский тег для каждого URL-адреса.
loc
(обязательный) - URL-адрес документа, должен быть абсолютным.
lastmod
- дата последнего изменения документа в формате Datetime .
changefreq
- частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority
- приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.
XML карта для изображений
Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).
Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения
XML-теги
image:image
(обязательно) - информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc
(обязательно) - путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption
- подпись к изображению (может содержаться длинный текст).
image:title
- название изображение (обычно короткий текст).
image:geo_location
- место съемки.
image:license
- URL лицензии изображения. Используется при расширенном поиске по картинкам.
XML карта для видео
Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.
Файл Sitemap для новостей
При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.
Использование нескольких карт
При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:
- На сайте используется несколько движков (CMS).
- На сайте больше 50 000 страниц.
- Необходимо настроить удобное отслеживание ошибок в разделах.
В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).
Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).
Пример Sitemap Index:
sitemapindex
(обязательный) - указывает стандарт текущего протокола.
sitemap
(обязательный) - содержит информацию об отдельном sitemap.
loc
(обязательный) - местоположение sitemap (в формате xml, txt или rss для Google).
lastmod
- время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.
Как создать sitemap.xml
Методы создания XML Sitemap:
- Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml , возможно он уже существует и динамически формируется.
- Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
- Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
- Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
- Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.
Популярные онлайн-генераторы карты сайта
XML-Sitemaps.com
Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).
Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.
Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.
Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.
Локальные программы для генерации XML Sitemap
G-Mapper Sitemap Generator
Бесплатная десктопная версия генератора карты сайта под Windows.
Screaming Frog SEO Spider
Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.
Netpeak Spider
Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.
