Главная » Новости региона » Разное » карта сайта sitemap xml

карта сайта sitemap xml

Файл robots.txt

Robots.txt представляет собой текстовый файл, сосредоточенный в корневой директории сайта. Применяется же этот файл для управления страницами сайта, которые индексируются поисковым роботом. Robots.txt способен запретить поисковому роботу, как передвигаться по ресурсу, так и индексировать его содержимое.

Для того, чтобы вести работу с этим файлом, необходимо обладать определенными знаниями, однако от него ни в коем случае нельзя отказываться. Ведь поисковые роботы следуют директивам, которые находятся в файле robots.txt, поэтому они его всегда проверяют его во время своего первого захода на ресурс. Если производилась раскрутка сайта своими руками, то роботы могут иногда сталкиваться с трудностями индексации сайта, если по какой-то причине такой файл не был найден или выдается страница с надписью «Not found».

Чтобы закрыть свой сайт от индексации, нужно прописать в файле следующее: robots.txt «Disallow: /». Такой способ отлично подходит при создании сайта либо его редизайне. С помощью различных конструкции есть возможность открывать или закрывать определенные страницы сайта от индексации.

Noindex и nofollow

Стоит отметить, что запретить индексации можно и при помощи специального тега «ROBOTS» в заголовках каждой страницы. Этому мета-тегу соответствуют 4 значения, которые нужно указывать в атрибутике CONTENT: index, noindex, follow, nofollow. Со значениями noindex и nofollow нужно быть предельно осторожным, ведь, если неверно их расставить, то могут возникнуть довольно большие проблемы.

Настройка sitemap.xml

Sitemap.xml представляет собой файл разрешения xml, содержащий ссылки на любые страницы сайта, которые индексируют поисковые системы. Благодаря этому файлу всегда можно делать указания роботу-индексатору, какие именно страницы подлежат индексированию, как часто это проводить, а также какие страницы обладают самым большим значением. Карта сайта sitemap xml может содержать следующие данные:

 — частота обновления;

 — когда было зафиксировано последнее обновление страницы;

 — важность текущей страницы относительно других.



Вы должны войти на сайт для добавления комментариев Войти



Новости

ССЫЛКИ

РЕКЛАМА

Войти -
Каталог блогов
Rambler's Top100