Файл robots.txt
Значимость файла robots.txt.
Все поисковые роботы при посещении сайтов, в первую очередь проверяют файл robots.txt.
Для чего он нужен?
Это файл является инструкцией для роботов. Он показывает куда ему заходить, а куда не следует.
Файл robots.txt – это текстовый файл, он должен находиться в корне сайта. При правильной настройке этого файла можно получить быструю индексацию сайта.
Создаётся он в блокноте, в котором прописываете все нужные директивы.
Основные это — User-agent и Disallow.
User-agent — определяет, для какого робота, какой поисковой системы эта инструкция, а Disallow – показывает, куда не следует заходить. Как видите всё просто. Но! Есть свои тонкости.
Например, если разрешить всем поисковым системам просмотр сайта, то надо поставить «*» и выглядеть будет вот так:
User-agent: *
Disallow: /kartinki/
Где, User-agent: *— указывает что инструкции для всех поисковых систем
Disallow: /kartinki/ – запрещает индексацию картинок
Если Вы хотите свой сайт направить под определённого поисковика, а у нас в авторитете Яндекс, то для него в конце файла пропишите:
User-agent: Yandex
и не забудьте про карту сайта
Sitemap: http:// название сайта /sitemap.xml
Вот так, примерно, у Вас должен выглядеть файл robots.tx
User-agent: *
Disallow:
Sitemap: http:// название сайта /sitemap.xml
User-agent: Yandex
Если Вы не забыли, то на странице анализ конкурентных сайтов, была немного затронута эта тема.
Заходим в сервис Bname, и там в разделе «Информация о документе», можно посмотреть этот файл у конкурентного сайта и сделать приблизительно такой. Ничего в этом страшного нет, главное определитесь, что показывать для индексации, а что нет.
Вот пожалуй и всё, что нужно для внутренней оптимизации. У нас получилась вот такая схема которую надо выполнить для этого:
— работа над контентом страниц
— правильное расположение и количество ключевых слов на странице
— оформление тега title
— распределить внутреннею ссылочную структуру сайта
— составление файла robots.txt
Далее индексация сайта в поисковых системах.
Рекомендую:
Подпишитесь на