Записи с меткой "файл robots.txt"

Файл robots.txt

Значимость файла robots.txt. Все поисковые роботы при посещении сайтов, в первую очередь проверяют файл robots.txt. Для чего он нужен? Это файл является инструкцией для роботов. Он показывает куда ему заходить, а куда не следует. Файл robots.txt – это текстовый файл, он должен находиться в корне сайта. При правильной настройке этого файла можно получить быструю индексацию [...]