Как создать файл robots.txt и для чего он нужен?
Прочтя данную статью, Вы узнаете, как создать файл robots.txt, а также как его правильно настроить. Следует помнить, что, хотя создать файл robots.txt несложно, нужно его правильно настроить.
Неправильная настройка может привести к неутешительным последствиям: нужные страницы не будут индексироваться, а ненужные будут. Особенно критичной может стать ситуация, когда будут индексированы страницы, содержащие какую-то конфиденциальную информацию. Давайте более подробно узнаем, как создать файл robots.txt.
Как создать файл robots.txt и для чего он нужен?
Как уже было сказано ранее, создать файл robots.txt совсем не сложно. Создавать его нужно (как Вы уже догадались) в текстовом документе – обычном блокноте. Не рекомендуется создавать его в мощном текстовом редакторе, так как такие редакторы имеют свои встроенные коды. Размещать созданный файл следует в корневом каталоге сайта.
В самом файле нужно прописать инструкции для роботов. Заходя на Ваш сайт, робот в первую очередь будет читать инструкции, содержащиеся в файле robots.txt. После этого он будет действовать в соответствии с ними. Далее мы узнаем, какие именно инструкции должен содержать файл.
Инструкции, содержащиеся в robots.txt
Ранее мы узнали, как создать файл robots.txt. Теперь же мы поговорим о том, как правильно его настроить.
Если говорить о директивах, которые содержит robots.txt, то основных директив всего две – Disallow и User-agent. С помощью директивы User-agent можно указать, какой именно робот будет производить индексацию. Инструкция Disallow позволяет запретить индексацию для всех страниц, путь к которым будет прописан. Для правильной работы функции Disallow необходимо пути к страницам, которые нужно закрыть для индексации, прописывать на разных строках. То есть нельзя прописать несколько путей в одной строке.
Существует также директива, позволяющая открыть страницу, указанную после нее. Это директива Allow.
Кроме уже рассмотренных основных директив, есть также дополнительные директивы. Дополнительные директивы нужны для того, чтобы указать, где находится основное зеркало сайта, указать, где расположен файл, содержащий карту сайта, для различных других настроек.
Для того чтобы указать на основное зеркало сайта, используйте директиву Host. Для указания месторасположения карты сайта – директива Sitemap.
Инструкция Crawl-delay нужна в том случае, если Ваш сайт имеет множество страниц. Ее используют для настройки паузы между загрузкой страниц. Это значит, что страницы не будут загружаться непрерывно.
Теперь Вы знаете, как создать файл robots.txt, как произвести его правильную настройку. Важно проверить правильность настройки всех используемых директив, чтобы не пришлось испытать последствия какой-то незаметной ошибки.