Правильный robots txt

Правильный robots txt

129
0
ПОДЕЛИТЬСЯ
правильный файл robots
настройка файла robots

Для чего нужен файл «роботс тхт»?

Внутренняя оптимизация сайта начинается с просмотра файла «robots.txt», оптимизатор в первую очередь обращается к этому файлу.
Сразу отвечу на вопрос, когда к вам пришел робот и не нашел этот важный файл, робот тащит все что у вас есть на сайте, все дубли страниц – дубли это плохо! Грубо говоря, робот утащил, к примеру 3 варианта 1 вашей страницы, оставшейся в КЭШе и все это склеил и отказался индексировать…. Или вытащил из админки черновики статей, удаленные страницы, да собственно весь контент.. что нашел то и увел.. роботу все равно..Если вы не написали ограничения, значит их нет! Или противоположная ситуация, у робота обходчика мало времени на индексацию всего сайта, зашел, что то взял и ушел.. что взял.. куда ушел..короче взял у вас с сайта не то, что вам было нужно.. как заставить пауков брать именно то, что нам нужно, читайте статью — карта сайта.
Если мы используем сайт на территории РФ, обязательно пишем отдельную директорию для Яши, Яндекс очень любит, когда для него написан отдельный кусок кода в файле роботс тхт. Зайдите в кодекс Яши и посмотрите рекомендации. http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

По поводу индексации закрытых файлов скажу так – краулеры все равно пройдутся по закрытым директориям, но если в файле роботс будет инфа о файлах закрытых к индексации, Поисковик эти файлы не выдаст в свободный поиск. Для каждой CMS можно подправить индексацию, есть небольшие отличия, но в целом файл роботс тхт выглядит стандартно.

Где размещается файл (robots.txt)?
Если файл не закрыт, вы его найдете по запросу — http://название-сайта.ru/robots.txt Находится этот файл на хосте в директории www например, все зависит от хостинга и вашей панели управления, если она у вас есть… как организовать не дорой и качественный хостинг читайте здесь. Файл устанавливается в корень сайта, в других папках и подпапках роботы не найдут этот файл. Название документа должно быть написано только прописными буквами на английском языке — robots.txt Если вы обладаете панелью управления на хосте, ищите файл с названием robots.txt , если его нет, напишите этот файл самостоятельно в блокноте, по шаблону. Примеры основных директив смотрите далее по тексту.

Настройка фала роботс (robots.txt)
Как написать файл самостоятельно:
1. Открываем обычный блокнот или чуть более продвинутый Notepad++
2. Называем файл robots.txt
3. Если мы хотим полностью запретить индексацию всего сайта, пишем следующее – User-agent: * Disallow: / !!! Проверяйте эту директиву в первую очередь в фале роботс, иногда web-специалисты и программеры по каким-то причинам забывают изменить значение на полную индексацию. 
4. Если мы хотим чтобы роботы проиндексировали все что есть + зашли в файл карты сайта, пишем следующее:
User-agent: * Disallow:
User-agent: Yandex
Disallow:
Host: название вашего сайта.ru
(указываете с www или без, это будет ваше главное зеркало сайта) пример:
Host: http://siloomin.ru/
Sitemap: http://название сайта.ru/sitemap.xml.gz
Sitemap: http://название сайта.ru/sitemap.xml
5. Сохраняете файл в формате txt и закидываете его на свой хост в директорию сайта, теперь роботы сделают то что вы им указали.

Пример правильного файла роботс для WordPress:
___________________________________________
User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed User-agent:

Yandex Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Host: siloomin.ru

Sitemap: http://siloomin.ru/sitemap.xml.gz

Sitemap: http://siloomin.ru/sitemap.xml

 # SEO SILOOMIN.RU ________________________________________

— что это за символ в файле роботс? # — знак решётки означает комментарий, роботы не индексируют коменты после это символа.
Вы можете оставить свою метку для других SEO специалистов, обозначить себя как специалиста. Можете предупредить коллегу о не благонадежности заказчика.
Пример подписи в файле robots.txt
# siloomin.ru SEO, SMM, Prodvigenie saitov
# vnimanie! Klient ne zaplatil
Относитесь с уважением к чистоте кода и не ставьте знак # где попало.

нет комментариев

оставить комментарий