Только за сегодняшнее утро шесть человек спросили, как создать файл Robots.txt.
Спрашивали? Отвечаем.
Прежде чем перейду к ответу, хочу еще раз обратить Ваше внимание на новую рубрику: Ответы (видео). Уверен, что очень скоро здесь будет очень много маленьких полезных видео уроков. Задавайте вопросы на странице «Вопросы и Ответы» и следите за новыми статьями и видео ответами.
Что такое файл Robots.txt и как его создать?
Сегодня я решил не записывать для Вас ответ, а воспользоваться уже готовым уроком от Михаила Шакина. Если помните я уже писал о Shakine в статье «Три лучших блога о SEO».
Файл Robots.txt создается в корневой папке сайта и служит информационным указателем для Поисковой системы Яндекс, показывая какие страницы индексировать, а какие исключить из индекса.
Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml. Как создается «сайтмап» Вы видели в моих бесплатных уроках по созданию и настройке сайта. Пример такой страницы на сайте Тринити: http://trynyty.ru/sitemap.xml
Как создать файл Robots.txt вы узнаете из видео урока.
Как разместить файл в корневую папку, Вы должны уже знать, так как мы говорили о подобном в уроке: Как добавить свой сайт в Яндекс.вебмастер.
Для тех, же кто все равно не поймет, как правильно создать файл, дам совет:
найдите уважаемого вами SEO-шника работающего на ВордПрессе, посмотрите его файл Роботс, скопируйте к себе с изменением урла (адреса) на свой.
Владимир Беляев
P.S. Прошу реттвиты и соц.сети для этой статьи.
Пересмотрел видео вторично. Опять что то нашёл для себя новое. Убрал задержку для Яндекса и пока всё. Комментарии оставил разрешёнными для робота. У меня их на сайте совсем мало и одну статью конкретно Рамблер нашёл почему именно то по комментарию к статье.
Скажу, что просто не понимаю Яндекс. Неделю назад он проиндексировал так что имелось прибл 700 просмотров за день и в поиске были все мои статьи и новые и старые.
Сейчас (ничего нигде не менял) 200 просмотров и нет в поиске ни одной моей старой статьи. Их можно найти только через названия рубрик. Будем изучать тему дальше.
Ваш сайт показался яндексу неинтересным. Он всегда дает бонус на пару дней потом или топит или оставляет в выдаче.
Спасибо, Владимир, что не оставили нашу просьбу без внимания))) Респект и уважуха!
Прав Михаил, что идеального файла robots.txt не существует. Но за основу можно взять готовый файл и наблюдать за индексацией.
Похоже, у меня этот файл неправильный, что и вызвало не индексацию. Счас буду исправлять, спасибо ОГРОМНОЕ Владимир!
Спасибо большое!!!
Думаю взять файл роботс у Владимира…
Владимир, еще вопросик…
Хочу закрыть от индексации рубрики, архивы и комментарии…в вашем роботс-файле они закрыты?
Да, конечно.
Здравствуйте, Владимир! У меня блог автономный и нету доступа к панели управления. К своему домену добавила robots.txt, как показано в видео и вот что у меня вышло:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://elnovikova.com/sitemap.xml.gz
Почему он такой короткий? Что делать, ничего не пойму… Помогите, пожалуйста!
упс. не туда. это было к вопросам и ответам)