Что такое файл Robots.txt и как его создать (видео)

Только за сегодняшнее утро шесть человек спросили, как создать файл Robots.txt.

Спрашивали? Отвечаем.

Прежде чем перейду к ответу, хочу еще раз обратить Ваше внимание на новую рубрику: Ответы (видео). Уверен, что очень скоро здесь будет очень много маленьких полезных видео уроков. Задавайте вопросы на странице «Вопросы и Ответы» и следите за новыми статьями и видео ответами.

Что такое файл Robots.txt и как его создать?

Сегодня я решил не записывать для Вас ответ, а воспользоваться уже готовым уроком от Михаила Шакина. Если помните я уже писал о Shakine в статье «Три лучших блога о SEO».

Файл Robots.txt создается в корневой папке сайта и служит информационным указателем для Поисковой системы Яндекс, показывая какие страницы индексировать, а какие исключить из индекса.

Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml. Как создается «сайтмап» Вы видели в моих бесплатных уроках по созданию и настройке сайта. Пример такой страницы на сайте Тринити: http://trynyty.ru/sitemap.xml

Как создать файл Robots.txt вы узнаете из видео урока.

Как разместить файл в корневую папку, Вы должны уже знать, так как мы говорили о подобном в уроке: Как добавить свой сайт в Яндекс.вебмастер.

Для тех, же кто все равно не поймет, как правильно создать файл, дам совет:

найдите уважаемого вами SEO-шника работающего на ВордПрессе, посмотрите его файл Роботс, скопируйте к себе с изменением урла (адреса) на свой. 

Владимир Беляев

P.S. Прошу реттвиты и соц.сети для этой статьи.

Похожие посты:

  1. Как создать счетчик Яндекс Метрика и добавить его на свой сайт (видео)
  2. Регистрация в платежной системе Яндекс деньги и открытие счета (видео)
  3. Как создать видео логотип
  4. Как добавить свое видео в YouTube (видео)

11 Responses to Что такое файл Robots.txt и как его создать (видео)

  • Сергей Мак
    Пересмотрел видео вторично. Опять что то нашёл для себя новое. Убрал задержку для Яндекса и пока всё. Комментарии оставил разрешёнными для робота. У меня их на сайте совсем мало и одну статью конкретно Рамблер нашёл почему именно то по комментарию к статье. Скажу, что просто не понимаю Яндекс. Неделю назад он проиндексировал так что имелось прибл 700 просмотров за день и в поиске были все мои статьи и новые и старые. Сейчас (ничего нигде не менял) 200 просмотров и нет в поиске ни одной моей старой статьи. Их можно найти только через названия рубрик. Будем изучать тему дальше.
    • Дмитрий
      Ваш сайт показался яндексу неинтересным. Он всегда дает бонус на пару дней потом или топит или оставляет в выдаче.
  • Наталья
    Спасибо, Владимир, что не оставили нашу просьбу без внимания))) Респект и уважуха!
  • Олег
    Прав Михаил, что идеального файла robots.txt не существует. Но за основу можно взять готовый файл и наблюдать за индексацией.
  • Нина
    Похоже, у меня этот файл неправильный, что и вызвало не индексацию. Счас буду исправлять, спасибо ОГРОМНОЕ Владимир!
  • tanichka
    Спасибо большое!!!
  • Дмитрий
    Думаю взять файл роботс у Владимира...
  • Дмитрий
    Владимир, еще вопросик... Хочу закрыть от индексации рубрики, архивы и комментарии...в вашем роботс-файле они закрыты?
  • Elena
    Здравствуйте, Владимир! У меня блог автономный и нету доступа к панели управления. К своему домену добавила robots.txt, как показано в видео и вот что у меня вышло: User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://elnovikova.com/sitemap.xml.gz Почему он такой короткий? Что делать, ничего не пойму... Помогите, пожалуйста!
  • Евгения
    упс. не туда. это было к вопросам и ответам)

Написать ответ