Если Вы читаете эту статью, значит Вы постоянный посетитель сайта Тринити, или ввели в строку поиска слово Replytocom. Я прав? Хотите я еще что-нибудь отгадаю? У вас есть блог и сегодня Вы обнаружили, что половина Ваших статей вылетели из Индекса Google и Яндекса. Вы стали искать причину и обнаружили сотни, а может быть, как в моем случае тысячи дублей. Но как такое может быть? Ведь Вы все, что можно уже закрыли от индексации в файле robots.txt.
Не нужно переживать и пугаться. Я вовсе не предсказатель и не читаю Ваши мысли. Всего лишь рассказываю Вам свой опыт.
Несколько дней назад обнаружил, что из Яндекса вылетело около 200 хороших и нужных страниц. Сегодня стал анализировать через Яндекс вебмастер и наткнулся на причину. Оказалось, что на сайте Тринити было множество дублей и у этих вредителей даже было имя – replytocom. Тогда я открыл браузер и задал Google вопрос, что такое replytocom. Как всегда мировой лидер Поисковых систем меня не подвел. Меньше чем за долю секунды он выдал десятки ответов. Через пару минут проблема была решена, а я завис еще на пару часов анализируя свой сайт, Интернет и другие сайты.
Чувствую, как по читательской аудитории, проходит раздражающие неуютное волнение…
Хорошо, давайте скажу на более понятном языке.
Что такое Дублированный контент
Дублированный контент, или проще сказать дубль – это копия веб страницы. Как она появляется?
Вы написали и опубликовали на 100% уникальную статью, но поместили ее в несколько рубрик, назначили ей несколько ярлыков и она, конечно же, попала в архив по месяцам, т.е. на эту статью можно попасть не только по прямому и точному адресу (url), но и через рубрики, или архив. Одна статья со множеством разных адресов.
С этой проблемой мы быстро научились справляться настраивая ЧПУ с нужным префиксом (человеком понятные урлы) или запрещая к индексации рубрики, ярлыки и архивы.
Оказывается, это не все.
Если Вы пользуетесь CMS ВордПресс версии 2.7.1 и старше, то Вам доступна настройка «Древовидные комментарии». Конечно же это удобно. Но, как говориться за все нужно платить и в данном случае мы заплатили индексацией наших сайтов. Вся проблема в том, что каждый раз, как кто-то отвечает на комментарий создается новая ссылка, которая имеет на конце ?replytocom и порядковый номер этой цепочки комментариев.
Знаете сколько дублей было на сайте Тринити? Скажу только, что на некоторых статьях цифра достигала 70 штук с окончанием ?replytocom.
Проблема с ?replytocom решается несколькими способами:
- Отключить древовидные комментарии
- Внести изменения в файл robots.txt
- Или установить плагин: Replytocom Redirector
Но у каждого способа есть свои минусы.
Первый способ лишает нас возможности использовать удобные древовидные комменты.
Второй способ не действует на Google
А третий способ, хоть и создает редирект на нужную страницу, но во-первых сильно нагружает базу данных, а во-вторых не успевает обрабатывать запросы на популярных сайтах.
Я подумал и решил отказаться от древовидных комментариев. Это конечно очень неудобно, за-то на 100% надежно.
Теперь осталось подождать от нескольких дней, до двух недель, когда Поисковые системы переиндексируют весь сайт и вернут страницы в поиск. Конечно и в этом им можно помочь, через инструменты Яндекс.Вебмастер и помощник для вебмастеров от Google. Но как по мне, так лучше дождаться естественного возврата в Поисковую выдачу.
Итоги и выводы о ?replytocom:
Если у вас на сайте включена функция древовидных комментариев, то обязательно отключите ее, так как – это одна из главных причин попадания Ваших сайтов под АГС и другие фильтры. За это не только Яндекс, но и Google слишком жестко наказывают.
Окончание ?replytocom – это наш враг и прошу разбираться с ним очень жестко.
Автор сайта trynyty.ru, Беляев Владимир
Действительно, событие имеет место. Правда на молодых сайтах еще есть время оправиться от небольших потерь. А с большим количеством страниц…
Спасибо за подсказку.
Добрый день, Владимир. Прочитал и отключил функцию древовидных комментариев на своих блогах. Наглядность комментариев сразу же пропала, но если это одна из главных причин попадания под АГС то такое мелкое неудобство переживу. А тем более если наказывает не только Яндекс, но и всепрощающий Гугл, то сомнения прочь, пускай переиндексируют.
P.S. Как-то уже в привычку вошло — начинать утро с почты и Тринити. Успехов.
Спасибо, Владимир! А я то думала, куда у меня 20 статей из индекса Яндекса подевались?! Уже исправила.
СЕЙЧАС ПРОВЕРЮ ДРУГ!!! ретвитт как никогда нажал сильно ибо людям а особенно редкому виду человек — блоггер!! надо помогать)) избежать кары поисковой системы которой я как истенный язычник!! покланяюся)))
спасибо ВЛАДИМИР!! были включены!! попал бы под АГС и ломал бы голову чаво))
Вот, спасибо! Они у меня были отключены, а я их включила. Надо убрать. Пока сайт очень хорошо индексируется в Яндексе, не хочу это испортить!
Здравствуй Владимир. Уже три месяца воюю с этой проблемой на своих блогах. Но у меня когда были включены древовидные комментарии страница формировалась по-другому: сайт/comment-page-1/?replytocom, а когда я отключил древовидные комментарии, то comment-page-1 ушла, а ?replytocom все равно остается на каждый комментарий. Яндекс у меня все нормально индексирует и показывает в панели вебмастера, что такие страницы закрыты в роботсе, а Гугл все такие страницы в сопли отправляет и я до сих пор не смог по Гуглу эту проблему решить. Роботс Гугл игнорирует (кстати у Вас это тоже написано в статье), а почему можно поинтересоваться? Пока такие страницы удаляю вручную в панели вебмастера Гугла, но уже так запарился. Короче проблема остается. Самое смешное, что на одном блоге, где роботс вообще не настроен никахих проблем. Нонсенс.
Большое спасибо за коммент. Озадачил ты меня. Буду репу чесать. А ты если ответ найдешь то маякни пожалуйста.
Огромное Вам спасибо! Убрала древовидные комменты.
Я здесь недавно и у меня есть вопрос: Объясните, пож-та, про закрытые и открытые входящие и исходящие ссылки. Что и как надо закрывать и надо ли это делать.
Заранее благодарю.
Фух, у меня сегодня ночью выпала из индекса одна статья. Самая первая.
«Первая ласточка».
Потом я в очередной раз задумалась, почему мне не приходит обновление о новых статьях на Тринити.
Потом вспомнила, как Владимир писал, что пишет новую статью каждый день.
И утром решила зайти… Это я удачно зашла.
Древовидные мы подключили дней 10 назад, очень красиво, конечно, но УБЕРУ!!!
Подскажите, достаточно просто их отключить или надо ещё где-то что-то вытирать (типа replytokom ?)
Порылся еще в панели вебмастера Гугла и увидел, что все страницы с ?replytocom показаны, как закрытые в роботсе. Не пойму почему рдс бар их показывает как сопли, но когда переходишь на такую страницу, показано, что она не проиндексирована. По всей видимости у Вас та-же проблема. А в панели вебмастера Яндекса и Гугла, что у Вас показывает с индексацией таких страниц?
Александр, РДС показывает, что страницы висят, но они все закрыты и в Гугл у меня 100% индексация, т.е. все что нужно в индексе. А вот Яндекс выкинул именно из-за этих дублей. Хотя на другом сайте при всех тех же настройках, все эти дубли комментов закрыты от индексации. Почему? Пока не понял.
Зашла в свой блог. Если я правильно поняла, то в той строке, которую Вы обвели красным — надо поставить 0? И это все или ещё что-то надо сделать или вписать. А то у меня все по-английски… Функцию «полностью отключить» я не нашла.(( С нетерпением жду ответа!
Натуся, нужно просто галочку убрать.
Кстати при переиндексации сайта Гуглом, страницы из индекса вылетают не сразу, а могут год висеть и для этого в панели вебмастера есть функция для ручного удаления, можно отдельную страницу удалять, а можно целыми разделами. Кстати, а Вы смотрели причину, почему страницы повылетали из индекса. Я один раз намудрил с роботсом, и один раз в сео плагине не ту галочку поставил и у меня страницы оказались вручную закрыты и вылетели из индекса.
Александр, а у Вас древовидные выключены?
Владимир. Я сейчас начинаю въезжать. Я отключил не древовидные, а разбиение на страницы. При разбиении на страницы (как у вас сейчас включено) формируется страница вида http://trynyty.ru/replytocom-eto-dubli-kontenta-ili-proshhajte-drevovidnye-kommentarii/comment-page-1/#comment-10598 У меня когда-то была проблема на Гетгудлинкс. Вместо статьи проиндексировалась такая страница по Гуглу и сервис мне об этом указал, а страница со статьей в индекс не попала. Я эту проблему исправил. Возможно ?replytocom действительно из за древовидных комментариев (у меня включены, но показаны, что закрыты от индексации). У меня стоит классный плагин на опере, который показывает закрыты ли страницы через META-Robots NoFollow: и META-Robots NoIndex: Так вот все ?replytocom у меня закрыты а на Вашу страницу, которую я указал в коменте выше плагин показывает, что она открыта через META-Robots NoFollow: и META-Robots NoIndex: Может произойти так, что Гугл сначала проиндексирует такую страницу, а потом не захочет основной контент индексировать (то, что произошло у меня). Попробую отключить древовидные комментарии, а Вам советую отключить разбиение на страницы для комментов (неудобно, но индексация прежде всего). Надеюсь, что совместно мы решим проблему.
Александр, с этим проблем нет. Комменты закрыты от индексации и эти ссылки уходят с пометкой «Закрытые к индексации»
Владимир, извините, что пишу ещё раз. Но вопрос уж больно животрепещущий!!! Несколько дней назад перед вебинаром у меня индексировались ВСЕ страницы. Только что проверила — из 40 страниц — в индексе нет 5, причем, одних из первых. Самое неприятное — не индексируется статья по продукции моей компании (хотя ещё позавчера по поисковым запросам на нее заходили, вчера и сегодня нет). Не попала ли я за эти дни под фильтр и не сорвет ли это мне участие в эксперименте?
Плагин «Древовидные комментарии» деактивировала.
Страница http://trynyty.ru/replytocom-eto-dubli-kontenta-ili-proshhajte-drevovidnye-kommentarii/comment-page-1/ добавляется в аддурилку, а это явный дубль.
В инструменты для веб-мастеров Гугл уже внесен параметр replytocom (настроен по умолчанию на На усмотрение робота Googlebot), но можно его изменить на то, что параметр не влият на содержание страницы, но еще так не делал.
Да у меня были включены, теперь попробую отключить. Писал несколько комментов, но они почему то не опубликовались. Основная мысль: дублирование контента из за разбиения коментов на страницы. Я у себя отключил, так как были проблемы, а у Вас проблема остается, вот пример: http://trynyty.ru/replytocom-eto-dubli-kontenta-ili-proshhajte-drevovidnye-kommentarii/comment-page-1 (явный дубль).
Спасибо, Владимир! Вы постоянно что-то новое открываете. Это правильно. Сколько же еще можно найти нового, чтобы работать в дружбе с роботами и людьми!
Интересные , и можно сказать актуальные для меня темы Вы обсуждаете . Буду регистрировать на Вашем сайте
не ну как то некрасиво поставлю ка я плагин и врублю древовидные тем более что сайт молодой и посещаемость не очень велика.
у ИГОРЯ спросил он сказал что у него древовидные включены и всё пучком)) сайт то по идеи для людей и получается фигня какая то((
установил плагин и включил древовидные комментарии, ну красиво!! а под АГС я не поподу так как поклоняюсь Яшке и Григорию))
ЕСЛИ КУДА И ПОПАДУ ТАК ЭТО В ШКОЛУ ТРИНИТИ БЕСПЛАТНО!! пойду почитаю что там ВОЛОДЯ для меня за подарочик на 23 февраля приготовил)))
Спасибо большое за статью. На двух сайтах отключила «древовидные комментарии», но, честно говоря, визуальной разницы не ощутила.
вот что мне пять минут назад ответил великий ГУДВИН которого я попросил прочесть данную статью!! он тоже с талкивался с этой проблемой и решил при помощи плогина оставив древовидные комментарии которые прекрасны))
вот дословный его ответ который успокоил мою блоггерскую душу —
да, я в свое время тоже сталкивался с этой штукой — preplytocom, и тоже решил ее с помощью того же плагина Replytocom Redirector.
СЛАВА АЛЕКСЕЮ!! ЕГО СЛОВО СПОСОБНО ПРИДАТЬ СПОКОЙСТВИЕ И УБРАТЬ СМЕТЕНИЕ))
Вот не было печали, так задал ты задачку. Если проанализировать сайты уважаемых людей с хорошей посещаемостью, то у многих нет древовидных комментариев (Шакин, КтоНаНовенького, Сосновский, Борисов, Кокшаров и т.д.). Не думаю, что они не могут закрыть их через robots.txt, но тем не менее не ставят. Может они им просто не нравятся? Тоже сомневаюсь. Интересно, что никто активно не поднимает эту тему, хотя все пишут, как продвигать сайты и не попадать под фильтр.
Может это один из секретных секретов. Почему разработчики WordPress не чешутся.
Владимир, ты же знаком с перечисленными выше блоггерами. Может они тебе откроют тайну, почему они не используют древовидные комментарии.
Олег! Не парься так сильно))))) Древовидные комментарии -это ДОСТИЖЕНИЕ последних версий вордпресса. На старых шаблонах нужно дополнительный плагин включать, а на это раскрученные (с хорошей посещаемостью) блоги не пойдут. Ты всегда отвечаешь на комментарии читателей, но дай же им (читателям) обмениваться мнением между собой! От этого твой блог только выиграет. ПС прекрасно индексируют всякие комментарии,и страницы на которых они расположены от этого только выигрывают. Сам проверь по поиску. А письмо крутым блогерам сам напиши и статью на блог свой кинь с интервью. Тебя же Беляев учит думать, а не слепо всё копировать)))
У Шакина на сайте есть древовидные комментарии.
Олег, я так поняла (из последних штук 25 статей Владимира, прочитанных в последние дни), что если сайт внесен в каталог Яндекса, подобные штуки ему не грозят… Хотя, может, я не права….
Владимир, делюсь впечатлениями. Через 2 суток после отключения древовидных комментариев выпавшие 20 статей снова в выдаче. Еще раз спасибо за науку.
Елена, спасибо за информацию. Сейчас проверю свои.
Спасибо огромное за такую полезную информацию! У меня на обоих сайтах были включены древовидные комменты, выключила. Посмотрим, что будет через пару дней. Спасибо ОГРОМНОЕ, Владимир, за урок!
Проверила. Из пяти, что вчера не индексировались — 3 вернулись. Зато пропали 2 других.((( Тоже из давних. Бермудский треугольник.
Приветствую Владимир. У меня в январе появилась проблема с потерей индексации Яндексом всех моих записей. Обязательно отключу древовидные комменты и буду смотреть что дальше.
У меня есть (и была, сейчас про неё вспомнил) «своя» схема. Я же так делал…
Делать так: одобрять чужой комментарий и в нём же (в этом поле) добавлять свой ответ. Может хлопотно, но это же тоже выход.
Не знаю. Пока были древовидные — шло какое-то общение с авторами.
А без них — пишу ответы, а повторных ответов авторов комментариев нету. Вообще.
Хотя к новым статьям пишут комментарии охотно, много и те же….
Как все-таки быть?
Некоторые говорят, что это не влияет.
Владимир, вот сегодня обнаружила, что Вы тоже их восстановили.
Следовательно, все хорошо и они на АГС не влияют??
Владимир, я Вам доверяю, подскажите, можно их возвращать? Они красиииииииивые.
Натуся у меня они закрыты в Роботсе. Если ты сделала Роботс как у меня, то можешь возвращать. В тот момент у меня была проблема не в комментах, а в том, что я случайно запретил яндексу индексировать свой сайт. Но если Роботс не включен, то из-за древовидных комментов сайт попадет под АГС.
У меня роботс какой-то стоит, но как я узнаю, что он сделан так, как у тебя? )))
Добрый день, Володя, скажи пожалуйста:
1. какая строчка в твоём robots.txt закрывает древовидные комменты? По моим соображениям это Disallow: /xmlrpc.php.
Хочется все действия производить осознанно, а не просто следовать рекомендациям.
2. если древовидные возвращать, то ставить ли теперь плагин Replytocom Redirector? Ведь он сильно нагружает базу данных.
3. нужно ли отключать разбиение на страницы для комментов, как рекомендует в этой ветке Александр 24.01.2012.? Или такое разбиение теперь тоже убрано в robots.txt ?
Привет.
1. Нет. Только там где после слеша стоит знак вопроса
2. В моем случае проблема была не с древовидными, но статью решил не убирать, так как эта проблема существует у многих сайтов. У меня проблема была из-за того, что я запретил яндексу индексировать свой сайт. Нашел его IP и своими собственными руками запретил. т.е. можно не ставить плагин и прописать запрет на индексирование древовидных в Роботс
3. Нет не нужно. Если в Роботс прописана эта строка: Disallow: /*?*
Даже если replytocom закрыты в роботс, эти страницы висят в мусорных проиндексированых страницах гугла, которые не участвуют в поиске и убрать их оттуда не получается. а убирать нужно для того чтобы количество проиндексированых страниц яндексом и гуглом было примерно равно!!!
Может есть мысль как их убрать из гугла?
Вот у вас например в яндексе 611 страниц в поиске, а в гугле 13500 страниц, из которых всего 9% участвуют в поиске. А остальные — это такой же мусор!!!
Да вы правы. Это мусор. Еще его называют «сопли». Убрать частично можно. К примеру отключить древовидные комментарии.
Если их отключить, исчезнут только эти ссылки на сайте. Но страницы все равно останутся и на сайте и в мусоре гугла. Вот я никак их не могу оттуда убрать через вебмастер гугла.
очень спасибо автору!
Наконец, я узнала врага в лицо. Долго гадала куда пропали статьи из индексации. Спасибо Вам, Владимир огромное!!! Буду исправлять.