Сведения о вопросе

LiKIY

19:09, 1st October, 2020

Теги

Googlebot    

Слишком умный GoogleBot, как запретить?

Просмотров: 299   Ответов: 9

Здравствуйте!
На одном из сайтов есть кнопки, нажав на которые аяксом автоматически отправляются сообщения админу. Столкнулся с тем, что GoogleBot при индексировании сайта кликает на эти ссылки и, соответственно, отправляет сообщения. Особенно удивило то, что по нажатию на ссылку бот соглашается на скриптовый confirm. YandexBot, кстати, в настолько умном поведение замечен не был :)

Собственно, хотелось бы узнать у специалистов, как можно запретить боту нажимать на определенные ссылки? Именно нажимать. Ибо nofollow и robots.txt не помогает (он нажимает, но не индексирует).

Заранее спасибо за ответы.



  Сведения об ответе

Chhiki

23:52, 28th September, 2020

Надо чтобы ваши «сообщения админу» отправлялись не GET, а POST запросами. POSTы гугл не будет посылать


  Сведения об ответе

$DOLLAR

07:29, 26th September, 2020

Гугль наглый… он и в чаты поддержки заходит по кнопке в два шага… :) и поддержка с ним пытается общаться… пришлось особые правила под него писать…


  Сведения об ответе

prince

02:35, 29th September, 2020

robots.txt?


  Сведения об ответе

9090

05:12, 28th September, 2020

В саппорт гуглу писать пробовали?


  Сведения об ответе

crush

11:09, 27th September, 2020

вынеси ссылку в скрипт


  Сведения об ответе

VCe znayu

20:56, 28th September, 2020

Делать проверку на user-agent в скрипте отправки сообщения?


  Сведения об ответе

PROGA

13:40, 30th September, 2020

можно запретить индексировать часть страницы, расположенную между
<!––googleoff: all-->
....
<!––googleon: all-->


  Сведения об ответе

COOL

19:38, 28th September, 2020

Убрите URL с ссылки и переходите Javascript'ом после подтверждения.
Goggle не подтверждает confirm, просто у Вас (наверное) написано так:
<a href="/send.php" onclick="return confirm('Send?')">Send</a>

И Google парсит только /send.php и переходит.


  Сведения об ответе

9090

17:49, 25th September, 2020

Ага, «проблеме» похоже уже больше двух лет и алгоритм Google только улучшает.
Как я понял из статьи по ссылке нужно убирать явное упоминание урлов, может шифровать как-то. Но есть еще вариант, что у работающего с сайтом стоит google toolbar, который стучит все урлы. От этого никуда не деться, разве что на стороне сервера при запросе этого урла определять бота по user-agent (он вроде не шифруется)


Ответить на вопрос

Чтобы ответить на вопрос вам нужно войти в систему или зарегистрироваться