Сведения о вопросе

CPdeveloper

16:03, 1st July, 2020

Теги

http   curl    

Как создать curl или wget веб-страницу?

Просмотров: 440   Ответов: 5

Я хотел бы сделать ночное задание cron, которое извлекает мою страницу stackoverflow и отличает ее от страницы предыдущего дня, чтобы я мог видеть сводку изменений моих вопросов, ответов, рейтинга и т. д.

К сожалению, я не смог получить правильный набор печенья и т.д.,Чтобы сделать эту работу. Есть какие-нибудь идеи?

Кроме того, когда бета-версия будет завершена, будет ли доступна моя страница состояния без входа в систему?



  Сведения об ответе

lesha

18:03, 1st July, 2020

Теперь ваша страница состояния доступна без входа в систему (нажмите кнопку Выход и попробуйте войти). Когда бета-куки отключен, между вами и вашей страницей статуса ничего не будет.

Для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html


  Сведения об ответе

P_S_S

18:03, 1st July, 2020

От Марка Харрисона

И вот что работает...

curl -ы --печенье соба=. https://stackoverflow.com/users

И для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html


  Сведения об ответе

$DOLLAR

18:03, 1st July, 2020

Хорошая идея :)

Я полагаю, вы пользовались услугами wget

--load-cookies (filename)

возможно, это немного поможет, но может быть проще использовать что-то вроде Mechanize (в Perl или python), чтобы более полно имитировать браузер, чтобы получить хорошего паука.


  Сведения об ответе

repe

18:03, 1st July, 2020

Я также не мог понять, как заставить файлы cookie работать, но я смог попасть на свою страницу состояния в браузере, когда я вышел из системы, поэтому я предполагаю, что это будет работать, как только stackoverflow станет общедоступным.

Это интересная идея, но не хотите ли вы также подобрать различия базового кода html? Есть ли у вас стратегия, чтобы избежать в конечном итоге diff из html, а не фактического содержания?


  Сведения об ответе

ITSME

18:03, 1st July, 2020

И вот что работает...

curl -s --cookie soba=. http://stackoverflow.com/users


Ответить на вопрос

Чтобы ответить на вопрос вам нужно войти в систему или зарегистрироваться