Почему я не могу получить страницы Википедии с LWP::Simple?

Видимо Википедия блокирует LWP::Simple запросов: http://www.perlmonks.org/?node_id=695886

Вместо этого работает следующее:

#!/usr/bin/perl
use strict;
use LWP::UserAgent;

my $url = "http://en.wikipedia.org/wiki/Stack_overflow";

my $ua = LWP::UserAgent->new();
my $res = $ua->get($url);

print $res->content;

Вы также можете просто установить UA в модуле LWP::Simple - просто импортируйте переменную $ua, и это позволит вам изменить базовую UserAgent:

use LWP::Simple qw/get $ua/;
$ua->agent("WikiBot/0.1");
print get("http://en.wikipedia.org/wiki/Stack_overflow");

Я решил эту проблему, используя LWP:RobotUA вместо LWP::UserAgent . Вы можете прочитать документ ниже. Есть не так много различий, которые вы должны изменить.

http://lwp.interglacial.com/ch12_02.htm

Потому что Википедия блокирует строку HTTP user-agent, используемую LWP::Simple.

Вы получите ответ "403 Forbidden", если попытаетесь его использовать.

Попробуйте обойти это с помощью модуля LWP::UserAgent, установив атрибут agent-attribute.

Также смотрите связанные модули Mediawiki CPAN - они предназначены для попадания на сайты Mediawiki (одним из которых является Википедия) и могут дать вам больше колоколов и свистков, чем простой LWP.

http://cpan.uwinnipeg.ca/search?запрос=Mediawiki&mode=dist