Прокси за једно преузимање у Scrapy shell-у

Користите прокси метаподатке Request-а унутар Scrapy shell-а и прегледајте одговор тог конфигурисаног захтева.

Унутар Scrapy shell-а направите захтев који желите да преузимач изврши:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware чита вредност проксија из метаподатака тог Request-а. Мора бити омогућен у конфигурацији активног middleware-а за преузимање. Променљива response након тога припада овом преузимању. За овај јавни URL изаберите HTTP адресу без аутентификације са листе HTTP проксија ако су јавни посредници дозвољени, а затим ставите њен URL у прокси метаподатке тог захтева.

Покретање shell-а из Scrapy пројекта омогућава му да учита конфигурацију тог пројекта. То бира middleware и друге поставке; само по себи не бира одређену прокси крајњу тачку. Метаподаци захтева горе пружају тај избор директно.

За прокси који користи Basic акредитиве, Scrapy документује корисничке податке у URL-у проксија. Кодирајте резервисане знакове у деловима налога пре него што га направите. Није потребно додавати Authorization заглавље веб странице за тај налог.

Scrapy такође може пронаћи проксије из својих подржаних променљивих окружења. Експлицитни прокси метаподаци захтева имају предност. За намерно директан захтев, вредност проксија None онемогућава избор тог middleware-а заснован на окружењу за захтев.

Повезани чланци