Прокси за едно преземање во Scrapy shell

Во Scrapy shell, изградете го барањето што сакате преземачот да го изврши:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware ја чита вредноста на проксито од метаподатоците на тој Request. Тоа мора да биде овозможено во конфигурацијата на активниот middleware за преземање. Променливата response потоа припаѓа на ова преземање. За овој јавен URL, изберете HTTP адреса без автентикација од списокот на HTTP прокси ако се дозволени јавни посредници, потоа ставете ја нејзината URL во прокси метаподатоците на тоа барање.

Започнувањето на shell од проектот Scrapy му овозможува да ја вчита конфигурацијата на тој проект. Тоа избира middleware и други поставки; самото не избира конкретна крајна точка на прокси. Метаподатоците на барањето погоре го обезбедуваат тој избор директно.

За прокси што користи Basic акредитиви, Scrapy ги документира корисничките информации во URL-то на проксито. Кодирајте ги резервираните знаци во деловите на сметката пред да го изградите. Не е потребно да додадете Authorization заглавие на веб-страницата за таа сметка.

Scrapy исто така може да открие прокси од поддржаните променливи на околината. Експлицитните прокси метаподатоци на барањето имаат предност. За намерно директно барање, вредноста на проксито None го оневозможува изборот на тој middleware заснован на околината за барањето.