Scrapy shell ичинде бир суроо үчүн прокси

Scrapy shell ичинде жүктөөчү аткарууга тийиш болгон суроону түзүңүз:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware прокси маанисин ошол Request метаберилиштеринен окуйт. Ал активдүү жүктөөчү middleware конфигурациясында күйгүзүлгөн болушу керек. Андан кийинки response өзгөрмөсү ушул суроого таандык. Бул коомдук URL үчүн, эгер коомдук ортомчулар уруксат берилсе, HTTP прокси тизмесинен аутентификациясыз HTTP дарегин тандап, анын URL'ин ошол суроонун прокси метаберилиштерине жайгаштырыңыз.

Shell'ди Scrapy долбоорунан баштоо ага ошол долбоордун конфигурациясын жүктөөгө мүмкүндүк берет. Бул middleware жана башка жөндөөлөрдү тандайт; ал өзү белгилүү бир прокси акыркы чекитин тандабайт. Жогорудагы суроо метаберилиштери бул тандоону түздөн-түз камсыз кылат.

Basic эсептик маалыматтарын колдонгон прокси үчүн Scrapy колдонуучу маалыматын прокси URL'инде документтештирет. Аны куруудан мурун эсеп бөлүктөрүндөгү корголгон белгилерди коддоңуз. Ошол эсеп үчүн веб-сайттын Authorization аталышын кошуунун кереги жок.

Scrapy ошондой эле өзү колдогон чөйрө өзгөрмөлөрүнөн проксилерди таба алат. Суроонун ачык прокси метаберилиштери артыкчылыкка ээ. Атайын түз суроо үчүн None прокси мааниси ошол middleware'дин чөйрөгө негизделген тандоосун суроо үчүн өчүрөт.