Procsïau fesul cais gyda middleware proxy HTTP Scrapy

Defnyddiwch fetadata ceisiadau Scrapy a'i middleware proxy cyn copïo hen middleware dilysu personol i mewn i graedur.

Mae middleware proxy HTTP Scrapy yn darllen proxy o fetadata'r cais:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Amnewidiwch bwynt terfyn y ddogfennaeth a chadwch y middleware wedi'i alluogi. Mae'r rhestr o brocsïau HTTP yn cynnig ymgeiswyr cyhoeddus ar gyfer URL y cais hwn. Mae hyn yn dewis llwybr y cais; mae angen rhesymeg dewis ar wahân ar gronfa brocsïau.

Mae dilysu'n dilyn y pwynt terfyn a ddewiswyd

Mae'r middleware adeiledig yn trin tystysgrifau a ddarperir trwy'r URL proxy a gefnogir a'r pennawd awdurdodi cysylltiedig. Dianc nodau URL wrth gefn ac osgowch gofnodi'r URL hwnnw.

Ni ddylai middleware ar wahân gadw pennawd Basic ar gyfer y proxy blaenorol ar ôl i'r pwynt terfyn newid. Gadewch i un haen reoli'r llwybr a'i dystysgrifau gyda'i gilydd.

Trefn dewis a diofynion

Os yw middleware lawrlwytho personol yn dewis y proxy, rhedwch ef cyn i'r middleware proxy adeiledig brosesu'r cais. Gwiriwch drefn ac API y fersiwn sydd wedi'i osod; mae mewnforion scrapy.contrib darfodedig yn perthyn i fersiynau hŷn.

Gall amgylchedd y broses hefyd ddarparu diofynion sy'n benodol i gynllun. Ar gyfer cais uniongyrchol bwriadol, defnyddiwch ymddygiad arbennig dogfennedig y metadata proxy: nid yw allwedd absennol o reidrwydd yn golygu mynediad uniongyrchol.

Archwiliwch y canlyniad gwirioneddol. Mae 407 yn ymwneud â dilysu'r proxy, tra gall cyfyngiad cyfradd neu wrthodiad mynediad gwefan ddod ar ôl i'r llwybr weithio'n gywir.

Erthyglau cysylltiedig