Scrapy proxy lõpp-punkti ja ühenduse IP lugemine
Kasutage valitud proxy jaoks päringu metaandmeid, käsitlege response.ip_address'i halduri antud partnerteabena ja kontrollige väljumis-IP-d sihtkohas.
Valitud marsruudi uurimiseks kasutage lõpetatud vastusega seotud Requesti. Hoidke kolm tähelepanekut lahus:
| Väli | Tähendus |
|---|---|
response.request.meta.get('proxy') | Selle päringu valitud proxy URL, kui see on olemas |
response.ip_address | Allalaadimishalduri antud aadress, võib olla None |
| Usaldusväärse sihtkoha allikaaruanne | Seal täheldatud avalik allikas |
Callbacki sees jätke rutiinsest diagnostikast välja volitusi kandvad URL-i osad:
from urllib.parse import urlsplit
proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
'target_host=%s proxy_host=%s peer_ip=%s',
urlsplit(response.url).hostname, proxy_host, response.ip_address,
)Scrapy 2.13.3 HTTP/1.1 halduris pärineb aadress vastuse ühenduse partnerilt, mitte väljumis-IP teenuselt. Mõned teed, sealhulgas nullpikkusega vastused, võivad jätta selle None'iks. Teised haldurid võivad selle teisiti täita. None iseenesest ei tõesta otsest marsruutimist.
Väljumise kontrollimiseks pärige usaldusväärset lõpp-punkti kavandatud proxy-poliitika alusel ja hoidke päringu identiteet tähelepaneku juures. Pöörlev vahetarkvara võib hilisemale kontrollile anda teise lõpp-punkti.
Ümbersuunamised loovad samuti veel ühe päringu. Lõplikud metaandmed kirjeldavad seda etappi; uurige ümbersuunamiste ajalugu ja vahetarkvara võimalikku uut valikut, selle asemel et pidada seda esimese URL-i marsruudi tõestuseks.