Aqra l-endpoint tal-proxy u l-IP tal-konnessjoni ta' Scrapy
Uża l-metadata tat-talba għall-proxy magħżul, ittratta response.ip_address bħala informazzjoni tal-peer ipprovduta mill-handler, u vverifika l-IP tal-ħruġ fid-destinazzjoni.
Meta teżamina r-rotta magħżula, uża r-Request marbuta mar-risposta mitmuma. Żomm tliet osservazzjonijiet separati:
| Qasam | Tifsira |
|---|---|
response.request.meta.get('proxy') | L-URL tal-proxy magħżul ta' din it-talba, meta jkun hemm |
response.ip_address | Indirizz ipprovdut mill-handler tat-tniżżil, forsi None |
| Rapport tas-sors minn destinazzjoni affidabbli | Is-sors pubbliku osservat hemmhekk |
Ġewwa callback, ħalli barra l-partijiet tal-URL li jġorru l-kredenzjali mid-dijanjosi tas-soltu:
from urllib.parse import urlsplit
proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
'target_host=%s proxy_host=%s peer_ip=%s',
urlsplit(response.url).hostname, proxy_host, response.ip_address,
)Fil-handler HTTP/1.1 ta' Scrapy 2.13.3 l-indirizz jiġi mill-peer tal-konnessjoni tar-risposta, mhux minn servizz tal-IP tal-ħruġ. Xi mogħdijiet, inkluż risposti ta' tul żero, jistgħu jħalluh None. Handlers oħra jistgħu jimlewha b'mod differenti. None waħdu ma jipprova routing dirett.
Għal verifika tal-ħruġ, staqsi endpoint affidabbli taħt il-politika tal-proxy maħsuba u żomm l-identità tat-talba mal-osservazzjoni. Middleware li jdur jista' jagħti endpoint ieħor lil verifika aktar tard.
Ir-ridirezzjonijiet joħolqu wkoll talba oħra. Il-metadata finali tiddeskrivi dak l-istadju; eżamina l-istorja tar-ridirezzjonijiet u kwalunkwe għażla mill-ġdid mill-middleware minflok ma tqisha bħala prova tar-rotta tal-ewwel URL.