Að lesa proxy-endapunkt og tengingar-IP Scrapy
Notaðu lýsigögn beiðnarinnar fyrir valda proxyið, meðhöndlaðu response.ip_address sem jafningjaupplýsingar frá handfaranum og staðfestu útgangs-IP á áfangastað.
Þegar þú skoðar valda leið skaltu nota Request sem fylgir loknu svari. Haltu þremur athugunum aðskildum:
| Reitur | Merking |
|---|---|
response.request.meta.get('proxy') | Valin proxy-URL þessarar beiðni, þegar hún er til |
response.ip_address | Heimilisfang frá niðurhalshandfaranum, mögulega None |
| Heimildarskýrsla frá traustum áfangastað | Opinbera heimildin sem sást þar |
Inni í callback skaltu sleppa URL-hlutum með auðkennisgögnum úr venjubundinni greiningu:
from urllib.parse import urlsplit
proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
'target_host=%s proxy_host=%s peer_ip=%s',
urlsplit(response.url).hostname, proxy_host, response.ip_address,
)Í HTTP/1.1-handfaranum í Scrapy 2.13.3 kemur heimilisfangið frá jafningja tengingar svarsins, ekki frá útgangs-IP þjónustu. Sumar leiðir, þar á meðal svör af núll lengd, geta skilið það eftir sem None. Aðrir handfarar geta fyllt það á annan hátt. None sannar ekki eitt og sér beina leið.
Fyrir útgangsprófun, spyrðu traustan endapunkt samkvæmt fyrirhugaðri proxy stefnu og geymdu auðkenni beiðnarinnar með athuguninni. Snúningsmillihugbúnaður getur gefið síðari prófun annan endapunkt.
Framsendingar búa líka til aðra beiðni. Lokalýsigögnin lýsa því stigi; skoðaðu framsendingarsögu og hvers kyns endurval millihugbúnaðar í stað þess að líta á það sem sönnun fyrir leið fyrstu URL.