Ceann-uidhe proxy agus IP a' cheangail a leughadh ann an Scrapy
Cleachd meata-dàta an iarrtais airson a' phroxy a chaidh a thaghadh, dèilig ri response.ip_address mar fhiosrachadh co-aoise bhon neach-làimhseachaidh, agus dearbhaich an IP fàgail aig a' cheann-uidhe.
Cleachd an Request a tha ceangailte ris an fhreagairt chrìochnaichte nuair a sgrùdas tu an t-slighe a chaidh a thaghadh. Cùm trì beachdan air leth:
| Raon | Ciall |
|---|---|
response.request.meta.get('proxy') | URL a' phroxy a chaidh a thaghadh airson an iarrtais seo, nuair a tha e ann |
response.ip_address | Seòladh bhon neach-làimhseachaidh luchdaidh, 's dòcha None |
| Aithisg stòir bho cheann-uidhe earbsach | An stòr poblach a chaidh fhaicinn an sin |
Taobh a-staigh callback, fàg pàirtean URL le teisteasan a-mach às an diagnosach àbhaisteach:
from urllib.parse import urlsplit
proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
'target_host=%s proxy_host=%s peer_ip=%s',
urlsplit(response.url).hostname, proxy_host, response.ip_address,
)Ann an neach-làimhseachaidh HTTP/1.1 Scrapy 2.13.3 thig an seòladh bho cho-aois a' cheangail den fhreagairt, chan ann bho sheirbheis IP fàgail. Faodaidh cuid de shlighean, a' gabhail a-staigh freagairtean de dh'fhaid neoni, fhàgail mar None. Faodaidh luchd-làimhseachaidh eile a lìonadh ann an dòigh eadar-dhealaichte. Chan eil None leis fhèin a' dearbhadh slighe dhìreach.
Airson sgrùdadh fàgail, faighnich ceann-uidhe earbsach fo phoileasaidh a' phroxy a thathar an dùil agus cùm dearbh-aithne an iarrtais còmhla ris a' bheachd. Faodaidh middleware cuairteachaidh ceann-uidhe eile a thoirt do sgrùdadh nas fhaide air adhart.
Bidh ath-stiùireadh a' cruthachadh iarrtas eile cuideachd. Tha na meata-dàta deireannach a' mìneachadh na h-ìre sin; sgrùdaich eachdraidh an ath-stiùiridh agus ath-thaghadh sam bith bho middleware an àite a ghabhail mar dhearbhadh air slighe a' chiad URL.