Ինչու ProxyMesh-ի ելքի վերնագիրը կարող է բացակայել Scrapy-ում

Scrapy-ի HTTPS callback-ում X-ProxyMesh-IP-ի բացակայությունը չի ապացուցում ուղիղ երթուղավորում։ Թունելավորված HTTPS-ում ProxyMesh-ը երթուղային վերնագրերը դնում է CONNECT-ի պատասխանի վրա. ավելի ուշ կայքի պատասխանը գտնվում է TLS-ի ներսում և ինքնաբերաբար չի ներառում այդ նախորդ մետատվյալները։

Այնտեղ, որտեղ վերնագիրը երևում է callback-ում, կարդացեք այն պայմանականորեն.

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Սա մատակարարի հաղորդած ելքն է այդ փոխանակման համար, ոչ թե կազմաձևված մուտքի հոսթի անունը։

Եթե թունելի մետատվյալներ են պետք, օգտագործեք CONNECT վերնագրերը բացահայտող համատեղելի handler ինտեգրում։ ProxyMesh-ը պահում է մեկը հենց այդ նպատակով. ստուգեք աջակցվող Scrapy տարբերակը և ներբեռնման handler-ը։ Սարդի վերլուծությունը չի կարող բացահայտել վերնագրեր, որոնք տրանսպորտը երբեք չի տրամադրել։

Մետատվյալները կապեք դրանց միացմանը։ Թունելի կրկնակի օգտագործումը յուրաքանչյուր էջի համար նոր CONNECT պատասխան չի ստեղծում։ Նպատակակետի կողմից դիտարկվող անկախ աղբյուրի հասցեի համար ստուգեք այդ նպատակակետի մուտքային միացումը՝ փոխարենը մատակարարի վերնագիրը համընդհանուր IP հայտնաբերիչ չհամարելով։