Scrapy માં ProxyMesh હેડર કેમ ગુમ થઈ શકે છે

Scrapy HTTPS કૉલબૅકમાં X-ProxyMesh-IP ન હોવું સીધું રૂટિંગ સાબિત કરતું નથી. ટનલવાળા HTTPS માં ProxyMesh રૂટિંગ હેડર CONNECT પ્રતિભાવ પર મૂકે છે; પછીનો વેબસાઇટ પ્રતિભાવ TLS ની અંદર હોય છે અને તે પહેલાંના મેટાડેટા આપોઆપ સમાવતો નથી.

જ્યાં કૉલબૅકમાં હેડર દેખાય છે ત્યાં તેને શરતી રીતે વાંચો:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

આ તે વિનિમય માટે પ્રદાતાએ જણાવેલું એક્ઝિટ છે, રૂપરેખાંકિત પ્રવેશ હોસ્ટનામ નહીં.

જો ટનલ મેટાડેટા જરૂરી હોય, તો CONNECT હેડર દર્શાવતું સુસંગત હેન્ડલર ઇન્ટિગ્રેશન વાપરો. ProxyMesh આ હેતુ માટે એક રાખે છે; તેની સમર્થિત Scrapy આવૃત્તિ અને ડાઉનલોડ હેન્ડલર તપાસો. સ્પાઇડર પાર્સિંગ એવા હેડર જાહેર કરી શકતું નથી જે ટ્રાન્સપોર્ટે કદી આપ્યા ન હોય.

મેટાડેટાને તેના કનેક્શન સાથે જોડો. ટનલનો પુનઃઉપયોગ દરેક પૃષ્ઠ માટે બીજો CONNECT પ્રતિભાવ બનાવતો નથી. ગંતવ્ય જે સ્વતંત્ર સ્રોત સરનામું જુએ છે તે માટે, પ્રદાતા હેડરને સાર્વત્રિક IP ડિટેક્ટર ગણવાને બદલે તે ગંતવ્યના આવતા કનેક્શનની તપાસ કરો.