Scrapy-ல் ProxyMesh-இன் வெளியேறும் தலைப்பு ஏன் காணாமல் போகலாம்
Scrapy இணையதளத்தின் மறையாக்கப்பட்ட பதிலைப் பெறுவதற்கு முன்பே ProxyMesh CONNECT-ல் வழிசெலுத்தல் மெட்டாடேட்டாவை அனுப்பலாம். அதை உண்மையில் சுமக்கும் பதில் நிலையை ஆய்வு செய்யுங்கள்.
Scrapy HTTPS அழைப்பில் X-ProxyMesh-IP இல்லாதது நேரடி வழிசெலுத்தலை நிரூபிக்காது. சுரங்கப்பாதை HTTPS-ல் ProxyMesh வழிசெலுத்தல் தலைப்புகளை CONNECT பதிலில் வைக்கிறது; பின்னர் வரும் இணையதளப் பதில் TLS-க்குள் இருக்கிறது, அதனால் அந்த முந்தைய மெட்டாடேட்டாவைத் தானாகச் சேர்க்காது.
அழைப்பில் தலைப்பு தெரியும் இடத்தில் அதை நிபந்தனையுடன் படியுங்கள்:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))
இது அந்தப் பரிமாற்றத்திற்கு வழங்குநர் தெரிவிக்கும் வெளியேறு முகவரி, கட்டமைக்கப்பட்ட நுழைவு புரவலன் பெயர் அல்ல.
சுரங்கப்பாதை மெட்டாடேட்டா தேவைப்பட்டால், CONNECT தலைப்புகளை வெளிப்படுத்தும் இணக்கமான கையாளுதல் ஒருங்கிணைப்பைப் பயன்படுத்துங்கள். ProxyMesh இந்த நோக்கத்திற்காக ஒன்றைப் பராமரிக்கிறது; அதன் ஆதரவு Scrapy பதிப்பையும் பதிவிறக்கக் கையாளுதலையும் சரிபார்க்கவும். போக்குவரத்து ஒருபோதும் வழங்காத தலைப்புகளைச் சிலந்தி பகுப்பாய்வு வெளிப்படுத்த முடியாது.
மெட்டாடேட்டாவை அதன் இணைப்புடன் இணையுங்கள். சுரங்கப்பாதையை மீண்டும் பயன்படுத்துவது ஒவ்வொரு பக்கத்திற்கும் மற்றொரு CONNECT பதிலை உருவாக்காது. இலக்கு கவனிக்கும் சுயாதீன மூல முகவரிக்கு, வழங்குநர் தலைப்பை உலகளாவிய IP கண்டறிவியாகக் கருதுவதற்குப் பதிலாக அந்த இலக்கின் உள்வரும் இணைப்பை ஆய்வு செய்யுங்கள்.