Scrapy இன் ப்ராக்ஸி முனை மற்றும் இணைப்பு IP படித்தல்

தேர்ந்தெடுக்கப்பட்ட ப்ராக்ஸிக்கு கோரிக்கையின் மெட்டாடேட்டாவைப் பயன்படுத்தி, response.ip_address-ஐ ஹேண்ட்லர் வழங்கும் பியர் தகவலாகக் கருதி, இலக்கில் வெளியேறும் IP-ஐ சரிபார்க்கவும்.

தேர்ந்தெடுக்கப்பட்ட பாதையை ஆய்வு செய்ய, முடிந்த பதிலுடன் இணைக்கப்பட்ட Request-ஐப் பயன்படுத்தவும். மூன்று கவனிப்புகளைத் தனித்தனியாக வைத்திருங்கள்:

புலம்பொருள்
response.request.meta.get('proxy')இந்தக் கோரிக்கையின் தேர்ந்தெடுக்கப்பட்ட ப்ராக்ஸி URL, இருந்தால்
response.ip_addressபதிவிறக்க ஹேண்ட்லர் வழங்கும் முகவரி, None ஆக இருக்கலாம்
நம்பகமான இலக்கின் மூல அறிக்கைஅங்கு கவனிக்கப்பட்ட பொது மூலம்

கால்பேக்கின் உள்ளே, சான்றுகள் உள்ள URL பகுதிகளை வழக்கமான கண்டறிதலில் இருந்து விட்டுவிடுங்கள்:

from urllib.parse import urlsplit

proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
    'target_host=%s proxy_host=%s peer_ip=%s',
    urlsplit(response.url).hostname, proxy_host, response.ip_address,
)

Scrapy 2.13.3 இன் HTTP/1.1 ஹேண்ட்லரில் முகவரி பதிலின் இணைப்பு பியரிடமிருந்து வருகிறது, வெளியேறும் IP சேவையிலிருந்து அல்ல. சில பாதைகள், பூஜ்ஜிய நீள பதில்கள் உட்பட, அதை None ஆக விடலாம். பிற ஹேண்ட்லர்கள் அதை வேறு விதமாக நிரப்பலாம். None தானாக நேரடி வழித்தடத்தை நிரூபிக்காது.

வெளியேற்ற சரிபார்ப்புக்கு, எண்ணப்படும் ப்ராக்ஸி கொள்கையின் கீழ் நம்பகமான முனையைக் கேளுங்கள் மற்றும் கோரிக்கையின் அடையாளத்தைக் கவனிப்புடன் வைத்திருங்கள். சுழலும் மிடில்வேர் பிந்தைய சரிபார்ப்புக்கு வேறு முனையைத் தரலாம்.

வழிமாற்றங்களும் மற்றொரு கோரிக்கையை உருவாக்குகின்றன. இறுதி மெட்டாடேட்டா அந்த நிலையை விவரிக்கிறது; முதல் URL இன் பாதைக்கான சான்றாகக் கருதுவதற்குப் பதிலாக வழிமாற்ற வரலாறு மற்றும் மிடில்வேர் எந்த மறுதேர்வையும் ஆய்வு செய்யுங்கள்.

தொடர்புடைய கட்டுரைகள்