Scrapy ப்ராக்ஸி மிடில்வேர்: Request மற்றும் None திரும்பும் மதிப்புகள்

பதிவில் ப்ராக்ஸி முகவரி மாறுகிறது. இலக்கு ப்ராக்ஸியின் அணுகல் பதிவில் ஒருபோதும் தோன்றாது. உங்கள் மிடில்வேர் கோரிக்கையை பதிவிறக்கிக்கு அனுப்புகிறதா எனப் பாருங்கள்.

Scrapy இன் பதிவிறக்கி மிடில்வேரில் Request திருப்பித் தருவது அந்தக் கோரிக்கையை மீண்டும் திட்டமிடுவதாகும். அது “நான் இப்போது மாற்றிய மெட்டாடேட்டாவுடன் இந்தப் பொருளைத் தொடர்ந்து அனுப்பு” என்று அர்த்தமல்ல.

வழியை மட்டும் தேர்ந்தெடுக்கும் தேர்வானுக்கு முக்கியமான வடிவம்:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

இந்தப் பகுதி தற்போதைய ஹூக் வடிவத்தைக் காட்டுகிறது; நிறுவப்பட்ட Scrapy பதிப்பு ஆதரிக்கும் மிடில்வேர் இடைமுகத்தைப் பயன்படுத்துங்கள். தேர்வான் செல்லுபடியாகும் முடிவு முனையைத் திருப்பித் தர வேண்டும் மற்றும் கிடைக்காத தொகுப்பை வெளிப்படையாகக் கையாள வேண்டும். பொது இடைத்தரகர்களை அனுமதிக்கும் பொது ஊர்வலம் அந்தத் திரும்பும் மதிப்புக்காக HTTP ப்ராக்ஸி பட்டியலில் இருந்து HTTP வேட்பாளர்களை எடுக்கலாம்.

None திருப்பித் தருவது மீதமுள்ள கோரிக்கை மிடில்வேரும் பதிவிறக்கியும் தொடர அனுமதிக்கிறது. மற்றொரு Request திருப்பித் தருவது வேலையை வேண்டுமென்றே மாற்றும்போது அல்லது மீண்டும் முயற்சிக்கும்போது பயனுள்ளது, ஆனால் அதற்குக் காரணமும் வெளியேறும் நிபந்தனையும் தேவை.

ஒவ்வொரு முறையும் அதே கோரிக்கையைத் திருப்பித் தரும் சுழற்றி, இலக்குடன் ஒருபோதும் இணைப்பை ஏற்படுத்தாமல் தனது தேர்வுக் குறியீட்டை மீண்டும் மீண்டும் இயக்கலாம். நேர வரம்புகளை உயர்த்துவதோ கூடுதல் ப்ராக்ஸி துறைகளைத் திறப்பதோ அந்தக் கட்டுப்பாட்டு-ஓட்டச் சுழற்சியைச் சரிசெய்யாது.

மிடில்வேர் நுழைவு, திரும்பும் நடத்தை மற்றும் முதல் உண்மையான பிணைய முயற்சி ஆகியவற்றைத் தனித்தனி நிகழ்வுகளாக ஆராயுங்கள். “ப்ராக்ஸி தேர்ந்தெடுக்கப்பட்டது” என்ற பதிவு வரி தேர்வான் இயங்கியது மட்டுமே நிரூபிக்கிறது. தேர்ந்தெடுக்கப்பட்ட முடிவு முனையுடன் கோரிக்கை அனுப்பப்பட்டது என்பதை நிரூபிக்காது.