தடுக்கும் பிராக்ஸி-பூல் தேடல் Scrapy-ஐ நிறுத்தக்கூடும்

கிராலரில் போதுமான ஒருங்கிணைந்த கோரிக்கைகள் அமைக்கப்பட்டுள்ளன. இருப்பினும் பிராக்ஸி பூலிடம் மற்றொரு முகவரியைக் கேட்கும் ஒவ்வொரு முறையும் அது நிற்கிறது. கூடுதல் பிராக்ஸிகளைச் சேர்ப்பது அந்த நிறுத்தத்தைத் தொடுவதில்லை.

பொதுவான மிடில்வேர் முறைமை requests.get(pool_url) ஐ process_request() உள்ளே அழைக்கிறது. இது Scrapy-இன் ஒத்திசைவற்ற இயந்திரத்துடன் ஒத்துழைக்க வேண்டிய பாதையில் ஒரு ஒத்திசைவான வலையமைப்புச் செயல்பாடு. அழைப்பு காத்திருக்கும்போது, அதே நிகழ்வு-வளைய இழையில் உள்ள தொடர்பற்ற வேலையை அது தடுத்து நிறுத்தக்கூடும்.

வேலையில் இரண்டு கோரிக்கைகள் உள்ளன

ஒரு கோரிக்கை பூல் சேவையிலிருந்து எண்ட்பாயிண்ட்டைப் பெறுகிறது. மற்றது அந்த எண்ட்பாயிண்ட்டைப் பயன்படுத்தி இலக்கைத் தொடர்பு கொள்கிறது. இரண்டையும் தனித்தனியாக அளந்து தெரிவிக்கவும். மெதுவான பூல் API, பயன்பாடு இணைவதற்கு முன்பே ஒவ்வொரு தேர்ந்தெடுத்த பிராக்ஸியையும் மெதுவாகத் தோன்றச் செய்யும்.

நிறுவப்பட்ட Scrapy பதிப்பு ஆதரிக்கும் ஒத்திசைவற்ற கண்டறிதல் ஒருங்கிணைப்பைப் பயன்படுத்தவும், அல்லது ஒவ்வொரு கோரிக்கையின் முக்கியமான பாதைக்கு வெளியே வரம்புடைய உள்ளூர் எண்ட்பாயிண்ட் தொகுப்பைப் பெற்று புதுப்பிக்கவும். தடுக்கும் வேலையை நகர்த்த வேண்டுமானால், அந்த இயக்கிக்கு அதன் சொந்த வரம்புகளையும் நேர முடிவு கையாளுதலையும் வழங்கவும்; வரம்பற்ற வரிசை தாமதத்தின் இடத்தை மட்டுமே மாற்றுகிறது.

ஒவ்வொரு கோரிக்கைக்கும் தானாகவே மற்றொரு கண்டறிதல் அழைப்பை விடுக்காதீர்கள். குறுகிய கால தற்காலிக சேமிப்பு அல்லது வாடகைக்கு எடுக்கப்பட்ட தொகுதி, சேவையின் உண்மையான எண்ட்பாயிண்ட் கொள்கைக்குப் பொருந்தினால் பூல் சேவையின் சார்பைக் குறைக்கும்.

தோல்வியடைந்த தேடலின் பொருளை வரையறுக்கவும்

காலியான அல்லது தோல்வியடைந்த பூல் பதில் பிராக்ஸி மெட்டாடேட்டாவை அமைதியாக நீக்கி நேரடிக் கோரிக்கையை அனுமதிக்கக் கூடாது. தெளிவான முடிவைத் தேர்ந்தெடுக்கவும்: பணியின் பட்ஜெட்டுக்குள் காத்திருப்பது, தோல்வியடைவது, அல்லது அங்கீகரிக்கப்பட்ட தற்காலிக சேமிப்பு எண்ட்பாயிண்ட்டைப் பயன்படுத்துவது.

பூல் API-இன் சொந்தப் பாதையையும் திறந்து வைக்கவும். அது உள் சேவையாக இருந்தால், அதன் தனிப்பட்ட ஹோஸ்ட்பெயரை அதைத் தேர்ந்தெடுக்க உதவும் அதே பிராக்ஸி வழியாக அனுப்புவது சுழற்சி சார்பை உருவாக்கலாம்.

கண்டறிதல் தொடர்பற்ற வேலையைத் தடுக்காமல் செயல்பட்ட பிறகு, சாதாரண பிராக்ஸி பரிவர்த்தனையை ஆராயுங்கள். அவை தனித்தனி பழுதுகள், அவற்றின் நேரம் பதிவில் தனி புலங்களுக்குத் தகுதியானது.