பல டொமைன்களில் Scrapy ப்ராக்ஸி ஒருங்கிணைப்பு

ஒவ்வொரு இலக்கும் ஒரே ப்ராக்ஸி கணக்கைப் பயன்படுத்தினால், அந்தக் கணக்கின் ஒரே நேர கோரிக்கை அனுமதி அந்த இலக்குகள் அனைத்திலும் செலவாகலாம். டொமைன் வாரியான வரம்பு மட்டும் அந்தப் பகிரப்பட்ட நிதியை வெளிப்படுத்தாது.

அதிகபட்சம் 20 ஒரே நேர கோரிக்கைகளை அனுமதிக்கும் ஒரு கற்பனைக் கணக்கிற்கு, சிறிது இடத்தை விட்டுவிட்டு ஊர்வலியின் உலகளாவிய பதிவிறக்கி வரம்பை அமைக்கவும்:

CONCURRENT_REQUESTS = 16

இது ஒரு எடுத்துக்காட்டு பங்கீடு, ஒவ்வொரு வழங்குநருக்கும் பரிந்துரைக்கப்பட்ட மதிப்பு அல்ல. Scrapy, CONCURRENT_REQUESTS-ஐ பதிவிறக்கியின் அதிகபட்ச ஒரே நேர கோரிக்கைகளின் எண்ணிக்கையாக வரையறுக்கிறது. டொமைன் வாரியான கட்டுப்பாடுகள் ஒருங்கிணைப்பை மேலும் குறைக்கலாம்; அவை உலகளாவிய உச்ச வரம்பை மாற்றாது.

பிற ஊர்வலிகளையும் கணக்கில் சேர்க்கவும். ஒவ்வொன்றுக்கும் 16 கோரிக்கைகள் அனுமதிக்கப்பட்ட இரண்டு சுயாதீன ஊர்வலிகள் ஒன்றாக 20 என்ற பகிரப்பட்ட அனுமதியை மீறலாம். நிதியை வேண்டுமென்றே பிரிக்கவும் அல்லது அந்த வாடிக்கையாளர்கள் சந்திக்கும் இடத்தில் பகிரப்பட்ட வரம்பை நடைமுறைப்படுத்தவும்.

வழங்குநர் எதை எண்ணுகிறார் என்பதையும் தீர்மானிக்கவும். HTTP கோரிக்கைகள், திறந்த TCP இணைப்புகள், செயலில் உள்ள சுரங்கப்பாதைகள் மற்றும் வினாடிக்கு கோரிக்கைகள் வெவ்வேறு அளவுகள். நிலையான இணைப்புகளும் பல்வகைப்படுத்தலும் அவற்றின் எண்ணிக்கைகளை வேறுபடுத்தலாம். எனவே கோரிக்கை-ஒருங்கிணைப்பு அமைப்பு முழுமையான இணைப்பு அல்லது விகித வரம்பாகாது.

இலக்கு தளத்தின் வேகத்தை தனி கட்டுப்பாடாக வைத்திருங்கள். ப்ராக்ஸி கணக்கில் பயன்படுத்தப்படாத திறன் இருந்தாலும் ஒரு குறிப்பிட்ட இலக்கிற்கு குறைந்த ஒருங்கிணைப்பு அல்லது பதிவிறக்க தாமதம் பொருத்தமாக இருக்கலாம்.