ப்ராக்ஸி வழியாக Scrapy AutoThrottle: இடங்கள் மற்றும் தாமதம்

இயல்பாக, Scrapy கோரிக்கை URL இன் டொமைனின் அடிப்படையில் பதிவிறக்க இடங்களை ஒதுக்குகிறது. ஒரு கோரிக்கைக்கு HTTP ப்ராக்ஸி வழங்கினால் அந்த URL ப்ராக்ஸியின் ஹோஸ்ட்பெயராக மாறாது. எனவே வெவ்வேறு தளங்களுக்கான கோரிக்கைகள் ஒரே இடைத்தரகரைப் பங்கிட்டுக்கொண்டே வெவ்வேறு இடங்களை வைத்திருக்கலாம்.

AutoThrottle கவனிக்கப்பட்ட பதிவிறக்க தாமதத்தைப் பயன்படுத்தி ஒவ்வொரு இடத்தின் தாமதத்தையும் சரிசெய்கிறது. நிலையான டொமைன் ஒன்றுக்கான ஒரேநேர சீருமும் குறைந்தபட்ச பதிவிறக்க தாமதமும் இன்னும் பொருந்தும்.

அல்காரிதத்தை மாற்றுவதற்கு முன் குழுவாக்கத்தைச் சரிபார்க்கவும்

தனிப்பயன் மிடில்வேர் request.meta["download_slot"] ஒதுக்கி வழக்கமான இடத் தேர்வை மேலெழுதலாம். சில ப்ராக்ஸி நீட்டிப்புகள் தங்கள் சொந்த குழுவாக்கத்தைப் பயன்படுத்துகின்றன. தொடர்பில்லாத தளங்கள் ஒரே கட்டுப்படுத்தியைப் பங்கிடுவதாகத் தோன்றினால் அந்த அமைப்புகளைப் பார்க்கவும்.

மாறாக, ஒவ்வொரு ப்ராக்ஸிக்கும் வேறு இடத்தை ஒதுக்கினால் பல ப்ராக்ஸிகள் ஒரே நேரத்தில் ஒரே இலக்கைத் தொடர்பு கொள்ளலாம். இது க்ராலர் மதிக்க வேண்டிய தளம் முழுவதற்கான வரம்பை மீறக்கூடும். பாதுகாக்கப்படும் வளத்திற்கு ஏற்ப இட விசையைத் தேர்ந்தெடுக்கவும்.

தாமதத்தில் நீங்கள் பயன்படுத்திய பாதை அடங்கும்

Scrapy கோரிக்கையை அனுப்பியதிலிருந்து HTTP தலைப்புகளைப் பெறும் வரையிலான தாமதத்தை அளவிடுகிறது. ப்ராக்ஸி வழியாகச் செல்லும் கோரிக்கை அந்த அளவீட்டில் இடைத்தரகரின் வரிசை மற்றும் அனுப்புதல் தாமதத்தைச் சேர்க்கலாம். AutoThrottle மூலத்திற்கு மட்டுமான தனி செயலாக்க நேரத்தைப் பெறுவதில்லை.

ஒரேநேரத்தை அதிகரிப்பது அந்த அளவீட்டைத் தளத்தைத் தனிமைப்படுத்தச் செய்யாது. இரண்டும் முக்கியமானபோது இலக்கு மீதான பணிவையும் ப்ராக்ஸி திறனையும் தனித்தனி வரம்புகளாக வைத்திருங்கள். பங்கிடப்பட்ட ப்ராக்ஸிக்கு இலக்கு இடங்கள் முழுவதும் கூடுதல் ஒரேநேர வரவுசெலவுத்திட்டம் தேவைப்படலாம், அதேசமயம் ஒவ்வொரு இலக்கும் அதன் சொந்த வீதக் கொள்கையை வைத்திருக்கும்.