Scrapy-proksigelyktydigheid oor verskeie domeine
Gebruik die aflaaier se globale gelyktydigheidsperk wanneer verskeie teikendomeine dieselfde proksiekwota verbruik, en reken dan ook ander krapers in wat dieselfde rekening deel.
As elke bestemming een proksi-rekening gebruik, kan daardie rekening se toelating vir gelyktydige versoeke oor al daardie bestemmings verbruik word. 'n Per-domein perk alleen druk nie daardie gedeelde begroting uit nie.
Vir 'n hipotetiese rekening wat hoogstens 20 gelyktydige versoeke toelaat, hou 'n bietjie ruimte oop en stel die kraper se globale aflaaierperk:
CONCURRENT_REQUESTS = 16Dit is 'n illustratiewe toewysing, nie 'n aanbevole waarde vir elke verskaffer nie. Scrapy definieer CONCURRENT_REQUESTS as die aflaaier se maksimum aantal gelyktydige versoeke. Per-domein beheer kan gelyktydigheid verder verlaag; dit vervang nie die globale plafon nie.
Sluit ander krapers by die berekening in. Twee onafhanklike krapers wat elk 16 versoeke mag stuur, kan saam 'n gedeelde toelating van 20 oorskry. Verdeel die begroting doelbewus of dwing 'n gedeelde perk af waar daardie kliënte bymekaarkom.
Stel ook vas wat die verskaffer tel. HTTP-versoeke, oop TCP-verbindings, aktiewe tonnels en versoeke per sekonde is verskillende hoeveelhede. Volgehoue verbindings en multipleksing kan hul tellings laat verskil. 'n Instelling vir versoek-gelyktydigheid is dus nie 'n volledige verbindings- of tempo-perk nie.
Hou tempo vir die teikenterrein as 'n aparte beperking. Laer gelyktydigheid of 'n aflaai-vertraging kan steeds gepas wees vir 'n individuele bestemming, selfs wanneer die proksi-rekening ongebruikte kapasiteit het.