Vzporednost proxyja Scrapy v več domenah
Uporabite globalno omejitev vzporednosti prenašalnika, ko več ciljnih domen porablja isto kvoto proxyja, nato upoštevajte še druge pajke, ki si delijo isti račun.
Če vsaka destinacija uporablja en sam proxy račun, se lahko dovoljenje za hkratne zahteve tega računa porabi po vseh teh destinacijah. Samo omejitev na domeno tega skupnega proračuna ne izraža.
Za hipotetični račun, ki dovoljuje največ 20 hkratnih zahtev, pustite nekaj rezerve in nastavite globalno omejitev prenašalnika pajka:
CONCURRENT_REQUESTS = 16To je ponazoritvena razporeditev, ne priporočena vrednost za vsakega ponudnika. Scrapy definira CONCURRENT_REQUESTS kot največje število hkratnih zahtev prenašalnika. Nadzor po domenah lahko vzporednost še zmanjša; ne nadomesti globalne zgornje omejitve.
V izračun vključite tudi druge pajke. Dva neodvisna pajka s po 16 dovoljenimi zahtevami lahko skupaj presežeta skupno dovoljenje 20. Proračun namerno razdelite ali vzpostavite skupno omejitev tam, kjer se ti odjemalci srečajo.
Ugotovite tudi, kaj ponudnik šteje. Zahteve HTTP, odprte povezave TCP, dejavni tuneli in zahteve na sekundo so različne količine. Trajne povezave in multipleksiranje lahko njihove števce razlikuje. Nastavitev vzporednosti zahtev zato ni popolna omejitev povezav ali hitrosti.
Ohranite tempo ciljnega mesta kot ločeno omejitev. Manjša vzporednost ali zamik prenosa je lahko še vedno primeren za posamezno destinacijo, tudi ko ima proxy račun neizkoriščeno zmogljivost.