Scrapy AutoThrottle proksiserveri kaudu: slotid ja latentsus
Hoidke sihtsaidile mõeldud allalaadimisslotid proksiserveri marsruutidest eraldi ja tõlgendage latentsust vaadeldud päringu teekonnana.
Vaikimisi määrab Scrapy allalaadimisslotid päringu URL-i domeeni järgi. Päringule HTTP-proksiserveri andmine ei muuda seda URL-i proksiserveri hostinimeks. Seetõttu võivad erinevatele saitidele tehtavad päringud säilitada erinevad slotid, jagades samal ajal üht vahendajat.
AutoThrottle reguleerib iga sloti viivitust vaadeldud allalaadimislatentsuse järgi. Tavaline domeenipõhine samaaegsuse piirang ja minimaalne allalaadimisviivitus kehtivad endiselt.
Kontrollige rühmitamist enne algoritmi muutmist
Kohandatud vahetarkvara saab määrata request.meta["download_slot"], tühistades tavapärase sloti valiku. Mõned proksiserveri laiendused kasutavad oma rühmitamist. Kontrollige neid seadeid, kui näib, et omavahel seotud poleerivad saidid jagavad üht piirajat.
Vastupidiselt võib iga proksiserveri jaoks erineva sloti määramine lubada mitmel proksiserveril sama sihtmärki korraga ühendada. See võib nurjata saidiülest piirangut, mida roomaja pidi austama. Valige sloti võti kaitstava ressursi järgi.
Viivitus sisaldab teekonda, mida kasutasite
Scrapy mõõdab latentsust päringu saatmisest HTTP-päiste vastuvõtmiseni. Proksiserveri kaudu edastatud päring võib sellesse vaatlusse lisada vahendaja järjekorra- ja edastusviivituse. AutoThrottle ei saa eraldi ainult päritolu töötlemisaega.
Samaaegsuse suurendamine ei saa panna seda mõõtmist saiti isoleerima. Hoidke sihtmärgi viisakust ja proksiserveri võimsust eraldi piirangutena, kui mõlemad loevad. Jagatud proksiserver võib vajada täiendavat samaaegsuse eelarvet sihtslottide lõikes, samas kui iga sihtmärk hoiab oma kiiruspoliitikat.