Uwiano wa wakati wa proksi ya Scrapy katika vikoa vingi

Ikiwa kila marudio linatumia akaunti moja ya proksi, mgao wa maombi ya wakati mmoja wa akaunti hiyo unaweza kutumiwa kwenye marudio yote hayo. Kikomo cha kila kikoa peke yake hakionyeshi bajeti hiyo ya pamoja.

Kwa akaunti ya kubuni inayoruhusu maombi 20 ya wakati mmoja kwa kiwango cha juu, acha nafasi kidogo na uweke kikomo cha jumla cha kipakua cha crawler:

CONCURRENT_REQUESTS = 16

Huu ni mgawo wa mfano, si thamani inayopendekezwa kwa kila mtoa huduma. Scrapy inafafanua CONCURRENT_REQUESTS kama idadi ya juu ya maombi ya wakati mmoja ya kipakua. Udhibiti wa kila kikoa unaweza kupunguza zaidi uwiano wa wakati; hauondoi kikomo cha jumla.

Jumuisha crawler nyingine katika hesabu. Crawler mbili huru, kila moja ikiwa na maombi 16 yaliyoruhusiwa, zinaweza kwa pamoja kuzidi mgao wa pamoja wa 20. Gawa bajeti kwa makusudi au tekeleza kikomo cha pamoja mahali ambapo wateja hao wanakutana.

Tambua pia kile mtoa huduma anachohesabu. Maombi ya HTTP, miunganisho ya TCP iliyofunguliwa, vichuguu vinavyotumika na maombi kwa sekunde ni viwango tofauti. Miunganisho ya kudumu na uwingi zinaweza kufanya hesabu zao zitofautiane. Kwa hiyo mpangilio wa uwiano wa wakati wa maombi si kikomo kamili cha miunganisho au kasi.

Weka mwendo wa tovuti lengwa kama kizuizi tofauti. Uwiano mdogo wa wakati au ucheleweshaji wa kupakua unaweza bado kufaa kwa marudio moja hata wakati akaunti ya proksi ina uwezo usiotumika.