Scrapy AutoThrottle trí sheachfhreastalaí: sliotáin agus moill

De réir réamhshocraithe, sannann Scrapy sliotáin íoslódála ó fhearann URL an iarratais. Ní athraíonn sé sin URL go hainm óstaigh an tseachfhreastalaí nuair a thugtar seachfhreastalaí HTTP d'iarratas. Mar sin féin, is féidir le hiarratais chuig suíomhanna éagsúla sliotáin éagsúla a choinneáil agus iad ag roinnt idirghabhálaí amháin.

Déanann AutoThrottle moill gach sliotáin a choigeartú de réir na moille íoslódála a breathnaíodh. Tá an teorainn chaighdeánach comhroinneach in aghaidh an fhearainn agus an mhoill íoslódála íosta fós i bhfeidhm.

Seiceáil an ghrúpáil sula n-athraíonn tú an t-algartam

Is féidir le middleware saincheaptha request.meta["download_slot"] a shannadh, rud a sháraíonn an gnáthroghnú sliotáin. Úsáideann roinnt síneadh seachfhreastalaí a ngrúpáil féin. Scrúdaigh na socruithe sin má fheictear le suíomhanna neamhghaolmhara rialtóir amháin a roinnt.

Os a choinne sin, má shanntar sliotán éagsúil do gach seachfhreastalaí, féadfaidh roinnt seachfhreastalaí teagmháil a dhéanamh leis an sprioc chéanna ag an am céanna. Féadfaidh sé sin teorainn ar fud an tsuímh a shárú a bhí le meas ag an gcróiléir. Roghnaigh eochair an tsliotáin de réir na hacmhainne atá á cosaint.

Cuimsíonn an mhoill an bealach a d'úsáid tú

Tomhaiseann Scrapy moill ó sheoladh an iarratais go dtí na ceanntáisc HTTP a fháil. Féadfaidh iarratas a iompraítear trí sheachfhreastalaí moill scuaine agus seolta an idirghabhálaí a áireamh sa bhreathnú sin. Ní fhaigheann AutoThrottle am próiseála ar leith don bhunfhoinse amháin.

Ní féidir le comhroinnt mhéadaithe an tomhas sin a dhéanamh ar an suíomh a leithlisiú. Coinnigh béasachta sprice agus acmhainn an tseachfhreastalaí mar theorainneacha ar leith nuair a bhíonn an dá rud tábhachtach. B'fhéidir go mbeadh buiséad comhroinnte breise trasna sliotán na spriocanna de dhíth ar sheachfhreastalaí roinnte, agus coinníonn gach sprioc a pholasaí ráta féin.