Cydamseredd procsi Scrapy ar draws nifer o barthau
Defnyddiwch gap byd-eang y lawrlwythydd pan fo sawl parth targed yn defnyddio'r un cwota procsi, yna cyfrifwch y cropianwyr eraill sy'n rhannu'r cyfrif hwnnw.
Os yw pob cyrchfan yn defnyddio un cyfrif procsi, gall lwfans ceisiadau cydamserol y cyfrif hwnnw gael ei ddefnyddio ar draws y cyrchfannau hynny i gyd. Nid yw cap fesul parth ar ei ben ei hun yn mynegi'r gyllideb a rennir honno.
Ar gyfer cyfrif damcaniaethol sy'n caniatáu dim mwy na 20 o geisiadau cydamserol, gadewch ychydig o le a gosodwch gap byd-eang y lawrlwythydd ar y cropiwr:
CONCURRENT_REQUESTS = 16Dyma ddyraniad darluniadol, nid gwerth a argymhellir ar gyfer pob darparwr. Mae Scrapy yn diffinio CONCURRENT_REQUESTS fel uchafswm ceisiadau cydamserol y lawrlwythydd. Gall rheolaethau fesul parth leihau cydamseredd ymhellach; nid ydynt yn disodli'r nenf byd-eang.
Cynhwyswch y cropianwyr eraill yn y cyfrif. Gall dau cropiwr annibynnol, y caniateir 16 o geisiadau i bob un, fod gyda'i gilydd yn rhagori ar lwfans a rennir o 20. Rhannwch y gyllideb yn fwriadol neu gorfodwch gap a rennir lle mae'r cleientiaid hynny'n cyfarfod.
Sefydlwch hefyd beth mae'r darparwr yn ei gyfrif. Mae ceisiadau HTTP, cysylltiadau TCP agored, twneli gweithredol a cheisiadau yr eiliad yn feintiau gwahanol. Gall cysylltiadau parhaus a lluosogi wneud eu cyfrifon yn wahanol. Felly nid yw gosodiad cydamseredd ceisiadau yn gyfyngydd cysylltiadau na chyfradd cyflawn.
Cadwch guriad y safle targed fel cyfyngiad ar wahân. Gall cydamseredd is neu oedi lawrlwytho fod yn briodol o hyd ar gyfer cyrchfan unigol hyd yn oed pan fo gan y cyfrif procsi gapasiti nas defnyddiwyd.