Scrapy AutoThrottle drwy brocsi: slotiau a hwyrni
Cadwch slotiau lawrlwytho'r safle targed ar wahân i lwybrau'r procsi a dehonglwch hwyrni fel llwybr y cais a welwyd.
Yn ddiofyn, mae Scrapy yn neilltuo slotiau lawrlwytho o barth URL y cais. Nid yw rhoi procsi HTTP i gais yn troi'r URL hwnnw'n enw gwesteiwr y procsi. Felly gall ceisiadau i safleoedd gwahanol gadw slotiau gwahanol tra'n rhannu un cyfryngwr.
Mae AutoThrottle yn addasu oedi pob slot gan ddefnyddio'r hwyrni lawrlwytho a welwyd. Mae'r terfyn cyfochredd safonol fesul parth a'r oedi lawrlwytho lleiaf yn dal i fod yn berthnasol.
Gwiriwch y grwpio cyn newid yr algorithm
Gall middleware addas neilltuo request.meta["download_slot"], gan ddiystyru'r dewis slot arferol. Mae rhai estyniadau procsi'n defnyddio eu grwpio eu hunain. Archwiliwch y gosodiadau hynny os yw safleoedd di-gysylltiad yn ymddangos fel pe baent yn rhannu un dylifiadur.
I'r gwrthwyneb, gall neilltuo slot gwahanol ar gyfer pob procsi ganiatáu i sawl procsi gysylltu â'r un targed ar yr un pryd. Gallai hynny ddyfetha terfyn ar draws y safle y dylai'r cropiwr fod wedi'i barchu. Dewiswch allwedd y slot yn ôl yr adnodd sy'n cael ei warchod.
Mae'r oedi'n cynnwys y llwybr a ddefnyddiwyd gennych
Mae Scrapy yn mesur hwyrni o anfon y cais hyd at dderbyn penawdau HTTP. Gall cais a gludir drwy brocsi gynnwys oedi ciwio ac anfon y cyfryngwr yn y sylw hwnnw. Nid yw AutoThrottle yn cael amser prosesu ar wahân ar gyfer y tarddiad yn unig.
Ni all cynyddu cyfochredd wneud i'r mesuriad hwnnw ynysu'r wefan. Cadwch gwrteisi'r targed a chapasiti'r procsi fel terfynau ar wahân pan fo'r ddau'n bwysig. Efallai y bydd angen cylldeb cyfochredd ychwanegol ar draws slotiau'r targedau ar brocsi a rennir, tra bod pob targed yn cadw ei bolisi cyflymder ei hun.