Scrapy AutoThrottle gegnum proxy: raðir og seinkun
Haltu niðurhalsröðum markvæfsins aðskildum frá proxy-slóðum og túlkaðu seinkun sem þá beiðnisleið sem sést.
Sjálfgefið úthlutar Scrapy niðurhalsröðum út frá léni beiðni-URLsins. Að gefa beiðni HTTP-proxy breytir því ekki URL-inu í hýsilnafn proxysins. Beiðnir til ólíkra vefsvæða geta því haldið ólíkum röðum á meðan þær deila einum millilið.
AutoThrottle stillir seinkun hverrar raðar út frá séðri niðurhalsseinkun. Venjuleg samhliða takmörk á hvert lén og lágmarks niðurhalsseinkun gilda áfram.
Athugaðu flokkunina áður en þú breytir reikniritinu
Sérsniðið millilag getur úthlutað request.meta["download_slot"] og hnekkir þá venjulegu vali á röð. Sumar proxy-viðbætur nota sína eigin flokkun. Skoðaðu þessar stillingar ef ótengd vefsvæði virðast deila einum takmarkara.
Hins vegar getur úthlutun annarrar raðar fyrir hvert proxy leyft mörgum proxum að hafa samband við sama mark á sama tíma. Það getur grafið undan takmörkun á vefsvæðisvísu sem skriðdrekinn átti að virða. Veldu raðarlykilinn í samræmi við auðlindina sem er vernduð.
Seinkunin felur í sér leiðina sem þú notaðir
Scrapy mælir seinkun frá sendingu beiðninnar þar til HTTP-hausar berast. Beiðni sem borin er gegnum proxy getur haft að geyma biðröð og framsendingarseinkun milliliðarins í þeirri athugun. AutoThrottle fær ekki sérstakan vinnslutíma eingöngu upprunans.
Aukin samhliða getur ekki látið þá mælingu einangra vefsvæðið. Haltu tillitsemi við markið og afkastagetu proxysins sem aðskildum takmörkunum þegar bæði skipta máli. Sameiginlegt proxy gæti þurft auka samhliða fjárhagsáætlun yfir markraðir, en hvert mark heldur sinni eigin hraðastefnu.