Konkurrenca e ndërmjetësit Scrapy në disa domene
Përdorni kufirin global të konkurrencës së shkarkuesit kur disa domene objektiv konsumojnë të njëjtën kuotë ndërmjetësi, pastaj merrni parasysh edhe crawler-ët e tjerë që ndajnë atë llogari.
Nëse çdo destinacion përdor një llogari të vetme ndërmjetësi, kuota e kërkesave të njëkohshme të asaj llogarie mund të konsumohet në të gjitha ato destinacione. Një kufi vetëm për domen nuk e shpreh atë buxhet të përbashkët.
Për një llogari hipotetike që lejon maksimumi 20 kërkesa të njëkohshme, lini pak hapësirë dhe vendosni kufirin global të shkarkuesit të crawler-it:
CONCURRENT_REQUESTS = 16Ky është një shpërndarje ilustruese, jo një vlerë e rekomanduar për çdo ofrues. Scrapy e përkufizon CONCURRENT_REQUESTS si numrin maksimal të kërkesave të njëkohshme të shkarkuesit. Kontrollet për domen mund të ulin më tej konkurrencën; ato nuk zëvendësojnë tavanin global.
Përfshini crawler-ët e tjerë në llogaritje. Dy crawler-ë të pavarur, secili me 16 kërkesa të lejuara, mund të kalojnë së bashku një kuotë të përbashkët prej 20. Ndani buxhetin me qëllim ose vendosni një kufi të përbashkët atje ku këta klientë takohen.
Përcaktoni gjithashtu çfarë numëron ofruesi. Kërkesat HTTP, lidhjet TCP të hapura, tunelet aktive dhe kërkesat për sekondë janë madhësi të ndryshme. Lidhjet e vazhdueshme dhe multipleksimi mund t'i bëjnë numërimet e tyre të ndryshme. Prandaj, një konfigurim i konkurrencës së kërkesave nuk është një kufizues i plotë i lidhjeve ose i normës.
Mbani ritmin e faqes objektiv si një kufizim të veçantë. Konkurrencë më e ulët ose një vonesë shkarkimi mund të mbeten të përshtatshme për një destinacion të vetëm edhe kur llogaria e ndërmjetësit ka kapacitet të papërdorur.