Scrapy AutoThrottle përmes një proxy: slot-et dhe vonesa
Mbajni slot-et e shkarkimit të faqes objektiv të ndara nga rrugët e proxy-it dhe interpretoni vonesën si rruga e kërkesës së vëzhguar.
Si parazgjedhje, Scrapy cakton slot-et e shkarkimit sipas domenit të URL-së së kërkesës. Dhënia e një proxy HTTP një kërkese nuk e kthen atë URL në emrin e hostit të proxy-it. Prandaj, kërkesat drejt faqeve të ndryshme mund të mbajnë slot-e të ndryshme ndërsa ndajnë një ndërmjetës të vetëm.
AutoThrottle rregullon vonesën e çdo slot-i duke përdorur vonesën e shkarkimit të vëzhguar. Kufiri standard i konkurrencës për domen dhe vonesa minimale e shkarkimit vazhdojnë të zbatohen.
Kontrolloni grupimin përpara se të ndryshoni algoritmin
Një middleware i personalizuar mund të caktojë request.meta["download_slot"], duke anashkaluar zgjedhjen normale të slot-it. Disa shtesa proxy përdorin grupimin e tyre. Shqyrtoni ato cilësime nëse faqe të palidhura duket se ndajnë një kufizues të vetëm.
Në të kundërt, caktimi i një slot-i të ndryshëm për çdo proxy mund të lejojë disa proxy të kontaktojnë të njëjtin objektiv njëkohësisht. Kjo mund të dëmtojë një kufi në nivel faqeje që zvarritësi duhej të respektonte. Zgjidhni çelësin e slot-it sipas burimit që mbrohet.
Vonesa përfshin rrugën që keni përdorur
Scrapy mat vonesën nga dërgimi i kërkesës deri në marrjen e kokave HTTP. Një kërkesë e transportuar përmes një proxy mund të përfshijë në atë vëzhgim vonesën e radhës dhe të përcjelljes së ndërmjetësit. AutoThrottle nuk merr një kohë përpunimi të veçantë vetëm për origjinën.
Rritja e konkurrencës nuk mund ta bëjë atë matje të izolojë faqen. Mbani mirësjelljen ndaj objektivit dhe kapacitetin e proxy-it si kufij të veçantë kur të dyja kanë rëndësi. Një proxy i përbashkët mund të ketë nevojë për buxhet shtesë konkurrence nëpër slot-et e objektivave, ndërsa çdo objektiv mban politikën e vet të ritmit.