Scrapy AutoThrottle ta hanyar proxy: rukuni da jinkiri
Ka ware rukunin saukar da shafin da ake niyya daga hanyoyin proxy, kuma ka fassara jinkiri a matsayin hanyar buƙatar da aka gani.
A bisa ka'ida, Scrapy na ba da rukunin saukewa daga yankin URL na buƙata. Ba da proxy na HTTP ga buƙata ba ya mayar da wannan URL zuwa sunan mai masaukin proxy. Don haka buƙatun zuwa shafuka daban-daban na iya riƙe rukuni daban-daban yayin da suke raba matsakanci ɗaya.
AutoThrottle na daidaita jinkirin kowane rukuni ta amfani da jinkirin saukewa da aka gani. Ƙayyadadden haɗin kai na kowane yanki da mafi ƙarancin jinkirin saukewa har yanzu suna aiki.
Duba rukuni kafin ka canza algorithm ɗin
Middleware na musamman na iya ba da request.meta["download_slot"], wanda ke wuce zaɓin rukuni na yau da kullum. Wasu ƙarin kayan proxy suna amfani da rukuninsu. Duba waɗannan saitin idan shafukan da ba su da alaƙa suna kamar suna raba mai iyakancewa ɗaya.
Sabanin haka, ba da rukuni daban ga kowane proxy na iya barin proxy da yawa su tuntuɓi manufa ɗaya a lokaci ɗaya. Hakan na iya karya iyaka na dukan shafin da ya kamata crawler ya mutunta. Zaɓi maɓallin rukuni bisa ga albarkatun da ake karewa.
Jinkirin ya haɗa da hanyar da ka yi amfani da ita
Scrapy na auna jinkiri daga aika buƙata zuwa karɓar kanun HTTP. Buƙatar da aka ɗauka ta proxy na iya haɗa jinkirin jerin gwano da tura na matsakanci a cikin wannan kallo. AutoThrottle ba ya samun lokacin sarrafawa daban don asalin kawai.
Ƙara haɗin kai ba zai iya sa wannan ma'aunin ya ware shafin ba. Ka riƙe ladabi ga manufa da ƙarfin proxy a matsayin iyakoki daban lokacin da duka biyu suka yi muhimmanci. Proxy da aka raba na iya buƙatar ƙarin kasafin haɗin kai a rukunin manufofi, yayin da kowace manufa ke riƙe da manufofinta na sauri.