Daidaiton lokaci na proxy na Scrapy a yankuna da yawa

Idan kowace manufa tana amfani da asusun proxy ɗaya, izinin buƙatun lokaci ɗaya na wannan asusun na iya ƙarewa a dukan waɗannan manufofin. Iyaka ta kowane yanki ita kaɗai ba ta bayyana wannan kasafin da aka raba ba.

Don asusun hasashe da ke ba da izinin buƙatu 20 na lokaci ɗaya a mafi yawa, ka bar ɗan wuri sannan ka saita babban iyakar mai saukewa na crawler:

CONCURRENT_REQUESTS = 16

Wannan rabo ne na misali, ba ƙimar da ake ba da shawara ga kowane mai bayarwa ba. Scrapy yana bayyana CONCURRENT_REQUESTS a matsayin mafi girman adadin buƙatun lokaci ɗaya na mai saukewa. Sarrafa ta kowane yanki na iya ƙara rage daidaiton lokaci; amma ba sa maye gurbin babban rufin.

Ka haɗa sauran crawlers cikin lissafi. Crawlers biyu masu zaman kansu, kowanne da izinin buƙatu 16, na iya tare wucewa kan izinin da aka raba na 20. Ka raba kasafin da gangan ko ka aiwatar da iyaka ta gama gari inda waɗannan abokan ciniki suka haɗu.

Ka kuma tabbatar da abin da mai bayarwa yake ƙirgawa. Buƙatun HTTP, haɗin TCP da aka buɗe, ramukan da ke aiki da buƙatu a cikin daƙiƙa abubuwa ne daban-daban. Haɗin da ke dawwama da ninkawa na iya sa ƙididdigansu su bambanta. Don haka saitin daidaiton buƙatu ba cikakken iyakacin haɗi ko sauri ba ne.

Ka riƙe saurin shafin manufa a matsayin wani takunkumi daban. Ƙaramin daidaito ko jinkirin saukewa na iya kasancewa da dacewa ga wata manufa ɗaya ko da asusun proxy yana da ƙarfin da ba a yi amfani da shi ba.