Isku-dhaca proxy-ga Scrapy ee dhowr domains
Isticmaal xaddidaadda isku-dhaca guud ee soo-dejiyaha marka dhowr domains oo bartilmaameed ah ay isticmaalaan isla qoondada proxy, ka dibna xisaabi crawler-rada kale ee wadaaga akoonkaas.
Haddii meel kasta ay isticmaasho hal akoon proxy, qoondada codsiyada isku mar ah ee akoonkaas ayaa laga yaabaa in lagu isticmaalo dhammaan meelahaas. Xaddidnaanta domain keliya ma muujiso miisaaniyaddaas la wadaago.
Akoon mala-awaal ah oo u oggolaanaya ugu badnaan 20 codsi isku mar ah, ka tag meel bannaan oo dhig xaddidaadda guud ee soo-dejiyaha crawler-ka:
CONCURRENT_REQUESTS = 16Tani waa qaybin tusaale ah, ma aha qiime lagu taliyay bixiye kasta. Scrapy waxay CONCURRENT_REQUESTS ku qeexdaa tirada ugu badan ee codsiyada isku mar ah ee soo-dejiyaha. Kontaroolada domain kastaa waxay sii yareyn karaan isku-dhaca; ma beddelaan saqafka guud.
Ku dar crawler-rada kale xisaabta. Laba crawler oo madax bannaan oo mid kastaa loo oggolaaday 16 codsi waxay wadajir uga gudbi karaan qoondo la wadaago oo 20 ah. Si ula kac ah u qaybi miisaaniyadda ama ku xooji xad wadaag ah meesha macaamiishaas ay ku kulmaan.
Kaloo go'aanso waxa bixiyuhu tirinayo. Codsiga HTTP, xiriirada TCP ee furan, tunnel-yada firfircoon iyo codsiyada ilbiriqsikii waa tirooyin kala duwan. Xiriirada joogtada ah iyo isku-dhufashada waxay kala duwanaan karaan tirooyinkooda. Sidaas darteed dejinta isku-dhaca codsiga ma aha xaddidaad buuxda oo xiriirada ama heerka.
Hayso xawaaraha goobta bartilmaameedka sida xaddidaad gaar ah. Isku-dhac yar ama daahitaan soo-dejin ayaa laga yaabaa inay ku habboonaadaan hal meel oo gaar ah xitaa marka akoonka proxy uu leeyahay awood aan la isticmaalin.