Ìbáṣepọ̀ àkókò proxy Scrapy káàkiri àwọn ẹ̀kúnrẹ́rẹ́ púpọ̀

Bí gbogbo ibi tí ó ń lọ bá ń lo àkọsílẹ̀ proxy kan, ààlà ìbéèrè àkókò kan náà lè tán káàkiri gbogbo àwọn ibi náà. Ààlà ẹ̀kúnrẹ́rẹ́ kan ṣoṣo kò fi ìsúná àpapọ̀ yẹn hàn.

Fún àkọsílẹ̀ àròsọ tí ó gba kí ó jẹ́ 20 ìbéèrè àkókò kan ní púpọ̀ jù, fi ààyè díẹ̀ sílẹ̀ kí o sì ṣètò ààlà olùgbàlọ́ sílẹ̀ àgbáyé ti crawler:

CONCURRENT_REQUESTS = 16

Èyí jẹ́ pínpín àpẹẹrẹ, kì í ṣe iye tí a gbà ní ìmọ̀ràn fún gbogbo olùpèsè. Scrapy ń ṣàlàyé CONCURRENT_REQUESTS gẹ́gẹ́ bí iye ìbéèrè àkókò kan tí ó pọ̀ jù ti olùgbàlọ́ sílẹ̀. Àwọn ìṣàkóso ẹ̀kúnrẹ́rẹ́ lè dín ìbáṣepọ̀ àkókò kù sí i; wọn kò rọ́pò òrùlé àgbáyé.

Ka àwọn crawler mìíràn sínú ìṣirò. Àwọn crawler méjì tí ó dúró lórí ara wọn, tí a gbà 16 ìbéèrè fún ọ̀kọ̀ọ̀kan, lè papọ̀ kọjá ipín àpapọ̀ 20. Pín ìsúná náà pẹ̀lú ìmọ̀ọ́nú tàbí fi ààlà àpapọ̀ múlẹ̀ níbi tí àwọn oníbàárà yẹn ti pàdé.

Tún pinnu ohun tí olùpèsè ń kà. Àwọn ìbéèrè HTTP, àwọn ìsopọ̀ TCP tí ó ṣí, àwọn tunnel tí ń ṣiṣẹ́ àti àwọn ìbéèrè ní ìṣẹ́jú àáyá jẹ́ ìwọ̀n ọ̀tọ̀ọ̀tọ̀. Àwọn ìsopọ̀ tí ó dúró ṣinṣin àti ìpọ̀pọ̀ lè mú kí iye wọn yàtọ̀. Nítorí náà, ètò ìbáṣepọ̀ àkókò ìbéèrè kì í ṣe ààlà ìsopọ̀ tàbí ìyára tí ó pé.

Pa ìṣísẹ̀ ojú-òpó wébù àfojúsùn mọ́ gẹ́gẹ́ bí ìdínà ọ̀tọ̀. Ìbáṣepọ̀ àkókò tí ó kéré tàbí ìdádúró ìgbàlọ́ sílẹ̀ lè ṣì yẹ fún ibi àfojúsùn kan pàtó pẹ̀lú bí àkọsílẹ̀ proxy náà bá ní agbára tí a kò lò.