Scrapy AutoThrottle nípasẹ̀ proxy: àwọn ààyè àti ìdádúró
Ya àwọn ààyè ìgbàsílẹ̀ ti ojú-ìwé àfojúsùn sọ́tọ̀ kúrò nínú àwọn ọ̀nà proxy, kí o sì túmọ̀ ìdádúró gẹ́gẹ́ bí ọ̀nà ìbéèrè tí a ṣàyẹ̀wò.
Ní àìpẹ́, Scrapy ń pín àwọn ààyè ìgbàsílẹ̀ láti orúkọ-ìkànnì URL ìbéèrè. Fífún ìbéèrè ní proxy HTTP kò yí URL yẹn padà sí orúkọ agbàlejò proxy. Nítorí náà àwọn ìbéèrè sí ojú-ìwé ọ̀tọ̀ọ̀tọ̀ lè ní àwọn ààyè ọ̀tọ̀ọ̀tọ̀ nígbà tí wọ́n ń pín alárinà kan.
AutoThrottle ń ṣàtúnṣe ìdádúró ààyè kọ̀ọ̀kan nípa lílo ìdádúró ìgbàsílẹ̀ tí a ṣàyẹ̀wò. Ààlà ìṣọ̀kan-ìgbà fún ìkànnì kọ̀ọ̀kan àti ìdádúró ìgbàsílẹ̀ tí ó kéré jùlọ ṣì wà lẹ́ẹ̀lẹ̀.
Ṣàyẹ̀wò ìṣèlúpọ̀ kí o tó yí algọ́rídìmù padà
Middleware àkànṣe lè pín request.meta["download_slot"], èyí tí ó ń borí yíyan ààyè déédéé. Àwọn àfikún proxy kan ń lo ìṣèlúpọ̀ tiwọn. Ṣàyẹ̀wò àwọn ètò yẹn bí àwọn ojú-ìwé tí kò ní ìsopọ̀ bá dàbí ẹni tí wọ́n ń pín olùdínà kan.
Ní ìdàkejì, pípín ààyè ọ̀tọ̀ọ̀tọ̀ fún proxy kọ̀ọ̀kan lè jẹ́ kí ọ̀pọ̀ proxy kó ìsopọ̀ pẹ̀lú àfojúsùn kan ní àkókò kan. Èyí lè ba ààlà jákèjádò ojú-ìwé jẹ́ èyí tí ẹrọ-ìwádìí yẹ kí ó bọ̀wọ̀ fún. Yan kọ́kọ́rọ́ ààyè ní ìbámu pẹ̀lú ohun àmúṣe tí a ń dáàbò bò.
Ìdádúró ní ọ̀nà tí o lò nínú
Scrapy ń dí ìdádúró láti ìgbà tí a fi ìbéèrè ránṣẹ́ títí di ìgbà tí a gba àwọn àkọsílẹ̀ HTTP. Ìbéèrè tí a gbé kọjá proxy lè ní ìdádúró ìtòlẹ́sẹẹsẹ àti ìfiránṣẹ́ alárinà nínú ìṣàyẹ̀wò yẹn. AutoThrottle kò rí àkókò ìṣiṣẹ́ ọ̀tọ̀ọ̀tọ̀ fún orísun nìkan.
Mímú ìṣọ̀kan-ìgbà pọ̀ sí i kò lè mú kí ìwọ̀n yẹn ya ojú-ìwé sọ́tọ̀. Jẹ́ kí ìwà rere sí àfojúsùn àti agbára proxy wà gẹ́gẹ́ bí ààlà ọ̀tọ̀ọ̀tọ̀ nígbà tí àwọn méjèèjì bá ṣe pàtàkì. Proxy tí a pín lè nílò ìsúná ìṣọ̀kan-ìgbà àfikún káàkiri àwọn ààyè àfojúsùn, nígbà tí àfojúsùn kọ̀ọ̀kan ń pa ìlànà ìwọ̀n rẹ̀ mọ́.