Tfittxija tal-pool tal-proxy li timblokka tista' twaqqaf Scrapy
Żomm sejħa API tal-pool tal-proxy sinkronika 'l barra mill-mogħdija tal-linja tal-avvenimenti ta' Scrapy u agħti lis-sejba tal-endpoints il-politika tal-falliment tagħha stess.
Il-crawler għandu biżżejjed talbiet konkorrenti kkonfigurati. Xorta waħda jieqaf kull darba li jitlob indirizz ieħor mill-pool tal-proxy. Iżżid iktar proxies ma jbiddel xejn f'dak il-waqfien.
Mudell komuni ta' middleware isejjaħ requests.get(pool_url) ġewwa process_request(). Din hija operazzjoni tan-netwerk sinkronika f'mogħdija li suppost tikkoopera mal-magna asinkronika ta' Scrapy. Waqt li s-sejħa qed tistenna, tista' żżomm xogħol mhux relatat fuq l-istess ħajt tal-linja tal-avvenimenti.
Hemm żewġ talbiet fix-xogħol
Talba waħda tikseb endpoint mis-servizz tal-pool. L-oħra tuża dak l-endpoint biex tikkuntattja d-destinazzjoni. Kejjel u rrapporta t-tnejn b'mod separat. API tal-pool bil-mod tista' tagħmel kull proxy magħżul jidher bil-mod qabel ma l-applikazzjoni tkun qabbdet miegħu.
Uża integrazzjoni tas-sejba asinkronika appoġġjata mill-verżjoni ta' Scrapy installata, jew ikseb u aġġorna sett lokali limitat ta' endpoints barra mill-mogħdija kritika ta' kull talba. Jekk ix-xogħol li jimblokka jrid jiġi mċaqlaq, agħti lil dak l-eżekutur il-limiti u l-immaniġġjar tat-timeouts tiegħu stess; kju illimitat biss iċaqlaq id-dewmien.
Toħroġx awtomatikament sejħa tas-sejba oħra għal kull talba. Cache ta' żmien qasir jew lott mikri jistgħu jnaqqsu d-dipendenza fuq is-servizz tal-pool, sakemm il-ħajja tiegħu taqbel mal-politika reali tal-endpoints tas-servizz.
Iddefinixxi xi jfisser tfittxija falluta
Risposta vojta jew falluta mill-pool m'għandhiex tneħħi l-metadata tal-proxy bil-kwiet u tippermetti talba diretta. Agħżel riżultat espliċitu: stenna fil-baġit tax-xogħol, iffalli, jew uża endpoint fil-cache approvat.
Żomm ukoll il-mogħdija tal-API tal-pool stess ħielsa. Jekk hija servizz intern, li tibgħat l-isem tal-host privat tagħha mill-istess proxy li tgħin biex tagħżilha tista' toħloq dipendenza ċirkolari.
Ladarba s-sejba taħdem mingħajr ma timblokka xogħol mhux relatat, eżamina t-transazzjoni normali tal-proxy. Dawk huma tiswijiet separati, u l-ħin tagħhom jistħoqqlu oqsma separati fil-log.