Proxy pool-aren bilaketa blokeatzaile batek Scrapy geldiarazi dezake
Eduki proxy pool-aren API dei sinkronoa Scrapyren gertaera-begiztaren bidetik kanpo, eta eman endpoint aurkikuntzari bere hutsegite-politika.
Crawlerrak nahikoa eskari konkurrente ditu konfiguratuta. Hala ere, proxy poolari beste helbide bat eskatzen dion bakoitzean gelditzen da. Proxy gehiago gehitzeak ez dio geldialdi horri ukitzen.
Middleware eredu ohiko batek requests.get(pool_url) deitzen du process_request() barruan. Sare-eragiketa sinkronoa da, Scrapyren motor asinkronoarekin elkarlanean aritu beharko lukeen bide batean. Deia itxaroten ari den bitartean, gertaera-begiztaren hari berean erlazionatuta ez dagoen lana atxiki dezake.
Bi eskari daude lanean
Eskarietako batek endpoint bat lortzen du pool zerbitzutik. Besteak endpoint hori erabiltzen du helmugarekin harremanetan jartzeko. Neurtu eta eman horien berri bereizita. Pool API motel batek aukeratutako proxy bakoitza motel itxura izanaraz diezaioke aplikazioa harekin konektatu aurretik ere.
Erabili instalatutako Scrapy bertsioak onartzen duen aurkikuntza asinkronoko integrazioa, edo lortu eta freskatu endpoint multzo lokal mugatu bat eskari bakoitzaren bide kritikotik kanpo. Lan blokeatzailea kanpora bideratu behar bada, eman exekutore horri bere mugak eta denbora-muga kudeaketa; ilara mugagabeak atzerapena lekuz aldatzen du soilik.
Ez egin automatikoki beste aurkikuntza-dei bat eskari bakoitzeko. Bizitza laburreko cache batek edo alokatutako sorta batek pool zerbitzuarekiko menpekotasuna gutxitu dezake, baldin eta bere biziraupena zerbitzuaren benetako endpoint politikarekin bat badator.
Zehaztu zer esan nahi duen bilaketak huts egiteak
Pool erantzun huts edo huts egindako batek ez luke isil-isilik proxy metadatuak kendu eta eskari zuzena baimendu behar. Aukeratu emaitza esplizitu bat: zereginaren aurrekontuaren barruan itxaron, huts egin, edo onartutako cachean dagoen endpoint bat erabili.
Eduki pool APIaren ibilbidea ere garbi. Barne-zerbitzua bada, bere hostname pribatua hautatzen laguntzen duen proxy beretik bidaltzeak menpekotasun zirkularra sor dezake.
Aurkikuntzak erlazionatuta ez dagoen lana blokeatu gabe funtzionatzen duenean, aztertu proxy transakzio arrunta. Konponketa bereiziak dira, eta haien denborak erregistroan eremu bereiziak merezi ditu.