Eskaera bakoitzeko proxyak Scrapyren HTTP proxy middleware-rekin
Erabili Scrapy eskaeren metadatuak eta haren proxy middleware-a autentifikazio middleware pertsonalizatu zaharra crawler batean kopiatu aurretik.
Scrapyren HTTP proxy middleware-ak eskaeraren metadatuetatik irakurtzen du proxy bat:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Ordeztu dokumentazioko endpoint-a eta mantendu middleware-a gaituta. HTTP proxy zerrendak eskaera URL honetarako hautagai publikoak eskaintzen ditu. Honek eskaeraren ibilbidea hautatzen du; proxy pool batek hautaketa logika bereizia behar du.
Autentifikazioak hautatutako endpoint-a jarraitzen du
Middleware integratuak bere proxy URL onartuan eta lotutako autorizazio goiburuan emandako kredentzialak kudeatzen ditu. Eskapeatu URL karaktere erreserbatuak eta saihestu URL hori erregistratzea.
Middleware bereizi batek ez luke Basic goiburu bat mantendu behar aurreko proxyarentzat endpoint-a aldatu ondoren. Utzi geruza bakar batek ibilbidea eta haren kredentzialak elkarrekin kudeatzen.
Hautaketa ordena eta lehenetsiak
Deskarga middleware pertsonalizatu batek proxy-a hautatzen badu, exekutatu middleware proxy integratuak eskaera prozesatu aurretik. Egiaztatu instalatutako bertsioaren ordena eta APIa; zaharkitutako scrapy.contrib inportazioak bertsio zaharrei dagozkie.
Prozesuaren inguruneak eskema espezifikoak diren lehenetsiak ere eman ditzake. Nahita zuzena den eskaera batentzat, erabili proxy metadatuen dokumentatutako portaera berezia: gako bat ez egoteak ez du zertan sarbide zuzena esan nahi.
Egiaztatu benetako emaitza. 407 bat proxy autentifikazioari buruzkoa da, eta webgune baten tasa muga edo sarbide ukapena ibilbidea behar bezala funtzionatu ondoren irits daiteke.