Prokuroj po peto kun la HTTP-prokura meztavolo de Scrapy
Uzu la petmetadatenojn de Scrapy kaj ĝian prokuran meztavolon antaŭ ol kopii malnovan propran aŭtentokontrolan meztavolon en rampilon.
La HTTP-prokura meztavolo de Scrapy legas prokuron el la petmetadatenoj:
yield scrapy.Request(
'https://example.com/',
callback=self.parse,
meta={'proxy': 'http://203.0.113.10:8080'},
)Anstataŭigu la dokumentan finpunkton kaj lasu la meztavolon ebligita. La listo de HTTP-prokuroj proponas publikajn kandidatojn por ĉi tiu petURL. Ĉi tio elektas la itineron de la peto; prokura provizo bezonas apartan elektan logikon.
Aŭtentokontrolo sekvas la elektitan finpunkton
La enkonstruita meztavolo traktas akreditaĵojn provizitajn per sia subtenata prokura URL kaj la rilata aŭtoriga kaplinio. Eskapu rezervitajn URL-signojn kaj evitu protokoli tiun URL.
Aparta meztavolo ne devus konservi Basic-kaplinion por la antaŭa prokuro post kiam la finpunkto ŝanĝiĝas. Lasu unu tavolon administri la itineron kaj ĝiajn akreditaĵojn kune.
Elekta ordo kaj defaŭltoj
Se propra elŝuta meztavolo elektas la prokuron, rulu ĝin antaŭ ol la enkonstruita prokura meztavolo prilaboras la peton. Kontrolu la ordon kaj API de la instalita eldono; malaktualaj importoj scrapy.contrib apartenas al pli malnovaj eldonoj.
La procesa medio ankaŭ povas provizi skemo-specifajn defaŭltojn. Por intence rekta peto uzu la dokumentitan specialan konduton de la metadatenoj proxy: forestanta ŝlosilo ne nepre signifas rektan aliron.
Ekzamenu la efektivan rezulton. 407 koncernas prokuran aŭtentokontrolon, dum rapida limo aŭ alirneado de retejo povas alveni post kiam la itinero funkciis ĝuste.