Pyyntökohtaiset välityspalvelimet Scrapyn HTTP-välityspalvelinohjelmiston kanssa

Scrapyn HTTP-välityspalvelinohjelmisto lukee välityspalvelimen pyynnön metatiedoista:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Korvaa dokumentaation päätepiste ja pidä ohjelmisto käytössä. HTTP-välityspalvelinluettelo tarjoaa julkisia ehdokkaita tämän pyynnön URL-osoitteelle. Tämä valitsee pyynnön reitin; välityspalvelinpooli tarvitsee erillisen valintalogiikan.

Todennus seuraa valittua päätepistettä

Sisäänrakennettu ohjelmisto käsittelee tunnukset, jotka toimitetaan sen tuetun välityspalvelin-URL:n ja siihen liittyvän valtuutusotsakkeen kautta. Paeta URL-osoitteen varatut merkit ja vältä kyseisen URL:n lokiin kirjaamista.

Erillisen ohjelmiston ei pitäisi säilyttää Basic-otsaketta edelliselle välityspalvelimelle päätepisteen vaihduttua. Anna yhden kerroksen hallita reittiä ja sen tunnuksia yhdessä.

Valintajärjestys ja oletukset

Jos mukautettu latausohjelmisto valitsee välityspalvelimen, suorita se ennen kuin sisäänrakennettu välityspalvelinohjelmisto käsittelee pyynnön. Tarkista asennetun version järjestys ja API; vanhentuneet scrapy.contrib-tuonnit kuuluvat vanhempiin versioihin.

Prosessin ympäristö voi myös tarjota skeemakohtaisia oletuksia. Tarkoituksellisen suoraa pyyntöä varten käytä dokumentoitua proxy-metatietojen erityiskäyttäytymistä: puuttuva avain ei välttämättä tarkoita suoraa pääsyä.

Tarkastele todellista tulosta. 407 liittyy välityspalvelimen todennukseen, kun taas verkkosivuston nopeusrajoitus tai pääsyn epääminen voi tulla sen jälkeen, kun reitti toimi oikein.