Wielt e Proxy fir all Splash-Ressource

Wielt e Splash-Proxy um Render-Niveau oder an engem on_request-Callback, wann eenzel Ressourcen ënnerschiddlech Route brauchen.

Eng Scrapy-Ufro kann de Splash erreechen, während de Browser am Splash nach eng aner ausgänglech Route braucht. Dat sinn zwou Verbindungen:

Scrapy → Splash API
Splash browser → forward proxy → website

Fir ee Proxy pro Render gitt Dir de proxy-Argument vun der HTTP-API weider. Splash 3.5 dokumentéiert eng Proxy-URL wéi http://proxy.example:8080, oder en ageriichte proxy-profile-Numm. D'URL-Format ënnerstëtzt och SOCKS5 an optional Umeldungsinformatiounen.

Wann eenzel Säit-Ressourcen ënnerschiddlech Endpunkte brauchen, benotzt en execute-Skript a registréiert d'Auswiel virun der Navigatioun:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Gitt default_proxy an special_proxy als Hostnimm weider, an special_resource als déi exakt Ressource-URL, déi separat gerout soll ginn. Ersetzt deen eenzegen Testport, wann déi zwou Lauschteren ënnerschiddlech sinn. Aner Ressourcen kréien déi Standardroute. D'HTTP-Proxy-Lëscht bitt Endpunkt-Kandidaten fir dës Host- a Port-Felder, wann ëffentlech Ressource-Routen erlaabt sinn an keng Proxy-Umeldungsinformatiounen op d'Kandidaten ugewannt ginn.

D'request-Method akzeptéiert optional Felder username a password. Mam Typ HTTP benotzen HTTPS-Ziler CONNECT iwwer deen HTTP-Proxy; si brauchen keen erfuerschten HTTPS-Proxy-Typ.

Den Callback leeft virun all Ufro. Seng request-Methode kënnen eng Ufro net änneren, nodeems se geschéckt gouf, an den Callback kann keng asynchron Splash-Methode wéi splash:go oder splash:wait opruffen.

Halt d'Route-Auswiel stabil, wann d'Säit eng eenzeg Sessioun oder Quell-Identitéit erwaart. All Bild an API-Ufro zoufälleg un en aneren Ausgang ze ginn, kann eng gerenderte Säit produzéieren, där hir Ufroe net méi zu enger kohärenter Sessioun gehéieren.

Ähnlech Artikelen