Aukeratu proxy bat Splash baliabide bakoitzeko

Aukeratu Splash proxy bat errendatze-eremuan edo on_request atzera deian baliabide bakoitzak ibilbide desberdinak behar dituenean.

Scrapy eskaera batek Splash-era iritsi daiteke, baina Splash barruko arakatzaileak oraindik irteera-ibilbide desberdin bat behar du. Hauek bi konexio dira:

Scrapy → Splash API
Splash browser → forward proxy → website

Errendatze bakoitzeko proxy bat erabiltzeko, pasa HTTP APIaren proxy argumentua. Splash 3.5ek proxy URL bat dokumentatzen du, adibidez http://proxy.example:8080, edo konfiguratutako proxy-profile izen bat. URL formatuak SOCKS5 eta aukerako kredentzialak ere onartzen ditu.

Orrialdeko baliabide bakoitzak amaiera-puntu desberdinak behar dituenean, erabili execute script bat eta erregistratu aukera nabigatu aurretik:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Pasa default_proxy eta special_proxy ostalari-izen gisa, eta special_resource bereiz bideratu beharreko baliabidearen URL zehatz gisa. Ordeztu adibideko portu bakarra bi entzuleak desberdinak direnean. Beste baliabideek ibilbide lehenetsia jasotzen dute. HTTP proxy zerrendak amaiera-puntu hautagaiak eskaintzen ditu ostalari eta portu eremu horietarako, baliabide publikoen ibilbideak onartzen direnean eta hautagaiei proxy kredentzialik aplikatzen ez zaienean.

request metodoak aukerako username eta password eremuak onartzen ditu. HTTP motarekin, HTTPS helmugak CONNECT erabiltzen dute HTTP proxy horren bidez; ez dute asmatutako HTTPS proxy motarik behar.

Atzera deia eskaera bakoitzaren aurretik exekutatzen da. Bere request metodoek ezin dute eskaera bat aldatu bidali ondoren, eta atzera deiak ezin ditu Splash metodo asinkronoak deitu, hala nola splash:go edo splash:wait.

Mantendu ibilbide-aukera egonkorra orrialdeak saio bakarra edo iturri-identitate bakarra espero duenean. Irudi eta API eskaera bakoitza ausaz beste irteera batera esleitzeak eskaerak jada saio koherente bati ez dagozkion errendatutako orrialdea sor dezake.

Erlazionatutako artikuluak