Agħżel proxy għal kull riżors Splash

Agħżel proxy Splash fil-livell tar-rendering jew f'callback on_request meta riżorsi individwali jeħtieġu rotot differenti.

Talba Scrapy tista' tasal għand Splash, filwaqt li l-browser ġewwa Splash xorta waħda jeħtieġ rotta tal-ħruġ differenti. Dawn huma żewġ konnessjonijiet:

Scrapy → Splash API
Splash browser → forward proxy → website

Għal proxy wieħed għal kull rendering, għaddi l-argument proxy tal-HTTP API. Splash 3.5 jiddokumenta URL tal-proxy bħal http://proxy.example:8080, jew isem ta' profil tal-proxy ikkonfigurat. Il-format tal-URL tiegħu jappoġġja wkoll SOCKS5 u kredenzjali fakultattivi.

Meta riżorsi individwali tal-paġna jeħtieġu punti tat-tmiem differenti, uża skript execute u rreġistra l-għażla qabel in-navigazzjoni:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Għaddi default_proxy u special_proxy bħala ismijiet tal-host, u special_resource bħala l-URL eżatt tar-riżors li għandu jiġi dirett separatament. Ibdel il-port wieħed tal-eżempju meta ż-żewġ listeners ikunu differenti. Riżorsi oħra jirċievu r-rotta awtomatika. Il-lista tal-proxies HTTP tipprovdi kandidati għall-punti tat-tmiem għal dawn l-oqsma tal-host u tal-port meta rotot lejn riżorsi pubbliċi huma permessi u l-ebda kredenzjali tal-proxy ma jiġu applikati għall-kandidati.

Il-metodu request jaċċetta l-oqsma fakultattivi username u password. Bit-tip HTTP, id-destinazzjonijiet HTTPS jużaw CONNECT permezz ta' dak il-proxy HTTP; ma jeħtiġux tip ta' proxy HTTPS ivvintat.

Il-callback jaħdem qabel kull talba. Il-metodi request tiegħu ma jistgħux ibiddlu talba wara li tintbagħat, u l-callback ma jistax isejjaħ metodi Splash asinkroniċi bħal splash:go jew splash:wait.

Żomm l-għażla tar-rotta stabbli meta l-paġna tistenna sessjoni waħda jew identità tas-sors waħda. L-assenjazzjoni każwali ta' kull immaġini u talba API lil ħruġ ieħor tista' tipproduċi paġna rrenderjata li t-talbiet tagħha m'għadhomx jappartjenu għal sessjoni koerenti waħda.

Artikli relatati