Roghnaigh seachfhreastalaí do gach acmhainn Splash

Roghnaigh seachfhreastalaí Splash ag leibhéal an rindreála nó i nglao ar ais on_request nuair a theastaíonn bealaí éagsúla ó acmhainní aonair.

Is féidir le hiarratas Scrapy Splash a shroicheadh, agus fós go bhfuil bealach amach eile de dhíth ar an mbrabhsálaí taobh istigh de Splash. Is dhá nasc iad seo:

Scrapy → Splash API
Splash browser → forward proxy → website

Le haghaidh seachfhreastalaí amháin in aghaidh an rindreála, cuir argóint proxy an HTTP API ar aghaidh. Déanann Splash 3.5 URL seachfhreastalaí a dhoiciméadú mar http://proxy.example:8080, nó ainm próifíle seachfhreastalaí cumraithe. Tacaíonn a fhormáid URL le SOCKS5 agus le dintiúir roghnacha freisin.

Nuair a theastaíonn críochphointí éagsúla ó acmhainní leathanaigh aonair, úsáid script execute agus cláraigh an rogha roimh nascleanúint:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Cuir default_proxy agus special_proxy ar aghaidh mar ainmneacha óstaigh, agus special_resource mar URL bheacht na hacmhainne atá le ródú ar leithligh. Cuir an port aonair san sampla ina ionad nuair a bhíonn an dá éisteoir difriúil. Faigheann acmhainní eile an bealach réamhshocraithe. Soláthraíonn an liosta seachfhreastalaithe HTTP iarrthóirí críochphointe do na réimsí óstaigh agus poirt seo nuair a cheadaítear bealaí chuig acmhainní poiblí agus nuair nach gcuirtear dintiúir seachfhreastalaí i bhfeidhm ar na hiarrthóirí.

Glacann an modh request le réimsí roghnacha username agus password. Leis an gcineál HTTP, úsáideann cinn scríbe HTTPS CONNECT tríd an seachfhreastalaí HTTP sin; ní theastaíonn cineál seachfhreastalaí HTTPS cumtha uathu.

Ritheann an glao ar ais roimh gach iarratas. Ní féidir lena mhodhanna request iarratas a athrú tar éis é a sheoladh, agus ní féidir leis an nglao ar ais modhanna asincrónacha Splash ar nós splash:go nó splash:wait a ghlaoch.

Coinnigh rogha an bhealaigh seasmhach nuair a bhíonn seisiún amháin nó féiniúlacht foinse amháin ag súil leis an leathanach. Má dhéantar gach íomhá agus iarratas API a shannadh go randamach do bhealach amach eile, féadfar leathanach rindreáilte a chruthú nach mbaineann a iarratais le seisiún comhleanúnach a thuilleadh.

Ailt ghaolmhara