Faodaidh iarrtas Scrapy Splash a ruighinn, ged a tha feum aig a' bhrabhsair am broinn Splash air slighe a-mach eadar-dhealaichte fhathast. Is e dà cheangal a tha seo:

Scrapy → Splash API
Splash browser → forward proxy → website

Airson aon phroxy gach reandradh, cuir argamaid proxy an HTTP API air adhart. Bidh Splash 3.5 a' clàradh URL proxy mar http://proxy.example:8080, no ainm pròifil proxy a chaidh a rèiteachadh. Tha am fòrmat URL aige a' toirt taic do SOCKS5 agus do theisteasan roghainneil cuideachd.

Nuair a dh'fheumas goireasan duilleig fa leth ceann-phuingean eadar-dhealaichte, cleachd sgriobt execute agus clàraich an taghadh ron t-seòladh:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Cuir default_proxy agus special_proxy air adhart mar ainmean òstair, agus special_resource mar URL mionaideach a' ghoireis a tha ri stiùireadh air leth. Cuir am port aonair san eisimpleir na àite nuair a tha an dà èistear eadar-dhealaichte. Gheibh goireasan eile an t-slighe bhunaiteach. Bidh an liosta proxy HTTP a' tabhann thagraichean ceann-phuinge airson nan raointean òstair is puirt seo nuair a tha slighean gu goireasan poblach ceadaichte agus nach eilear a' cur teisteasan proxy air na tagraichean.

Gabhaidh an dòigh request ri raointean roghainneil username agus password. Le seòrsa HTTP, bidh cinn-uidhe HTTPS a' cleachdadh CONNECT tron phroxy HTTP sin; chan fheum iad seòrsa proxy HTTPS a chaidh a dhealbh.

Bidh an gairm air ais a' ruith ro gach iarrtas. Chan urrainn dha na dòighean request aige iarrtas atharrachadh an dèidh a chuir air falbh, agus chan urrainn don ghairm air ais dòighean asyncronach Splash mar splash:go no splash:wait a ghairm.

Cùm taghadh na slighe seasmhach nuair a bhios an duilleag a' sùileachadh aon seisean no aon dearbh-aithne stòir. Faodaidh sònrachadh air thuaiream gach ìomhaigh agus iarrtas API gu ceann eile duilleag reandraichte a chruthachadh nach eil na h-iarrtasan aige a' buntainn ri aon seisean cunbhalach tuilleadh.

Artaigilean co-cheangailte