Tagh proxy airson gach goireas Splash
Tagh proxy Splash aig ìre an reandraidh no ann an gairm air ais on_request nuair a dh'fheumas goireasan fa leth slighean eadar-dhealaichte.
Faodaidh iarrtas Scrapy Splash a ruighinn, ged a tha feum aig a' bhrabhsair am broinn Splash air slighe a-mach eadar-dhealaichte fhathast. Is e dà cheangal a tha seo:
Scrapy → Splash API
Splash browser → forward proxy → websiteAirson aon phroxy gach reandradh, cuir argamaid proxy an HTTP API air adhart. Bidh Splash 3.5 a' clàradh URL proxy mar http://proxy.example:8080, no ainm pròifil proxy a chaidh a rèiteachadh. Tha am fòrmat URL aige a' toirt taic do SOCKS5 agus do theisteasan roghainneil cuideachd.
Nuair a dh'fheumas goireasan duilleig fa leth ceann-phuingean eadar-dhealaichte, cleachd sgriobt execute agus clàraich an taghadh ron t-seòladh:
function main(splash, args)
splash:on_request(function(request)
local host = args.default_proxy
if request.url == args.special_resource then
host = args.special_proxy
end
request:set_proxy{host = host, port = 8080, type = 'HTTP'}
end)
assert(splash:go(args.url))
return splash:html()
endCuir default_proxy agus special_proxy air adhart mar ainmean òstair, agus special_resource mar URL mionaideach a' ghoireis a tha ri stiùireadh air leth. Cuir am port aonair san eisimpleir na àite nuair a tha an dà èistear eadar-dhealaichte. Gheibh goireasan eile an t-slighe bhunaiteach. Bidh an liosta proxy HTTP a' tabhann thagraichean ceann-phuinge airson nan raointean òstair is puirt seo nuair a tha slighean gu goireasan poblach ceadaichte agus nach eilear a' cur teisteasan proxy air na tagraichean.
Gabhaidh an dòigh request ri raointean roghainneil username agus password. Le seòrsa HTTP, bidh cinn-uidhe HTTPS a' cleachdadh CONNECT tron phroxy HTTP sin; chan fheum iad seòrsa proxy HTTPS a chaidh a dhealbh.
Bidh an gairm air ais a' ruith ro gach iarrtas. Chan urrainn dha na dòighean request aige iarrtas atharrachadh an dèidh a chuir air falbh, agus chan urrainn don ghairm air ais dòighean asyncronach Splash mar splash:go no splash:wait a ghairm.
Cùm taghadh na slighe seasmhach nuair a bhios an duilleag a' sùileachadh aon seisean no aon dearbh-aithne stòir. Faodaidh sònrachadh air thuaiream gach ìomhaigh agus iarrtas API gu ceann eile duilleag reandraichte a chruthachadh nach eil na h-iarrtasan aige a' buntainn ri aon seisean cunbhalach tuilleadh.