Ombi la Scrapy linaweza kufikia Splash, wakati kivinjari kilicho ndani ya Splash bado kinahitaji njia tofauti ya kutoka. Hizi ni miunganisho miwili:

Scrapy → Splash API
Splash browser → forward proxy → website

Kwa proksi moja kwa kila uwasilishaji, pitisha hoja ya proxy ya HTTP API. Splash 3.5 inaandika URL ya proksi kama http://proxy.example:8080, au jina la proxy-profile iliyosanidiwa. Muundo wake wa URL pia unaauni SOCKS5 na vitambulisho vya hiari.

Wakati rasilimali binafsi za ukurasa zinahitaji mwisho tofauti, tumia script ya execute na usajili chaguo kabla ya urambazaji:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Pitisha default_proxy na special_proxy kama majina ya mwenyeji, na special_resource kama URL kamili ya rasilimali inayopaswa kuelekezwa kando. Badilisha bandari moja ya mfano wakati wasikilizaji wawili wanatofautiana. Rasilimali nyingine zinapata njia ya chaguo-msingi. Orodha ya proksi za HTTP hutoa wagombea wa mwisho kwa sehemu hizi za mwenyeji na bandari wakati njia za rasilimali za umma zinaruhusiwa na hakuna vitambulisho vya proksi vinavyotumika kwa wagombea.

Njia ya request inakubali sehemu za hiari za username na password. Kwa aina ya HTTP, malengo ya HTTPS hutumia CONNECT kupitia proksi hiyo ya HTTP; hayahitaji aina ya proksi ya HTTPS ya kubuni.

Callback huendeshwa kabla ya kila ombi. Njia zake za request haziwezi kubadilisha ombi baada ya kutumwa, na callback haiwezi kuita njia za Splash zisizo za wakati mmoja kama splash:go au splash:wait.

Weka chaguo la njia kuwa thabiti wakati ukurasa unatarajia kikao kimoja au utambulisho mmoja wa chanzo. Kugawa kila picha na ombi la API kwa bahati nasibu kwenye njia nyingine ya kutoka kunaweza kutoa ukurasa ulioonyeshwa ambao maombi yake hayawi tena sehemu ya kikao kimoja madhubuti.

Makala zinazohusiana