קלייבט אַ פּראָקסי פֿאַר יעדן Splash רעסורס

אַ Scrapy בקשה קען דערגרייכן Splash, בשעת דער בלעטערער אין Splash דאַרף נאָך אַן אַנדער אַרויסגאַנג־וועג. דאָס זענען צוויי פֿאַרבינדונגען:

Scrapy → Splash API
Splash browser → forward proxy → website

פֿאַר איין פּראָקסי פּער רענדער, גיט איבער דעם proxy אַרגומענט פֿונעם HTTP API. Splash 3.5 דאָקומענטירט אַ פּראָקסי URL ווי http://proxy.example:8080, אָדער אַ פּראָפֿיל נאָמען פֿון אַ פּראָקסי. דאָס URL פֿאָרמאַט שטיצט אויך SOCKS5 און אָפּציאָנעלע באַשטעטיקונגען.

ווען באַזונדערע בלאַט־רעסורסן דאַרפֿן אַנדערע ענדפּונקטן, ניצט אַן execute סקריפּט און רעגיסטרירט די אויסקלייב פֿאַר דער נאַוויגאַציע:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

גיט איבער default_proxy און special_proxy ווי האָסט־נעמען, און special_resource ווי דער פּינקטלעכער URL פֿונעם רעסורס וואָס דאַרף באַזונדער געפֿירט ווערן. פֿאַרבייַטט דעם איינציקן בייַשפּיל־פּאָרט ווען די צוויי צוהערער זענען אַנדערש. אַנדערע רעסורסן באַקומען דעם פֿאַרבאַשטימטן וועג. די HTTP פּראָקסי רשימה שטעלט צו ענדפּונקט־קאַנדידאַטן פֿאַר די האָסט־ און פּאָרט־פֿעלדער ווען וועגן צו עפֿנטלעכע רעסורסן זענען דערלויבט און קיין פּראָקסי־באַשטעטיקונגען ווערן נישט אָנגעווענדט אויף די קאַנדידאַטן.

דער request מעטאָד נעמט אָן אָפּציאָנעלע username און password פֿעלדער. מיט דעם טיפּ HTTP ניצן HTTPS צילן CONNECT דורך יענעם HTTP פּראָקסי; זיי דאַרפֿן נישט קיין אויסגעטראַכטן HTTPS פּראָקסי־טיפּ.

דער צוריקרוף לויפֿט פֿאַר יעדער בקשה. זיינע request מעטאָדן קענען נישט ענדערן אַ בקשה נאָך זי איז געשיקט געוואָרן, און דער צוריקרוף קען נישט רופֿן אַסינכראָנע Splash מעטאָדן ווי splash:go אָדער splash:wait.

האַלט דעם וועג־אויסקלייב סטאַביל ווען דער בלאַט ערוואַרט איין סעסיע אָדער איין מקור־אידענטיטעט. צוצוטיילן יעדן בילד און API־בקשה צופֿעליק צו אַן אַנדער אַרויסגאַנג קען שאַפֿן אַ רענדערטע זייַט וועמענס בקשות געהערן מער נישט צו איין צונויפֿהענגיקער סעסיע.