In side helje fia in HTTP-proxy yn jsoup

Brûk de HTTP-proxy-API fan jsoup op oanfragenivo en meitsje aparte oanfragen as ferskate wurkers deselde sesje-ynstellingen diele.

jsoup kin de side fia in HTTP-proxy helje en it antwurd yn deselde oanrop ferwurkje:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

De hostnamme en it hielgetalpoarte identifisearje de proxy. Kies foar tasteane oanfragen nei iepenbiere siden in HTTP-einpunt út jo tsjinst of út de HTTP-proxylist. De URL dy’t oan connect jûn wurdt, bliuwt de side dy’t jo wolle. Jo hoege de HTML net yn in string te downloaden mei in aparte URLConnection allinnich om dizze rûte ta te foegjen.

proxy(String, int) kiest in HTTP-proxy foar dy oanfraach. In poartnûmer lykas 1080 feroaret it protokol net yn SOCKS; it einpunt fan de proxy moat it type sprekke dat konfigurearre wurdt. jsoup biedt ek in oerlading dy’t java.net.Proxy akseptearret, mar stipe foar in beskate rûte hinget noch altyd fan de brûkte HTTP-ymplemintaasje ôf.

Jou elke wurker syn eigen oanfraach

In opsje op oanfragenivo makket parallel wurk makliker as it feroarjen fan JVM-systeemeigenskippen om elke download hinne. Hâld de feroarbere oanfraach apart foar elke wurker. Moderne jsoup kin de ynstellingen en de koekje-opslach fan in sesje diele wylst it in nije oanfraach makket:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

De oanroppen hjirboppe rinne efterinoar foar dúdlikheid. As wurk tagelyk ferspraat wurdt, meitsje de oanfragen dan ûnôfhinklik ynstee fan de proxy te feroarjen op ien Connection dy’t noch rint. In dielde sesje dielt ek koekjes; brûk ferskate sesjes as de browse-identiteiten apart bliuwe moatte.

Dizze ynterfaces binne oanwêzich yn jsoup 1.21.2. De ynterface newRequest() sûnder arguminten datearret fan 1.14.1, dus in âldere tapassing moat syn ôfhinklikens kontrolearje foardat it it sesjefoarbyld oannimt.

Bewiisstikken binne in ekstra eask foar in authentisearre proxy. In slagge rûtekar docht gjin akkount, en in proxy-útdaging ûntfange is oars as net ferbine kinne mei syn poarte.

Relatearre artikelen