Sækja síðu í gegnum HTTP proxy í jsoup

Notaðu HTTP proxy API jsoup á beiðnistigi og búðu til aðskildar beiðnir þegar margir vinnur deila lotustillingum.

jsoup getur sótt síðuna í gegnum HTTP proxy og þáttað svarið í sama kalli:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Hýsilnafnið og heiltöluhöfnin auðkenna proxyið. Fyrir leyfðar beiðnir á opinberar síður skaltu velja HTTP endapunkt úr þjónustunni þinni eða úr HTTP proxy listanum. Slóðin sem er send í connect helst síðan sem þú vilt. Þú þarft ekki að sækja HTML í streng með sérstöku URLConnection bara til að bæta þessari leið við.

proxy(String, int) velur HTTP proxy fyrir þá beiðni. Hafnarnúmer eins og 1080 breytir ekki samskiptareglum þess í SOCKS; endapunktur proxysins verður að tala þá gerð sem er stillt. jsoup býður einnig ofanhleðslu sem tekur við java.net.Proxy, en stuðningur við tiltekna leið fer enn eftir HTTP útfærslunni sem er notuð.

Gefðu hverjum vinnu sína eigin beiðni

Valkostur á beiðnistigi gerir samhliða vinnu auðveldari en að breyta kerfiseiginleikum JVM í kringum hverja niðurhali. Haltu breytanlegu beiðninni aðskildri fyrir hvern vinnu. Nútíma jsoup getur deilt stillingum og kexgeymslu lotu á meðan það býr til nýja beiðni:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Köllin hér að ofan keyra í röð til skýrleika. Ef vinnu er dreift samtímis skaltu búa til beiðnirnar sjálfstætt í stað þess að breyta proxynu á einni Connection sem er í gangi. Sameiginleg lota deilir einnig kexum; notaðu mismunandi lotur þegar vafraauðkennin eiga að haldast aðskilin.

Þessi viðmót eru til staðar í jsoup 1.21.2. Viðmótið newRequest() án rökstuðnings er frá 1.14.1, svo eldra forrit ætti að athuga fylgni sína áður en það tekur lotudæmið upp.

Skírteini eru frekari krafa fyrir auðkennt proxy. Árangursrík leiðarval veitir ekki reikning, og að taka á móti proxy áskorun er annað en að mistakast að tengjast höfn þess.

Tengdir greinar