Elŝuti paĝon per HTTP-prokurilo en jsoup

Uzu la HTTP-prokurilan API de jsoup je petnivelo kaj kreu apartajn petojn kiam pluraj laborantoj dividas sesiajn agordojn.

jsoup povas elŝuti la paĝon per HTTP-prokurilo kaj analizi la respondon en la sama voko:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

La gastnomo kaj entjera pordo identigas la prokurilon. Por permesitaj petoj al publikaj paĝoj, elektu HTTP-finpunkton el via servo aŭ el la listo de HTTP-prokuriloj. La URL pasigita al connect restas la paĝo, kiun vi volas. Vi ne bezonas elŝuti la HTML-on en ĉenon per aparta URLConnection nur por aldoni ĉi tiun vojon.

proxy(String, int) elektas HTTP-prokurilon por tiu peto. Pordnumero kiel 1080 ne ŝanĝas ĝian protokolon al SOCKS; la prokurila finpunkto devas paroli la tipon, kiu estas agordata. jsoup ankaŭ elmetas ŝarĝon akceptantan java.net.Proxy, sed subteno por aparta vojo ankoraŭ dependas de la uzata HTTP-realigo.

Donu al ĉiu laboranto sian propran peton

Opcio je petnivelo faciligas paralelan laboron pli ol ŝanĝi sistemajn ecojn de JVM ĉirkaŭ ĉiu elŝuto. Tenu la ŝanĝeblan peton aparte por ĉiu laboranto. Moderna jsoup povas dividi la agordojn kaj kukujon de sesio dum ĝi kreas novan peton:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

La vokoj supre rulas sinsekve por klareco. Se laboro estas disdonata samtempe, kreu la petojn sendepende anstataŭ ŝanĝi la prokurilon sur unu Connection en fluo. Kunhavata sesio ankaŭ kunhavas kukojn; uzu malsamajn sesiojn kiam la retumaj identecoj devas resti apartaj.

Ĉi tiuj interfacoj ekzistas en jsoup 1.21.2. La interfaco newRequest() sen argumentoj datiĝas de 1.14.1, do pli malnova aplikaĵo devus kontroli sian dependaĵon antaŭ ol adopti la sesian ekzemplon.

Akreditiloj estas plia postulo por aŭtentigita prokurilo. Sukcesa voja elekto ne provizas konton, kaj ricevi prokurilan defion malsamas de malsukceso konektiĝi al ĝia pordo.

Rilataj artikoloj