Добављање странице кроз HTTP прокси у jsoup-у

Користи jsoup-ов HTTP прокси API на нивоу захтева и прави одвојене захтеве када више радника дели поставке сесије.

jsoup може да дохвати страницу кроз HTTP прокси и анализира одговор у истом позиву:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Назив хоста и целобројни порт идентификују прокси. За дозвољене захтеве ка јавним страницама изабери HTTP крајњу тачку из своје услуге или са листе HTTP проксија. URL прослеђен у connect остаје страница коју желиш. Није потребно преузимати HTML у низ засебним URLConnection-ом само да би се додала ова рута.

proxy(String, int) бира HTTP прокси за тај захтев. Број порта као 1080 не мења његов протокол у SOCKS; крајња тачка проксија мора да говори тип који се конфигурише. jsoup такође нуди преоптерећење које прихвата java.net.Proxy, али подршка за одређену руту и даље зависи од HTTP имплементације која се користи.

Дај сваком раднику сопствени захтев

Опција на нивоу захтева олакшава паралелан рад више од мењања системских својстава JVM-а око сваког преузимања. Држи промењљиви захтев одвојеним за сваког радника. Савремени jsoup може да дели поставке сесије и складиште колачића док ствара нови захтев:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Горњи позиви се извршавају узастопно ради јасноће. Ако се посао распоређује истовремено, стварај захтеве независно уместо да мењаш прокси на једном Connection-у који је у току. Дељена сесија дели и колачиће; користи различите сесије када идентитети прегледања треба да остану одвојени.

Ови интерфејси су присутни у jsoup 1.21.2. Интерфејс newRequest() без аргумената датира из 1.14.1, па старија апликација треба да провери своју зависност пре него што прихвати пример са сесијом.

Акредитиви су додатни услов за аутентификовани прокси. Успешан избор руте не даје налог, а примање прокси изазова разликује се од неуспеха повезивања са његовим портом.

Повезани чланци