Преземање страница преку HTTP прокси во jsoup

Користете го HTTP прокси API на jsoup на ниво на барање и креирајте одделни барања кога неколку работници делат поставки за сесија.

jsoup може да ја преземе страницата преку HTTP прокси и да го анализира одговорот во истиот повик:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Името на домаќинот и целобројниот порт го идентификуваат проксито. За дозволени барања кон јавни страници, изберете HTTP крајна точка од вашата услуга или од списокот со HTTP прокси. URL-то предадено на connect останува страницата што ја сакате. Не треба да го преземате HTML-от во низа со одделен URLConnection само за да ја додадете оваа рута.

proxy(String, int) избира HTTP прокси за тоа барање. Број на порта како 1080 не го менува неговиот протокол во SOCKS; крајната точка на проксито мора да го зборува типот што се конфигурира. jsoup исто така нуди преоптоварување што прифаќа java.net.Proxy, но поддршката за одредена рута сè уште зависи од користената HTTP имплементација.

Дајте му на секој работник сопствено барање

Опцијата на ниво на барање го олеснува паралелното работење повеќе од менувањето на системските својства на JVM околу секое преземање. Чувајте го променливото барање одделно за секој работник. Современиот jsoup може да ги дели поставките и складиштето за колачиња на сесијата додека создава ново барање:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Горенаведените повици се извршуваат последователно за јасност. Ако работата се распоредува истовремено, креирајте ги барањата независно наместо да го менувате проксито на една Connection што е во тек. Споделената сесија ги дели и колачињата; користете различни сесии кога идентитетите за прелистување треба да останат одделни.

Овие интерфејси се присутни во jsoup 1.21.2. Интерфејсот newRequest() без аргументи датира од 1.14.1, па постара апликација треба да ја провери својата зависност пред да го усвои примерот со сесија.

Акредитивите се дополнителен услов за автентифицирано прокси. Успешниот избор на рута не обезбедува сметка, а примањето предизвик од проксито е различно од неуспехот да се поврзе со неговиот порт.

Поврзани статии