Načtení stránky přes HTTP proxy v jsoup

Použijte HTTP proxy API jsoup na úrovni požadavku a vytvářejte samostatné požadavky, když několik pracovníků sdílí nastavení relace.

jsoup dokáže načíst stránku přes HTTP proxy a analyzovat odpověď ve stejném volání:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Proxy identifikuje název hostitele a celočíselný port. Pro povolené požadavky na veřejné stránky vyberte HTTP koncový bod ze své služby nebo ze seznamu HTTP proxy. URL předaná do connect zůstává stránkou, kterou chcete. Nemusíte stahovat HTML do řetězce přes samostatný URLConnection jen kvůli přidání této trasy.

proxy(String, int) vybírá HTTP proxy pro daný požadavek. Číslo portu jako 1080 nezmění jeho protokol na SOCKS; koncový bod proxy musí mluvit typem, který se konfiguruje. jsoup také nabízí přetížení přijímající java.net.Proxy, ale podpora konkrétní trasy stále závisí na použitém implementaci HTTP.

Dejte každému pracovníkovi vlastní požadavek

Volba na úrovni požadavku usnadňuje paralelní práci více než změna systémových vlastností JVM kolem každého stahování. Uchovávejte měnitelný požadavek zvlášť pro každého pracovníka. Moderní jsoup umí sdílet nastavení relace a úložiště cookies při vytváření nového požadavku:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Výše uvedená volání běží kvůli přehlednosti postupně. Pokud je práce rozeslána souběžně, vytvářejte požadavky nezávisle, místo abyste měnili proxy u jednoho běžícího Connection. Sdílená relace sdílí i cookies; použijte různé relace, když mají identity prohlížení zůstat oddělené.

Tato rozhraní jsou přítomna v jsoup 1.21.2. Rozhraní newRequest() bez argumentů pochází z 1.14.1, takže starší aplikace by měla před převzetím příkladu s relací zkontrolovat svou závislost.

Přihlašovací údaje jsou další podmínkou pro ověřenou proxy. Úspěšný výběr trasy nedodá účet a přijetí výzvy proxy se liší od selhání připojení k jeho portu.

Související články