jsoup da HTTP proksi orqali sahifani olish

jsoup sahifani HTTP proksi orqali olib, javobni shu chaqiruvda tahlil qila oladi:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Xost nomi va butun sonli port proksini aniqlaydi. Ruxsat etilgan ochiq sahifa so‘rovlari uchun xizmatingizdan yoki HTTP proksilar ro‘yxatidan HTTP oxirgi nuqtasini tanlang. connect ga berilgan URL siz xohlagan sahifa bo‘lib qoladi. Faqat shu yo‘lni qo‘shish uchun HTML ni alohida URLConnection bilan satrga yuklab olish shart emas.

proxy(String, int) o‘sha so‘rov uchun HTTP proksi tanlaydi. 1080 kabi port raqami uning protokolini SOCKS ga o‘zgartirmaydi; proksi oxirgi nuqtasi sozlanayotgan turni qo‘llashi kerak. jsoup shuningdek java.net.Proxy ni qabul qiladigan ortiqcha yuklamani ham taqdim etadi, lekin muayyan yo‘lni qo‘llash hali ham ishlatilayotgan HTTP implementatsiyasiga bog‘liq.

Har bir ishchiga o‘z so‘rovini bering

So‘rov darajasidagi parametr har bir yuklab olish atrofida JVM tizim xossalarini o‘zgartirishdan ko‘ra parallel ishni osonlashtiradi. O‘zgaruvchan so‘rovni har bir ishchi uchun alohida saqlang. Zamonaviy jsoup yangi so‘rov yaratayotganda sessiya sozlamalari va cookie omborini bo‘lisha oladi:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Yuqoridagi chaqiruvlar aniqlik uchun ketma-ket ishlaydi. Agar ish bir vaqtda taqsimlansa, proksini bajarilayotgan bitta Connection da o‘zgartirishdan ko‘ra so‘rovlarni mustaqil yarating. Umumiy sessiya cookie larni ham bo‘lishadi; ko‘rish identifikatorlari alohida qolishi kerak bo‘lsa, turli sessiyalardan foydalaning.

Ushbu interfeyslar jsoup 1.21.2 da mavjud. Argumentsiz newRequest() interfeysi 1.14.1 dan boshlanadi, shuning uchun eski dastur sessiya misolini qabul qilishdan oldin o‘z bog‘liqligini tekshirishi kerak.

Hisob ma’lumotlari autentifikatsiyalangan proksi uchun qo‘shimcha talabdir. Muvaffaqiyatli yo‘l tanlovi hisob bermaydi, proksi chaqirig‘ini olish esa uning portiga ulanib bo‘lmaslikdan farq qiladi.