jsoup-da HTTP proksi vasitəsilə səhifə götürmək

jsoup-un sorğu səviyyəsində HTTP proksi API-sindən istifadə edin və bir neçə işçi sessiya parametrlərini paylaşdıqda ayrı sorğular yaradın.

jsoup səhifəni HTTP proksi vasitəsilə götürə və cavabı həmin çağırışda təhlil edə bilər:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Proksini host adı və tam ədəd port müəyyən edir. İcazə verilən ictimai səhifə sorğuları üçün xidmətinizdən və ya HTTP proksi siyahısından HTTP son nöqtəsi seçin. connect funksiyasına verilən URL sizin istədiyiniz səhifə olaraq qalır. Yalnız bu marşrutu əlavə etmək üçün HTML-i ayrı URLConnection ilə sətrə yükləməyə ehtiyac yoxdur.

proxy(String, int) həmin sorğu üçün HTTP proksi seçir. 1080 kimi port nömrəsi onun protokolunu SOCKS-ə çevirmir; proksi son nöqtəsi konfiqurasiya olunan tipi danışmalıdır. jsoup həmçinin java.net.Proxy qəbul edən əlavə variant təqdim edir, lakin müəyyən marşruta dəstək hələ də istifadə olunan HTTP tətbiqindən asılıdır.

Hər işçiyə öz sorğusunu verin

Sorğu səviyyəsində seçim paralel işi hər yükləmə ətrafında JVM sistem xassələrini dəyişməkdən daha asan edir. Dəyişən sorğunu hər işçi üçün ayrı saxlayın. Müasir jsoup yeni sorğu yaradarkən sessiyanın parametrlərini və kuki anbarını paylaşa bilər:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Yuxarıdakı çağırışlar aydınlıq üçün ardıcıl işləyir. Əgər iş eyni vaxtda paylanırsa, proksini icra olunan bir Connection üzərində dəyişmək əvəzinə sorğuları müstəqil yaradın. Paylaşılan sessiya kukiləri də paylaşır; baxış kimlikləri ayrı qalmalı olduqda fərqli sessiyalardan istifadə edin.

Bu interfeyslər jsoup 1.21.2-də mövcuddur. Arqumentsiz newRequest() interfeysi 1.14.1-dən tarixlənir, buna görə köhnə tətbiq sessiya nümunəsini qəbul etməzdən əvvəl asılılığını yoxlamalıdır.

Etimadnamələr autentifikasiyalı proksi üçün əlavə tələbdir. Uğurlu marşrut seçimi hesab təqdim etmir və proksi çağırışı almaq onun portuna qoşula bilməməkdən fərqlidir.

Əlaqəli məqalələr