jsoup-ში HTTP პროქსის მეშვეობით გვერდის მიღება

jsoup-ს შეუძლია გვერდის მიღება HTTP პროქსის მეშვეობით და პასუხის გარჩევა იმავე გამოძახებაში:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

პროქსის განსაზღვრავს ჰოსტის სახელი და მთელი რიცხვი პორტი. დაშვებული საჯარო გვერდების მოთხოვნებისთვის აირჩიე HTTP ბოლო წერტილი შენი სერვისიდან ან HTTP პროქსების სიიდან. connect-ს გადაცემული URL რჩება ის გვერდი, რომელიც გსურს. არ არის საჭირო HTML-ის სტრიქონში ჩამოტვირთვა ცალკე URLConnection-ით მხოლოდ ამ მარშრუტის დასამატებლად.

proxy(String, int) ირჩევს HTTP პროქსის ამ მოთხოვნისთვის. პორტის ნომერი, მაგალითად 1080, არ ცვლის მის პროტოკოლს SOCKS-ად; პროქსის ბოლო წერტილმა უნდა ილაპარაკოს იმ ტიპით, რომელიც კონფიგურირდება. jsoup ასევე გთავაზობს გადატვირთვას, რომელიც იღებს java.net.Proxy, მაგრამ კონკრეტული მარშრუტის მხარდაჭერა კვლავ დამოკიდებულია გამოყენებულ HTTP იმპლემენტაციაზე.

მიეცი თითოეულ მუშას საკუთარი მოთხოვნა

მოთხოვნის დონის პარამეტრი პარალელურ სამუშაოს უფრო აადვილებს, ვიდრე JVM-ის სისტემური თვისებების შეცვლა ყოველი ჩამოტვირთვის გარშემო. შენახე ცვლადი მოთხოვნა ცალკე თითოეული მუშისთვის. თანამედროვე jsoup-ს შეუძლია სესიის პარამეტრებისა და ქუქიების საცავის გაზიარება ახალი მოთხოვნის შექმნისას:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

ზემოთ მოცემული გამოძახებები თანმიმდევრულად მუშაობს სიცხადისთვის. თუ სამუშაო ერთდროულად ნაწილდება, შექმენი მოთხოვნები დამოუკიდებლად, ნაცვლად იმისა, რომ შეცვალო პროქსი ერთ მიმდინარე Connection-ზე. გაზიარებული სესია ქუქიებსაც იზიარებს; გამოიყენე სხვადასხვა სესია, როცა დათვალიერების იდენტობები ცალ-ცალკე უნდა დარჩეს.

ეს ინტერფეისები არსებობს jsoup 1.21.2-ში. არგუმენტების გარეშე newRequest() ინტერფეისი 1.14.1-დანაა, ამიტომ ძველმა აპლიკაციამ სესიის მაგალითის მიღებამდე უნდა შეამოწმოს თავისი დამოკიდებულება.

სერტიფიკატები დამატებითი მოთხოვნაა ავთენტიფიცირებული პროქსისთვის. წარმატებული მარშრუტის არჩევა ანგარიშს არ გაძლევს, ხოლო პროქსის გამოწვევის მიღება განსხვავდება მის პორტზე დაკავშირების წარუმატებლობისგან.