jsoup मध्ये HTTP प्रॉक्सीद्वारे पृष्ठ आणणे

jsoup HTTP प्रॉक्सीद्वारे पृष्ठ आणू शकतो आणि त्याच कॉलमध्ये प्रतिसादाचे विश्लेषण करू शकतो:

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

होस्टनाव आणि पूर्णांक पोर्ट प्रॉक्सी ओळखतात. परवानगी असलेल्या सार्वजनिक पृष्ठांच्या विनंत्यांसाठी तुमच्या सेवेकडून किंवा HTTP प्रॉक्सी यादीतून HTTP एंडपॉइंट निवडा. connect ला दिलेला URL तुम्हाला हवे असलेले पृष्ठच राहतो. फक्त हा मार्ग जोडण्यासाठी HTML वेगळ्या URLConnection ने स्ट्रिंगमध्ये डाउनलोड करण्याची गरज नाही.

proxy(String, int) त्या विनंतीसाठी HTTP प्रॉक्सी निवडतो. 1080 सारखा पोर्ट क्रमांक त्याचे प्रोटोकॉल SOCKS मध्ये बदलत नाही; प्रॉक्सी एंडपॉइंटने कॉन्फिगर होत असलेला प्रकार बोलला पाहिजे. jsoup java.net.Proxy स्वीकारणारे ओव्हरलोडही देते, पण विशिष्ट मार्गासाठीचा आधार अजूनही वापरल्या जाणाऱ्या HTTP अंमलबजावणीवर अवलंबून आहे.

प्रत्येक कामगाराला त्याची स्वतःची विनंती द्या

विनंती-स्तरीय पर्याय प्रत्येक डाउनलोडभोवती JVM सिस्टम गुणधर्म बदलण्यापेक्षा समांतर काम सोपे करतो. बदलण्यायोग्य विनंती प्रत्येक कामगारासाठी वेगळी ठेवा. आधुनिक jsoup नवीन विनंती तयार करताना सत्राची सेटिंग्ज आणि कुकी साठवण सामायिक करू शकतो:

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

वरील कॉल स्पष्टतेसाठी क्रमाने चालतात. काम एकाच वेळी वाटले जात असल्यास, चालू असलेल्या एका Connection वर प्रॉक्सी बदलण्याऐवजी विनंत्या स्वतंत्रपणे तयार करा. सामायिक सत्र कुकीजही सामायिक करते; ब्राउझिंग ओळख वेगळ्या ठेवायच्या असतील तेव्हा वेगळी सत्रे वापरा.

हे इंटरफेस jsoup 1.21.2 मध्ये आहेत. आर्ग्युमेंट नसलेला newRequest() इंटरफेस 1.14.1 पासून आहे, म्हणून जुन्या अनुप्रयोगाने सत्राचे उदाहरण स्वीकारण्यापूर्वी त्याचे अवलंबित्व तपासावे.

प्रमाणपत्रे प्रमाणित प्रॉक्सीसाठी अतिरिक्त आवश्यकता आहे. यशस्वी मार्ग निवड खाते पुरवत नाही, आणि प्रॉक्सी आव्हान मिळणे हे त्याच्या पोर्टशी कनेक्ट होऊ न शकण्यापेक्षा वेगळे आहे.