Էջի բեռնում HTTP վստահված սերվերի միջոցով jsoup-ում

jsoup-ը կարող է էջը բերել HTTP վստահված սերվերի միջոցով և վերլուծել պատասխանը նույն կանչում.

Document page = Jsoup.connect("https://www.example.com/")
    .proxy("proxy.example", 8080)
    .get();

Հոսթի անունը և ամբողջ թվով պորտը նույնականացնում են վստահված սերվերը։ Թույլատրված հանրային էջերի հարցումների համար ընտրիր HTTP վերջնակետ քո ծառայությունից կամ HTTP վստահված սերվերների ցանկից։ connect-ին փոխանցված URL-ը մնում է այն էջը, որը դու ուզում ես։ Պետք չէ HTML-ը ներբեռնել տողի մեջ առանձին URLConnection-ով միայն այս ուղին ավելացնելու համար։

proxy(String, int) ընտրում է HTTP վստահված սերվեր այդ հարցման համար։ 1080-ի նման պորտի համարը չի փոխում նրա արձանագրությունը SOCKS-ի; վստահված սերվերի վերջնակետը պետք է խոսի այն տեսակով, որը կարգավորվում է։ jsoup-ը նաև տրամադրում է ծանրաբեռնված տարբերակ, որն ընդունում է java.net.Proxy, սակայն կոնկրետ ուղու աջակցությունը դեռևս կախված է օգտագործվող HTTP իրականացումից։

Տուր յուրաքանչյուր աշխատողի իր հարցումը

Հարցման մակարդակի ընտրանքը զուգահեռ աշխատանքը դարձնում է ավելի հեշտ, քան JVM համակարգային հատկությունների փոփոխությունը յուրաքանչյուր ներբեռնման շուրջ։ Փոփոխվող հարցումը առանձին պահիր յուրաքանչյուր աշխատողի համար։ Ժամանակակից jsoup-ը կարող է կիսել նստաշրջանի կարգավորումներն ու cookie-ների պահոցը՝ ստեղծելով նոր հարցում։

Connection session = Jsoup.newSession();
Document first = session.newRequest()
    .url("https://www.example.com/one")
    .proxy("proxy-a.example", 8080)
    .get();
Document second = session.newRequest()
    .url("https://www.example.com/two")
    .proxy("proxy-b.example", 8080)
    .get();

Վերոնշյալ կանչերը հաջորդական են՝ պարզության համար։ Եթե աշխատանքը բաշխվում է միաժամանակ, հարցումները ստեղծիր ինքնուրույն, փոխարենը՝ ընթացքի մեջ գտնվող մեկ Connection-ի վրա վստահված սերվերը փոխելու։ Համատեղ նստաշրջանը կիսում է նաև cookie-ները. օգտագործիր տարբեր նստաշրջաններ, երբ դիտարկման ինքնությունները պետք է առանձին մնան։

Այս ինտերֆեյսները առկա են jsoup 1.21.2-ում։ Առանց արգումենտի newRequest() ինտերֆեյսը սկիզբ է առնում 1.14.1-ից, ուստի ավելի հին հավելվածը պետք է ստուգի իր կախվածությունը նստաշրջանի օրինակը որդեգրելուց առաջ։

Հավատարմագրերը լրացուցիչ պահանջ են նույնականացված վստահված սերվերի համար։ Հաջող ուղու ընտրությունը հաշիվ չի տրամադրում, և վստահված սերվերի մարտահրավեր ստանալը տարբերվում է նրա պորտին միանալու ձախողումից։