Søk HTML gjøgnum proxy áðrenn tú greinar við Html Agility Pack

Sameina ein HttpClient settan upp við proxy við Html Agility Pack og halt netvørkisvillur skildar frá HTML-greining.

using var handler = new HttpClientHandler
{
    UseProxy = true,
    Proxy = new WebProxy("http://proxy.example:8080")
};
using var client = new HttpClient(handler);

string html = await client.GetStringAsync(
    "https://www.example.com/catalog");
var document = new HtmlAgilityPack.HtmlDocument();
document.LoadHtml(html);

Hetta nútíðar .NET-brotið brúkar System.Net og System.Net.Http. Tann uppsetti klienturin stýrir netvørkisrouting, og Html Agility Pack mótttekur tað aftursendu HTML-streingið. Halt ein hóskandi uppsettan klient til framhaldandi arbeiði heldur enn at endurbyggja poolarnar hansara fyri hvørja síðu.

Fyri hesa dømi um eina almenna síðu kann ein ósamgómdur kandidatur úr HTTP-proxy listanum koma í staðin fyri millumliðið. Skift út málið serstakliga. URL-in á heimasíðuni varðveitir TLS-identitet sín. Samgómd proxy-innloggingar hoyra til WebProxy; hvørki innloggingar heimasíðunnar ella sløkt váttan koma í staðin fyri tær.

GetStringAsync viðger ikki-dygandi HTTP-støður sum villur. Umvæl ikki eina miseydnaða niðurtøku til eitt tómt HtmlDocument. Um telduskipanina tørvar yvirskriftir, støðu-upplýsingar ella eitt villuboð, brúka eina svarvendta HTTP-gerð og kanna hana áðrenn greining.

Streingjahátturin sleppur undan einari treytaleysari eyka UTF-8-umseting av ráum bitum. Um tú heinta bit av ásetningi, flyt kravini um svar- og skjal-koding inn í dekodingina.

LoadHtml framleiðir eitt greinað skjal; tað koyrir ikki skript, lesur ikki stílar og fylgir ikki leinkjum. Loys seinri relativ leinki móti staðnum á svarinum, og minst til at element, sum kagarnir tekna, kunnu mangla í niðurheinta keldu. Hvørt svar eigur at framleiða sítt egna skjal, sjálvt tá ið fyrispurningar deila sama uppsetta HTTP-klient.

Skyldar greinar