R యొక్క httr లో ప్రాక్సీలను తిప్పి డౌన్‌లోడ్ చేసిన HTML ను పార్స్ చేయడం

ప్రాక్సీ ఎంపికను డౌన్‌లోడ్ చర్యలోనే ఉంచండి. httr పేజీని తిరిగి ఇచ్చిన తర్వాత URL ను మరో డౌన్‌లోడర్‌కు ఇవ్వకుండా ఆ ప్రతిస్పందన బైట్లను పార్స్ చేయండి.

ఒక urls వెక్టర్ మరియు host మరియు పూర్ణాంక port నిలువు వరుసలు ఉన్న ఖాళీ కాని data frame proxies ఇవ్వబడింది:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

ప్రజా మధ్యవర్తుల ద్వారా అనుమతించబడిన ప్రజా పేజీ అభ్యర్థనల కోసం HTTP ప్రాక్సీ జాబితా host మరియు port నిలువు వరుసలకు అభ్యర్థులను అందిస్తుంది. సూచిక మొదటి ప్రాక్సీ వరుస నుండి చివరి వరకు తిరిగి మళ్లీ ప్రారంభానికి వస్తుంది. ప్రతి కాల్‌కు దాని సొంత ప్రాక్సీ కాన్ఫిగరేషన్ ఉంటుంది; R ప్రక్రియ కొనసాగగలదు.

వచ్చిన పేజీలలో పార్స్ చేసిన HTML పత్రాలు ఉంటాయి. వాటిపై rvest::html_elements మరియు అవసరమైన సంగ్రహణ ఫంక్షన్‌లను వర్తించండి. బదులుగా read_html కు URL ఇస్తే ఆ మార్గం సొంత నెట్‌వర్క్ కాన్ఫిగరేషన్‌తో కొత్త సేకరణ ప్రారంభమవుతుంది.

ప్రామాణీకరించిన ప్రాక్సీల కోసం ఎంచుకున్న ఖాతాను use_proxy యొక్క username మరియు password ఆర్గ్యుమెంట్ల ద్వారా పంపండి. వేరే endpoint వేరే ప్రజా నిష్క్రమణ IP హామీ ఇవ్వదు, కాబట్టి సేవ యొక్క నిజమైన నిష్క్రమణ ప్రవర్తన ప్రకారం పూల్‌ను ఎంచుకోండి.