R ના httr માં પ્રોક્સી ફેરવો અને ડાઉનલોડ કરેલ HTML પાર્સ કરો

પ્રોક્સી પસંદગી ડાઉનલોડ ક્રિયા પર જ રાખો. httr એ પૃષ્ઠ પરત આપ્યા પછી, URL બીજા ડાઉનલોડરને આપવાને બદલે તે જ પ્રતિસાદના બાઇટ્સ પાર્સ કરો.

એક urls વેક્ટર અને host તથા પૂર્ણાંક port કૉલમ ધરાવતું ખાલી ન હોય તેવું data frame proxies આપેલું છે:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

જાહેર મધ્યસ્થીઓ દ્વારા માન્ય જાહેર પૃષ્ઠ વિનંતીઓ માટે, HTTP પ્રોક્સી યાદી data frame ના host અને port કૉલમ માટે ઉમેદવારો પૂરા પાડે છે. ઇન્ડેક્સ પ્રથમ પ્રોક્સી પંક્તિથી છેલ્લી સુધી ફરે છે અને પછી શરૂઆતમાં પાછો આવે છે. દરેક કૉલની પોતાની પ્રોક્સી ગોઠવણી હોય છે; R પ્રક્રિયા ચાલુ રહી શકે છે.

પરિણામી પૃષ્ઠોમાં પાર્સ કરેલ HTML દસ્તાવેજો હોય છે. તે દસ્તાવેજો પર rvest::html_elements અને જરૂરી નિષ્કર્ષણ કાર્યો લાગુ કરો. તેના બદલે read_html ને URL આપવાથી તે પથની પોતાની નેટવર્ક ગોઠવણી સાથે નવું ડાઉનલોડ શરૂ થશે.

પ્રમાણિત પ્રોક્સી માટે, પસંદ કરેલ ખાતું use_proxy ના username અને password દલીલો દ્વારા આપો. અલગ એન્ડપોઇન્ટ અલગ જાહેર એક્ઝિટ IP ની ખાતરી આપતું નથી, તેથી સેવાના વાસ્તવિક એક્ઝિટ વર્તન મુજબ પૂલ પસંદ કરો.