Rotere proxier i Rs httr og parse den nedlastede HTML-en

Bytt proxyrad for hver httr-forespørsel og send de nedlastede bytene til xml2 og rvest.

La proxyvalget ligge i selve nedlastingen. Etter at httr har returnert siden, parser du bytene i svaret i stedet for å sende URL-en til en annen nedlaster.

Gitt en vektor urls og en ikke-tom data frame proxies med kolonnene host og heltalls-port:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

For forespørsler til offentlige sider som tillates gjennom offentlige mellomledd, gir HTTP-proxylisten kandidater for kolonnene host og port. Indeksen går fra første proxyrad til den siste og begynner deretter på nytt. Hvert kall har sin egen proxykonfigurasjon; R-prosessen kan fortsette å kjøre.

Sidene som kommer ut, inneholder parsede HTML-dokumenter. Bruk rvest::html_elements og de nødvendige uttrekksfunksjonene på disse dokumentene. Å gi en URL til read_html ville i stedet starte en ny henting med banens egen nettverkskonfigurasjon.

For autentiserte proxier sender du den valgte kontoen gjennom username- og password-argumentene til use_proxy. Et annet endepunkt garanterer ikke en annen offentlig utgangs-IP, så velg utvalget etter tjenestens faktiske utgangsatferd.

Relaterte artikler