Proxyen an httr vun R rotéieren an den erofgeluedenen HTML parsen

Wiesselt bei all httr-Ufro d'Proxy-Zeil a gitt déi erofgeluede Byten un xml2 an rvest weider.

Halt d'Proxy-Wiel beim Erofluede. Nodeems httr d'Säit zréckginn huet, parséier d'Byten vun där Äntwert, amplaz d'URL un en aneren Downloader ze ginn.

Mat engem Vektor urls an engem net eidelen data frame proxies mat host- a ganzzuelegen port-Kolonnen:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

Fir Ufroe fir ëffentlech Säiten, déi iwwer ëffentlech Zwëschenhändler erlaabt sinn, liwwert d'HTTP-Proxy-Lëscht Kandidaten fir d'host- a port-Kolonnen. Den Index zirkuléiert vun der éischter Proxy-Zeil bis zu der leschter a fänkt dann erëm uewen un. All Opruff huet seng eege Proxy-Konfiguratioun; de R-Prozess kann weiderlafen.

Déi resultéierend Säite enthalen geparste HTML-Dokumenter. Setzt rvest::html_elements an déi noutwendeg Extraktiounsfunktiounen op dës Dokumenter un. Eng URL un read_html ze ginn, géif amplaz en neien Ofruff mat der eege Netzwierkkonfiguratioun vun deem Wee starten.

Fir authentifizéiert Proxyen, gitt de gewielten Kont iwwer d'username- an password-Argumenter vun use_proxy weider. En aneren Endpunkt garantéiert keng aner ëffentlech Ausgangs-IP, also wielt de Pool no dem tatsächlechen Ausgangsverhalen vum Service.

Ähnlech Artikelen