A' cuairteachadh progsaidhean ann an httr R agus a' parsadh an HTML a chaidh a luchdachadh

Cuir cuairt air sreathan progsaidh aig gach iarrtas httr agus cuir na baidean a chaidh an luchdachadh gu xml2 agus rvest.

Cùm taghadh a' phrogsaidh air an obair luchdaidh. Nuair a bhios httr air an duilleag a thilleadh, pars na baidean aig an fhreagairt sin seach an URL a chur gu luchdaiche eile.

Le bheith a' faighinn vectar urls agus data frame proxies nach eil falamh le colbhan host agus port iomlan:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

Airson iarrtasan air duilleagan poblach a tha ceadaichte tro eadar-mheadhanairean poblach, bheir an liosta progsaidhean HTTP tagraichean airson colbhan host agus port. Cuairtichidh an clàr-amais bhon chiad sreath progsaidh chun na sreath mu dheireadh agus tillidh e chun na tòiseachaidh. Tha a rèiteachadh progsaidh fhèin aig gach gairm; faodaidh am pròiseas R leantainn air adhart.

Tha na duilleagan a thig a-mach a' gabhail a-steach sgrìobhainnean HTML a chaidh am parsadh. Cuir rvest::html_elements agus na gnìomhan tarraing a tha a dhìth an sàs air na sgrìobhainnean sin. Nan cuireadh URL gu read_html na àite, thòisicheadh lorg ùr le rèiteachadh lìonra an t-slighe sin fhèin.

Airson progsaidhean dearbhaichte, cuir a' chunntas a thagh thu tro na h-argamaidean username agus password aig use_proxy. Chan eil ceann-uidhe eadar-dhealaichte a' gealltainn IP fàgail poblach eadar-dhealaichte, mar sin tagh an lòn a rèir fìor ghiùlan fàgail na seirbheise.

Artaigilean co-cheangailte