በ R ውስጥ በ httr ተኪዎችን ማሽከርከር እና የወረደውን HTML መተንተን

የተኪ ምርጫን በማውረድ ስራ ላይ ያቆዩት። httr ገጹን ከመለሰ በኋላ፣ URL ን ለሌላ አውራጅ ከመስጠት ይልቅ የዚያ ምላሽ ባይቶችን ይተንትኑ።

urls የተባለ ቬክተር እና ባዶ ያልሆነ የውሂብ ፍሬም proxies ከ host እና ከኢንቲጀር port አምዶች ጋር ከተሰጠ፦

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

በሕዝብ ድርድር ለሚፈቀዱ የሕዝብ ገጽ ጥያቄዎች፣ የ HTTP ተኪ ዝርዝር ለፍሬም አምዶች እጩዎችን ያቀርባል። መረጃ ጠቋሚው ከመጀመሪያው ረድፍ እስከ መጨረሻው ይዞራል እና ይመለሳል። እያንዳንዱ ጥሪ የራሱ የተኪ ውቅር አለው፤ የ R ሂደት መሮጥን ሊቀጥል ይችላል።

የተገኙት ገጾች የተተነተኑ የ HTML ሰነዶችን ይይዛሉ። rvest::html_elements እና አስፈላጊዎቹን የማውጣት ተግባራት በእነዚያ ሰነዶች ላይ ይተግብሩ። በምትኩ URL ለ read_html መስጠት በዚያ መንገድ የራሱ የኔትወርክ ውቅር ያለው አዲስ ማውረድ ይጀምራል።

ለተረጋገጡ ተኪዎች፣ የተመረጠውን መለያ በ use_proxy የተጠቃሚ ስም እና የይለፍ ቃል ነጋሪ አማራጮች ያስተላልፉ። የተለየ የመጨረሻ ነጥብ የተለየ የሕዝብ መውጫ IP አያረጋግጥም፣ ስለዚህ ገንዳውን በአገልግሎቱ ትክክለኛ የመውጫ ባህሪ መሰረት ይምረጡ።