په R کې د httr په مینځ کې پروکسي څرخول او د ډاونلوډ شوي HTML تحلیل

په هر httr غوښتنه کې د پروکسي کرښه بدله کړئ او ډاونلوډ شوي بایټونه xml2 او rvest ته وسپارئ.

د پروکسي غوره توب د ډاونلوډ په عملیه کې وساتئ. کله چې httr پاڼه بیرته راوګرځوله، د هماغه ځواب بایټونه تحلیل کړئ، نه دا چې URL بل ډاونلوډر ته وسپارئ.

که یو urls ویکټر او یو خالي نه data frame proxies د host او بشپړ عدد port ستنو سره ورکړل شوي وي:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

د عامه منځګړو له لارې د اجازه ورکړل شوو عامه پاڼو غوښتنو لپاره د HTTP پروکسي لیست د host او port ستنو لپاره نوماندان برابروي. شاخص له لومړي پروکسي کرښې تر وروستي څرخي او بیا پیل ته راګرځي. هرې غوښتنې خپله پروکسي ترتیبه لري؛ د R بهیر کولای شي دوام وکړي.

ترلاسه شوې پاڼې تحلیل شوي HTML اسناد لري. پر هغو اسنادو rvest::html_elements او اړین د استخراج افعال تطبیق کړئ. پرځای یې read_html ته URL ورکول به د هغې لارې په خپله شبکهيي ترتیبه نوی راټولول پیل کړي.

د تصدیق شوو پروکسي لپاره غوره شوی حساب د use_proxy د username او password دلیلونو له لارې وسپارئ. بېلابېل پای ټکی بېلابېل عامه وتونکی IP تضمین نه کوي، نو د خدمت د واقعي وتلو چلند له مخې ډنډ وټاکئ.

اړوندې مقالې