R ৰ httr ত প্ৰক্সী ঘূৰাই চলোৱা আৰু ডাউনলোড কৰা HTML বিশ্লেষণ কৰা

প্ৰক্সী বাছনি ডাউনলোড কাৰ্য্যতে ৰাখক। httr এ পৃষ্ঠা ঘূৰাই দিয়াৰ পিছত, URL টো আন এটা ডাউনলোডাৰলৈ পঠিওৱাৰ পৰিৱৰ্তে সেই সঁহাৰিৰ বাইটবোৰ বিশ্লেষণ কৰক।

এটা urls ভেক্টৰ আৰু host আৰু integer port স্তম্ভ থকা অশূন্য data frame proxies দিয়া হৈছে:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

ৰাজহুৱা মধ্যস্থতাকাৰীৰ জৰিয়তে অনুমোদিত ৰাজহুৱা পৃষ্ঠাৰ অনুৰোধৰ বাবে, HTTP প্ৰক্সী তালিকাই data frame ৰ host আৰু port স্তম্ভৰ বাবে প্ৰাৰ্থী যোগান ধৰে। সূচকাংকটো প্ৰথম প্ৰক্সী শাৰীৰ পৰা শেষলৈ ঘূৰি পুনৰ আৰম্ভণিলৈ আহে। প্ৰতিটো কলৰ নিজৰ প্ৰক্সী সংৰচনা থাকে; R প্ৰক্ৰিয়াই চলি থাকিব পাৰে।

উৎপন্ন পৃষ্ঠাবোৰত বিশ্লেষিত HTML নথিপত্ৰ থাকে। সেই নথিসমূহত rvest::html_elements আৰু প্ৰয়োজনীয় উদ্ধাৰ ফলন প্ৰয়োগ কৰক। ইয়াৰ পৰিৱৰ্তে read_html লৈ URL দিলে সেই পথৰ নিজৰ নেটৱৰ্ক সংৰচনাৰে নতুন উদ্ধাৰ আৰম্ভ হ'ব।

প্ৰমাণিত প্ৰক্সীৰ বাবে, বাছনি কৰা একাউণ্টটো use_proxy ৰ username আৰু password আৰ্গুমেন্টৰ জৰিয়তে পঠিয়াওক। বেলেগ এণ্ডপইণ্টে বেলেগ ৰাজহুৱা exit IP ৰ নিশ্চয়তা নিদিয়ে, গতিকে সেৱাৰ প্ৰকৃত exit আচৰণ অনুসৰি পুল বাছনি কৰক।