דרייוון פּראָקסיס אין httr פֿון R און פּאַרסירן דעם אַראָפּגעלאָדנעם HTML

האַלט די פּראָקסי־אויסוואַל אין דער אַראָפּלאָדונג אַליין. נאָך וואָס httr האָט צוריקגעגעבן דעם בלאַט, פּאַרסירט די בײטן פֿון יענער ענטפֿער אַנשטאָט שיקן דעם URL צו אַן אַנדער אַראָפּלאָדער.

אויב עס איז געגעבן אַ וועקטאָר urls און אַ נישט־ליידיקער data frame proxies מיט שפּאַלטן host און גאַנצצאָל port:

pages <- vector("list", length(urls))
stopifnot(nrow(proxies) > 0L)

for (i in seq_along(urls)) {
  row <- ((i - 1L) %% nrow(proxies)) + 1L
  response <- httr::GET(
    urls[[i]],
    httr::use_proxy(proxies$host[[row]], proxies$port[[row]]),
    httr::timeout(30)
  )
  httr::stop_for_status(response)
  pages[[i]] <- xml2::read_html(httr::content(response, as = "raw"))
}

פֿאַר בקשות צו עפֿנטלעכע בלעטער וואָס זענען דערלויבט דורך עפֿנטלעכע מיטלערס, פֿאַרזאָרגט די HTTP־פּראָקסי־ליסטע קאַנדידאַטן פֿאַר די שפּאַלטן host און port. דער אינדעקס דרייט זיך פֿון דער ערשטער פּראָקסי־רודער ביז דער לעצטער און קערט זיך אום צום אָנהייב. יעדער רוף האָט זײַן אייגענע פּראָקסי־קאָנפֿיגוראַציע; דער R־פּראָצעס קען ממשיך זײַן.

די רעזולטאַט־בלעטער אַנטהאַלטן פּאַרסירטע HTML־דאָקומענטן. פֿאַרווענדט rvest::html_elements און די נייטיקע אַרויסציִע־פֿונקציעס אויף די דאָקומענטן. אַריבערגעבן אַ URL צו read_html וואָלט אָנהייבן אַ נײַע אָפּלאָדונג מיט דעם אייגענעם נעץ־קאָנפֿיגוראַציע פֿון יענעם וועג.

פֿאַר אויטענטיפֿיצירטע פּראָקסיס, גיט איבער דעם אויסגעקליבענעם חשבון דורך די username־ און password־אַרגומענטן פֿון use_proxy. אַן אַנדער ענדפּונקט פֿאַרזיכערט נישט אַן אַנדער עפֿנטלעכער אַרויסגאַנג־IP, דעריבער קלייבט דעם פּול לויט דעם טאַקע אַרויסגאַנג־אויפֿפֿירונג פֿון דער דינסט.