Pilih Proksi untuk Setiap Sumber Splash

Pilih proksi Splash pada skop render atau dalam panggilan balik on_request apabila sumber individu memerlukan laluan berbeza.

Permintaan Scrapy boleh sampai ke Splash dengan jayanya manakala pelayar di dalam Splash masih memerlukan laluan keluar yang berbeza. Ini dua sambungan:

Scrapy → Splash API
Splash browser → forward proxy → website

Untuk satu proksi setiap render, hantar argumen proxy API HTTP. Splash 3.5 mendokumenkan URL proksi seperti http://proxy.example:8080, atau nama profil proksi yang dikonfigurasikan. Format URL-nya juga menyokong SOCKS5 dan kelayakan pilihan.

Apabila sumber halaman individu memerlukan titik akhir berbeza, gunakan skrip execute dan daftarkan pilihan sebelum navigasi:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

Hantar default_proxy dan special_proxy sebagai nama hos, dan special_resource sebagai URL tepat sumber yang perlu dihalakan secara berasingan. Gantikan satu-satunya port contoh apabila kedua-dua pendengar berbeza. Sumber lain menerima laluan lalai. Senarai proksi HTTP menyediakan calon titik akhir untuk medan hos dan port ini apabila laluan sumber awam dibenarkan dan tiada kelayakan proksi digunakan pada calon.

Kaedah request menerima medan username dan password pilihan. Dengan jenis HTTP, destinasi HTTPS menggunakan CONNECT melalui proksi HTTP itu; ia tidak memerlukan jenis proksi HTTPS yang direka.

Panggilan balik berjalan sebelum setiap permintaan. Kaedah request-nya tidak boleh mengubah permintaan selepas dihantar, dan panggilan balik tidak boleh memanggil kaedah Splash tak segerak seperti splash:go atau splash:wait.

Kekalkan pilihan laluan yang stabil apabila halaman menjangka satu sesi atau satu identiti sumber. Menetapkan setiap imej dan permintaan API secara rawak ke saluran keluar lain boleh menghasilkan halaman terender yang permintaannya tidak lagi tergolong dalam satu sesi yang koheren.

Artikel berkaitan