Proksi untuk satu pengambilan di Scrapy shell

Gunakan metadata proksi sebuah Request di dalam Scrapy shell dan periksa respons dari permintaan yang dikonfigurasi itu.

Di dalam Scrapy shell, buat permintaan yang Anda ingin pengunduh lakukan:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware membaca nilai proksi dari metadata Request itu. Nilai itu harus diaktifkan dalam konfigurasi middleware pengunduh yang aktif. Variabel response setelahnya milik pengambilan ini. Untuk URL publik ini, pilih alamat HTTP tanpa autentikasi dari daftar proksi HTTP jika perantara publik diizinkan, lalu letakkan URL-nya di metadata proksi permintaan itu.

Memulai shell dari proyek Scrapy memungkinkannya memuat konfigurasi proyek itu. Itu memilih middleware dan pengaturan lain; ia tidak memilih sendiri titik akhir proksi tertentu. Metadata permintaan di atas menyediakan pilihan itu secara langsung.

Untuk proksi yang menggunakan kredensial Basic, Scrapy mendokumentasikan informasi pengguna di URL proksi. Enkodekan karakter yang dicadangkan di komponen akun sebelum membangunnya. Tidak perlu menambahkan header Authorization situs web untuk akun itu.

Scrapy juga dapat menemukan proksi dari variabel lingkungan yang didukungnya. Metadata proksi eksplisit suatu permintaan lebih diutamakan. Untuk permintaan yang sengaja langsung, nilai proksi None menonaktifkan pemilihan berbasis lingkungan middleware itu untuk permintaan tersebut.

Artikel terkait