Konkurensi proxy Scrapy di beberapa domain
Gunakan batas konkurensi global pengunduh ketika beberapa domain target memakai kuota proxy yang sama, lalu hitung juga crawler lain yang berbagi akun tersebut.
Jika setiap tujuan memakai satu akun proxy, jatah permintaan bersamaan akun itu dapat terpakai di semua tujuan tersebut. Batas per domain saja tidak menyatakan anggaran bersama itu.
Untuk akun hipotetis yang mengizinkan paling banyak 20 permintaan bersamaan, sisakan ruang dan tetapkan batas pengunduh global crawler:
CONCURRENT_REQUESTS = 16Ini alokasi ilustratif, bukan nilai yang dianjurkan untuk setiap penyedia. Scrapy mendefinisikan CONCURRENT_REQUESTS sebagai jumlah maksimum permintaan bersamaan pengunduh. Kendali per domain dapat menurunkan konkurensi lebih jauh; keduanya tidak menggantikan plafon global.
Masukkan crawler lain ke dalam perhitungan. Dua crawler independen yang masing-masing diizinkan 16 permintaan dapat bersama-sama melampaui jatah bersama 20. Bagilah anggaran secara sengaja atau terapkan batas bersama di tempat klien-klien itu bertemu.
Pastikan juga apa yang dihitung penyedia. Permintaan HTTP, koneksi TCP terbuka, terowongan aktif, dan permintaan per detik adalah besaran yang berbeda. Koneksi persisten dan multiplexing dapat membuat hitungannya berbeda. Karena itu, pengaturan konkurensi permintaan bukan pembatas koneksi atau laju yang lengkap.
Pertahankan irama situs target sebagai kendala terpisah. Konkurensi yang lebih rendah atau jeda unduh mungkin tetap sesuai untuk satu tujuan tertentu meskipun akun proxy punya kapasitas yang belum terpakai.