Scrapy AutoThrottle melalui proksi: slot dan kependaman

Secara lalai, Scrapy menetapkan slot muat turun berdasarkan domain URL permintaan. Memberi proksi HTTP kepada permintaan tidak mengubah URL itu menjadi nama hos proksi. Oleh itu, permintaan ke tapak berbeza boleh mengekalkan slot berbeza sambil berkongsi satu perantara.

AutoThrottle melaraskan kelewatan setiap slot menggunakan kependaman muat turun yang diperhatikan. Had serentak setiap domain standard dan kelewatan muat turun minimum masih terpakai.

Semak pengumpulan sebelum mengubah algoritma

Middleware tersuai boleh menetapkan request.meta["download_slot"], mengatasi pemilihan slot biasa. Sesetengah sambungan proksi menggunakan pengumpulan sendiri. Periksa tetapan itu jika tapak tidak berkaitan kelihatan berkongsi satu penghad.

Sebaliknya, menetapkan slot berbeza bagi setiap proksi boleh membenarkan berbilang proksi menghubungi sasaran yang sama serentak. Itu boleh mengalahkan had seluruh tapak yang sepatutnya dihormati oleh perangkak. Pilih kunci slot mengikut sumber yang dilindungi.

Kelewatan merangkumi laluan yang anda gunakan

Scrapy mengukur kependaman dari penghantaran permintaan hingga penerimaan pengepala HTTP. Permintaan yang dibawa melalui proksi boleh memasukkan kelewatan beratur dan pemajuan perantara dalam pemerhatian itu. AutoThrottle tidak memperoleh masa pemprosesan berasingan khusus asal.

Meningkatkan keserentakan tidak boleh menjadikan ukuran itu mengasingkan tapak. Kekalkan kesopanan sasaran dan kapasiti proksi sebagai had berasingan apabila kedua-duanya penting. Proksi kongsi mungkin memerlukan bajet keserentakan tambahan merentas slot sasaran, manakala setiap sasaran mengekalkan dasar kadarnya sendiri.