Keserempakan proksi Scrapy merentas berbilang domain

Jika setiap destinasi menggunakan satu akaun proksi, peruntukan permintaan serentak akaun itu boleh habis merentas semua destinasi tersebut. Had setiap domain semata-mata tidak menyatakan belanjawan bersama itu.

Untuk akaun hipotesis yang membenarkan paling banyak 20 permintaan serentak, tinggalkan sedikit ruang dan tetapkan had global pemuat turun crawler:

CONCURRENT_REQUESTS = 16

Ini ialah peruntukan ilustrasi, bukan nilai yang disyorkan untuk setiap penyedia. Scrapy mentakrifkan CONCURRENT_REQUESTS sebagai bilangan maksimum permintaan serentak pemuat turun. Kawalan setiap domain boleh mengurangkan keserempakan lagi; ia tidak menggantikan siling global.

Masukkan crawler lain dalam pengiraan. Dua crawler bebas yang masing-masing dibenarkan 16 permintaan boleh bersama-sama melebihi peruntukan bersama 20. Bahagikan belanjawan secara sengaja atau kuatkuasakan had bersama di tempat klien itu bertemu.

Pastikan juga apa yang dikira oleh penyedia. Permintaan HTTP, sambungan TCP terbuka, terowong aktif dan permintaan sesaat ialah kuantiti yang berbeza. Sambungan berterusan dan pemultipleksan boleh membuat kiraannya berbeza. Oleh itu, tetapan keserempakan permintaan bukan pengehad sambungan atau kadar yang lengkap.

Kekalkan rentak tapak sasaran sebagai kekangan berasingan. Keserempakan yang lebih rendah atau kelewatan muat turun mungkin masih sesuai untuk satu destinasi walaupun akaun proksi mempunyai kapasiti yang belum digunakan.