การทำงานพร้อมกันของพร็อกซี Scrapy ข้ามหลายโดเมน

หากทุกปลายทางใช้บัญชีพร็อกซีเดียว โควตาคำขอพร้อมกันของบัญชีนั้นอาจถูกใช้หมดไปในทุกปลายทางเหล่านั้น ขีดจำกัดต่อโดเมนเพียงอย่างเดียวไม่แสดงถึงงบประมาณที่ใช้ร่วมกันนี้

สำหรับบัญชีสมมติที่อนุญาตคำขอพร้อมกันได้สูงสุด 20 คำขอ ให้เหลือพื้นที่ไว้บ้างแล้วตั้งขีดจำกัดตัวดาวน์โหลดแบบทั่วโลกของ crawler:

CONCURRENT_REQUESTS = 16

นี่เป็นการแบ่งสรรแบบตัวอย่าง ไม่ใช่ค่าที่แนะนำสำหรับผู้ให้บริการทุกราย Scrapy กำหนดให้ CONCURRENT_REQUESTS เป็นจำนวนคำขอพร้อมกันสูงสุดของตัวดาวน์โหลด การควบคุมต่อโดเมนสามารถลดการทำงานพร้อมกันได้อีก แต่ไม่ได้แทนที่เพดานทั่วโลก

นับรวม crawler อื่นในการคำนวณด้วย crawler อิสระสองตัวที่แต่ละตัวได้รับอนุญาต 16 คำขอ อาจร่วมกันเกินโควตาร่วม 20 ได้ แบ่งงบประมาณอย่างตั้งใจหรือบังคับขีดจำกัดร่วมตรงจุดที่ไคลเอนต์เหล่านั้นมาบรรจบกัน

กำหนดด้วยว่าผู้ให้บริการนับอะไร คำขอ HTTP การเชื่อมต่อ TCP ที่เปิดอยู่ อุโมงค์ที่ทำงานอยู่ และคำขอต่อวินาทีเป็นปริมาณที่ต่างกัน การเชื่อมต่อแบบต่อเนื่องและการมัลติเพล็กซ์อาจทำให้ตัวเลขต่างกัน ดังนั้นการตั้งค่าการทำงานพร้อมกันของคำขอจึงไม่ใช่ตัวจำกัดการเชื่อมต่อหรืออัตราที่สมบูรณ์

คงจังหวะของไซต์เป้าหมายไว้เป็นข้อจำกัดแยกต่างหาก การทำงานพร้อมกันที่ต่ำลงหรือการหน่วงเวลาดาวน์โหลดอาจยังเหมาะสมกับปลายทางใดปลายทางหนึ่งแม้บัญชีพร็อกซีจะมีความจุที่ยังไม่ได้ใช้