متعدد ڈومینز میں Scrapy پراکسی کی ہم وقتی

اگر ہر منزل ایک ہی پراکسی اکاؤنٹ استعمال کرے تو اس اکاؤنٹ کی بیک وقت درخواستوں کی اجازت ان تمام منزلوں میں خرچ ہو سکتی ہے۔ صرف فی ڈومین حد اس مشترکہ بجٹ کا اظہار نہیں کرتی۔

ایسے فرضی اکاؤنٹ کے لیے جو زیادہ سے زیادہ 20 بیک وقت درخواستوں کی اجازت دیتا ہے، کچھ گنجائش چھوڑ کر کرالر کی عالمی ڈاؤن لوڈر حد مقرر کریں:

CONCURRENT_REQUESTS = 16

یہ ایک مثالی تقسیم ہے، ہر فراہم کنندہ کے لیے تجویز کردہ قدر نہیں۔ Scrapy، CONCURRENT_REQUESTS کی تعریف ڈاؤن لوڈر کی زیادہ سے زیادہ بیک وقت درخواستوں کی تعداد کے طور پر کرتا ہے۔ فی ڈومین کنٹرول ہم وقتی مزید کم کر سکتے ہیں؛ وہ عالمی حد کی جگہ نہیں لیتے۔

دیگر کرالرز کو بھی حساب میں شامل کریں۔ دو آزاد کرالر جن میں سے ہر ایک کو 16 درخواستوں کی اجازت ہے، مل کر 20 کی مشترکہ اجازت سے تجاوز کر سکتے ہیں۔ بجٹ کو جان بوجھ کر تقسیم کریں یا جہاں وہ کلائنٹ ملتے ہیں وہاں مشترکہ حد نافذ کریں۔

یہ بھی طے کریں کہ فراہم کنندہ کیا شمار کرتا ہے۔ HTTP درخواستیں، کھلے TCP کنکشن، فعال سرنگیں اور فی سیکنڈ درخواستیں مختلف مقداریں ہیں۔ مستقل کنکشن اور ملٹی پلیکسنگ ان کی گنتی مختلف کر سکتے ہیں۔ اس لیے درخواست ہم وقتی کی ترتیب مکمل کنکشن یا رفتار کی حد نہیں ہے۔

ہدف سائٹ کی رفتار کو الگ پابندی کے طور پر رکھیں۔ پراکسی اکاؤنٹ میں غیر استعمال شدہ صلاحیت ہونے کے باوجود کسی مخصوص منزل کے لیے کم ہم وقتی یا ڈاؤن لوڈ تاخیر مناسب رہ سکتی ہے۔