تزامن طلبات Scrapy عبر عدة نطاقات
استخدم الحد العام للتزامن في أداة التنزيل عندما تستهلك عدة نطاقات هدف الحصة نفسها من الوكيل، ثم احسب الزواحف الأخرى التي تشارك الحساب نفسه.
إذا كانت كل وجهة تستخدم حساب وكيل واحد، فقد تُستهلك حصة الطلبات المتزامنة لذلك الحساب عبر كل تلك الوجهات. والحد المفروض لكل نطاق على حدة لا يعبّر عن تلك الميزانية المشتركة.
لحساب افتراضي يسمح بـ 20 طلبًا متزامنًا كحد أقصى، اترك مساحة احتياطية واضبط الحد العام لأداة التنزيل في الزاحف:
CONCURRENT_REQUESTS = 16هذا توزيع توضيحي وليس قيمة موصى بها لكل مزوّد. يعرّف Scrapy المتغير CONCURRENT_REQUESTS بأنه الحد الأقصى لعدد الطلبات المتزامنة في أداة التنزيل. ويمكن لضوابط النطاق أن تخفض التزامن أكثر، لكنها لا تحل محل السقف العام.
أدرج الزواحف الأخرى في الحساب. زاحفان مستقلان يُسمح لكل منهما بـ 16 طلبًا يمكنهما معًا تجاوز حصة مشتركة مقدارها 20. قسّم الميزانية عن قصد أو طبّق حدًا مشتركًا حيث تلتقي تلك العملاء.
حدّد أيضًا ما الذي يحسبه المزوّد. طلبات HTTP والاتصالات المفتوحة بـ TCP والأنفاق النشطة والطلبات في الثانية كميات مختلفة. وقد تؤدي الاتصالات المستمرة وتعدد الإرسال إلى اختلاف أعدادها. لذا فإن إعداد تزامن الطلبات ليس محددًا كاملًا للاتصالات أو للمعدل.
احتفظ بـإيقاع الموقع الهدف كقيد منفصل. وقد يظل التزامن الأقل أو تأخير التنزيل مناسبًا لوجهة معينة حتى عندما يكون لدى حساب الوكيل سعة غير مستخدمة.