מקבילות פרוקסי של Scrapy בין כמה דומיינים
השתמשו בתקרת המקבילות הגלובלית של המוריד כאשר כמה דומיינים יעד צורכים את אותה מכסת פרוקסי, ואז חשבו גם זוחלים אחרים שחולקים את אותו חשבון.
אם כל יעד משתמש בחשבון פרוקסי אחד, מכסת הבקשות המקבילות של אותו חשבון עלולה להתכלות בכל היעדים האלה. מגבלה לפי דומיין לבדה אינה מבטאת את התקציב המשותף הזה.
עבור חשבון היפותטי שמאפשר לכל היותר 20 בקשות מקבילות, השאירו מרווח מסוים והגדירו את תקרת המוריד הגלובלית של הזוחל:
CONCURRENT_REQUESTS = 16זו הקצאה להמחשה, לא ערך מומלץ לכל ספק. Scrapy מגדיר את CONCURRENT_REQUESTS כמספר הבקשות המקבילות המרבי של המוריד. בקרות לפי דומיין יכולות להפחית עוד את המקבילות; הן אינן מחליפות את התקרה הגלובלית.
כללו בחישוב גם זוחלים אחרים. שני זוחלים בלתי תלויים, שכל אחד מהם מורשה ל-16 בקשות, יכולים יחד לחרוג ממכסה משותפת של 20. חלקו את התקציב במכוון או אכפו מגבלה משותפת במקום שבו הלקוחות האלה נפגשים.
קבעו גם מה הספק סופר. בקשות HTTP, חיבורי TCP פתוחים, מנהרות פעילות ובקשות לשנייה הם גדלים שונים. חיבורים מתמשכים וריבוב יכולים להפריד את הספירות שלהם. לכן הגדרת מקבילות בקשות אינה מגביל מלא של חיבורים או של קצב.
שמרו על קצב אתר היעד כאילוץ נפרד. מקבילות נמוכה יותר או עיכוב הורדה עשויים עדיין להתאים ליעד בודד גם כשבחשבון הפרוקסי יש קיבולת לא מנוצלת.