همزمانی پراکسی Scrapy در چند دامنه
وقتی چند دامنهٔ هدف از یک سهمیهٔ پراکسی استفاده میکنند، از سقف همزمانی سراسری دانلودر استفاده کنید و سپس خزندههای دیگری را که همان حساب را شریکاند در نظر بگیرید.
اگر هر مقصد از یک حساب پراکسی استفاده کند، سهمیهٔ درخواستهای همزمان آن حساب میتواند در همهٔ آن مقصدها مصرف شود. محدودیت صرفاً بر پایهٔ دامنه این بودجهٔ مشترک را بیان نمیکند.
برای حسابی فرضی که حداکثر 20 درخواست همزمان را مجاز میداند، کمی فضا نگه دارید و سقف سراسری دانلودر خزنده را تنظیم کنید:
CONCURRENT_REQUESTS = 16
این یک تخصیص نمونه است، نه مقداری توصیهشده برای همهٔ ارائهدهندگان. Scrapy مقدار CONCURRENT_REQUESTS را حداکثر تعداد درخواستهای همزمان دانلودر تعریف میکند. کنترلهای دامنهای میتوانند همزمانی را بیشتر کاهش دهند؛ اما جایگزین سقف سراسری نمیشوند.
خزندههای دیگر را هم در محاسبه بگنجانید. دو خزندهٔ مستقل که هر یک 16 درخواست مجاز دارد میتوانند با هم از سهمیهٔ مشترک 20 فراتر بروند. بودجه را آگاهانه تقسیم کنید یا در جایی که این کلاینتها به هم میرسند سقفی مشترک اعمال کنید.
همچنین مشخص کنید ارائهدهنده چه چیزی را میشمارد. درخواستهای HTTP، اتصالهای باز TCP، تونلهای فعال و درخواست در ثانیه کمیتهای متفاوتی هستند. اتصالهای ماندگار و چندگانهسازی میتوانند شمارش آنها را متفاوت کنند. بنابراین تنظیم همزمانی درخواست، محدودکنندهٔ کامل اتصال یا نرخ نیست.
آهنگ سایت هدف را محدودیتی جداگانه نگه دارید. همزمانی کمتر یا تأخیر در دانلود ممکن است برای یک مقصد خاص همچنان مناسب باشد، حتی وقتی حساب پراکسی ظرفیت استفادهنشده دارد.