একাধিক ডোমেইনে Scrapy প্রক্সি সমকালীনতা

প্রতিটি গন্তব্য যদি একটি প্রক্সি অ্যাকাউন্ট ব্যবহার করে, তবে সেই অ্যাকাউন্টের সমকালীন অনুরোধের অনুমতি ওই সব গন্তব্যে খরচ হতে পারে। শুধু প্রতি-ডোমেইন সীমা সেই যৌথ বাজেট প্রকাশ করে না।

সর্বোচ্চ 20টি সমকালীন অনুরোধ অনুমোদনকারী একটি কাল্পনিক অ্যাকাউন্টের জন্য কিছু জায়গা রেখে ক্রলারের বৈশ্বিক ডাউনলোডার সীমা নির্ধারণ করুন:

CONCURRENT_REQUESTS = 16

এটি একটি উদাহরণমূলক বণ্টন, প্রতিটি প্রদানকারীর জন্য সুপারিশকৃত মান নয়। Scrapy CONCURRENT_REQUESTS-কে ডাউনলোডারের সর্বোচ্চ সমকালীন অনুরোধ সংখ্যা হিসেবে সংজ্ঞায়িত করে। প্রতি-ডোমেইন নিয়ন্ত্রণ সমকালীনতা আরও কমাতে পারে; কিন্তু বৈশ্বিক সিলিং প্রতিস্থাপন করে না।

অন্য ক্রলারগুলোও হিসাবে রাখুন। দুটি স্বাধীন ক্রলার, যাদের প্রত্যেকের 16টি অনুরোধের অনুমতি আছে, একসঙ্গে 20-এর যৌথ অনুমতি ছাড়িয়ে যেতে পারে। বাজেটটি সচেতনভাবে ভাগ করুন বা যে জায়গায় ওই ক্লায়েন্টরা মেলে সেখানে যৌথ সীমা কার্যকর করুন।

প্রদানকারী কী গণনা করে তাও নির্ধারণ করুন। HTTP অনুরোধ, খোলা TCP সংযোগ, সক্রিয় টানেল এবং প্রতি সেকেন্ডে অনুরোধ — এগুলো ভিন্ন পরিমাণ। স্থায়ী সংযোগ ও মাল্টিপ্লেক্সিং তাদের গণনা আলাদা করতে পারে। তাই অনুরোধ-সমকালীনতার সেটিং সম্পূর্ণ সংযোগ বা হার সীমা নয়।

লক্ষ্য সাইটের গতিকে আলাদা সীমা হিসেবে রাখুন। প্রক্সি অ্যাকাউন্টে অব্যবহৃত সক্ষমতা থাকলেও একটি নির্দিষ্ট গন্তব্যের জন্য কম সমকালীনতা বা ডাউনলোড বিলম্ব উপযুক্ত হতে পারে।