প্ৰক্সিৰ জৰিয়তে Scrapy AutoThrottle: স্লট আৰু লেটেন্সি
লক্ষ্য ছাইটৰ ডাউনলোড স্লট প্ৰক্সি ৰুটৰ পৰা পৃথক ৰাখক আৰু লেটেন্সিক পৰ্যবেক্ষিত অনুৰোধ পথ হিচাপে ব্যাখ্যা কৰক।
ডিফল্টভাৱে Scrapy-এ অনুৰোধ URL-ৰ ডমেইনৰ পৰা ডাউনলোড স্লট নিযুক্ত কৰে। অনুৰোধ এটাক HTTP প্ৰক্সি দিলে সেই URL প্ৰক্সিৰ হোষ্টনেমলৈ পৰিবৰ্তন নহয়। সেয়েহে বেলেগ বেলেগ ছাইটলৈ যোৱা অনুৰোধে এটা মধ্যস্থকাৰী ভাগ কৰিও বেলেগ বেলেগ স্লট ৰাখিব পাৰে।
AutoThrottle-এ পৰ্যবেক্ষিত ডাউনলোড লেটেন্সি ব্যৱহাৰ কৰি প্ৰতিটো স্লটৰ বিলম্ব সমন্বয় কৰে। প্ৰতি-ডমেইন সংগতি সীমা আৰু ন্যূনতম ডাউনলোড বিলম্ব এতিয়াও প্ৰযোজ্য।
এলগৰিদম সলনি কৰাৰ আগতে গ্ৰুপিং পৰীক্ষা কৰক
এটা কাষ্টম মিডলৱেৰে request.meta["download_slot"] নিযুক্ত কৰিব পাৰে, যিয়ে স্বাভাৱিক স্লট নিৰ্বাচনক অতিক্ৰম কৰে। কিছুমান প্ৰক্সি এক্সটেনশনে নিজৰ গ্ৰুপিং ব্যৱহাৰ কৰে। সম্পৰ্কহীন ছাইটে এটা থ্ৰটল ভাগ কৰা যেন লাগিলে সেই ছেটিংসমূহ পৰীক্ষা কৰক।
বিপৰীতে, প্ৰতিটো প্ৰক্সিৰ বাবে বেলেগ স্লট নিযুক্ত কৰিলে একাধিক প্ৰক্সিয়ে একে লক্ষ্যক একেলগে সংযোগ কৰিব পাৰে। ই ক্ৰ'লাৰে সন্মান কৰিবলগীয়া ছাইট-বিস্তৃত সীমা ব্যৰ্থ কৰিব পাৰে। সুৰক্ষিত সম্পদৰ অনুসৰি স্লট কী বাছনি কৰক।
বিলম্বত আপুনি ব্যৱহাৰ কৰা পথটো সন্নিবিষ্ট থাকে
Scrapy-এ অনুৰোধ পঠিওৱাৰ পৰা HTTP হেডাৰ লাভ কৰালৈকে লেটেন্সি জোখে। প্ৰক্সিৰ মাজেৰে যোৱা অনুৰোধত সেই পৰ্যবেক্ষণত মধ্যস্থকাৰীৰ শাৰী আৰু প্ৰেৰণ বিলম্ব সন্নিবিষ্ট হ'ব পাৰে। AutoThrottle-এ পৃথকভাৱে কেৱল উৎস প্ৰক্ৰিয়াকৰণ সময় নাপায়।
সংগতি বঢ়োৱাৰ দ্বাৰা সেই জোখে ছাইটটোক পৃথক কৰিব নোৱাৰে। লক্ষ্যৰ ভদ্ৰতা আৰু প্ৰক্সি ক্ষমতা দুয়োটা গুৰুত্বপূৰ্ণ হ'লে পৃথক সীমা হিচাপে ৰাখক। শেয়াৰ কৰা প্ৰক্সিৰ লক্ষ্য স্লটজুৰি অতিৰিক্ত সংগতি বাজেটৰ প্ৰয়োজন হ'ব পাৰে, কিন্তু প্ৰতিটো লক্ষ্যই নিজৰ হাৰ নীতি ৰাখে।