ব্লকিং প্ৰক্সী-পুল লুকআপে Scrapy ৰখাই দিব পাৰে

ক্ৰলাৰত যথেষ্ট সংখ্যক সমকালীন অনুৰোধ সংৰেখিত আছে। তথাপি যেতিয়া ই প্ৰক্সী পুলক আন এটা ঠিকনাৰ বাবে সুধে, তেতিয়া ই ৰৈ যায়। অধিক প্ৰক্সী যোগ কৰিলেও সেই ৰৈ যোৱাটো নাছোৱে।

এটা সাধাৰণ মিডলৱেৰ আৰ্হিয়ে requests.get(pool_url) কল process_request() ৰ ভিতৰত কৰে। এইটো এটা ছিংক্ৰনাছ নেটৱৰ্ক কাৰ্য, যিটো পথে Scrapy ৰ অসিংক্ৰনাছ ইঞ্জিনৰ সৈতে সহযোগ কৰিব বুলি আশা কৰা হয়। কলটো ৰৈ থকাৰ সময়ত ই একেটা ইভেন্ট-লুপ থ্ৰেডত অসম্পৰ্কিত কাম ৰখাই দিব পাৰে।

কামটোত দুটা অনুৰোধ আছে

এটা অনুৰোধে পুল সেৱাৰ পৰা এটা এণ্ডপইণ্ট লাভ কৰে। আনটোৱে সেই এণ্ডপইণ্ট ব্যৱহাৰ কৰি গন্তব্যস্থানৰ সৈতে সংযোগ কৰে। দুয়োটাকে পৃথকভাৱে জুখি প্ৰতিবেদন দিয়ক। এটা লেহেমীয়া পুল API য়ে প্ৰয়োগটোৱে সংযোগ কৰাৰ আগতেই প্ৰতিটো নিৰ্বাচিত প্ৰক্সীক লেহেমীয়া যেন দেখুৱাব পাৰে।

সংস্থাপিত Scrapy সংস্কৰণে সমৰ্থন কৰা অসিংক্ৰনাছ আৱিষ্কাৰ সংহতি ব্যৱহাৰ কৰক, বা প্ৰতিটো অনুৰোধৰ সংকটপূৰ্ণ পথৰ বাহিৰত এটা সীমাবদ্ধ স্থানীয় এণ্ডপইণ্ট সংহতি লাভ কৰি সতেজ কৰক। যদি ব্লকিং কাম আন ঠাইত কৰিব লাগে, তেন্তে সেই এক্সিকিউটৰক নিজৰ সীমা আৰু সময়সীমা পৰিচালনা দিয়ক; অসীমিত শাৰীয়ে কেৱল পলম স্থানান্তৰ কৰে।

প্ৰতিটো অনুৰোধৰ বাবে স্বয়ংক্ৰিয়ভাৱে আন এটা আৱিষ্কাৰ কল নকৰিব। এটা চুটি সময়ৰ কেশ্ব বা লীজ লোৱা বেটচে পুল সেৱাৰ ওপৰত নিৰ্ভৰশীলতা কমাব পাৰে, যদি ইয়াৰ জীৱনকাল সেৱাৰ প্ৰকৃত এণ্ডপইণ্ট নীতিত খাপ খায়।

ব্যৰ্থ অনুসন্ধানৰ অৰ্থ নিৰ্ধাৰণ কৰক

এটা খালী বা ব্যৰ্থ পুল সঁহাৰিয়ে নীৰৱে প্ৰক্সী মেটাডেটা আঁতৰাই প্ৰত্যক্ষ অনুৰোধৰ অনুমতি দিয়া উচিত নহয়। এটা স্পষ্ট ফলাফল বাছনি কৰক: কামৰ বাজেটৰ ভিতৰত ৰোৱা, ব্যৰ্থ হোৱা, বা অনুমোদিত কেশ্ব হোৱা এণ্ডপইণ্ট ব্যৱহাৰ কৰা।

পুল API ৰ নিজৰ পথও পৰিষ্কাৰ ৰাখক। যদি ই এটা আভ্যন্তৰীণ সেৱা, তেন্তে ইয়াৰ ব্যক্তিগত হোষ্টনেমটো সেই প্ৰক্সীৰ মাজেৰে পঠিওৱা, যিটোৱে বাছনি কৰাত সহায় কৰে, এটা চক্ৰীয় নিৰ্ভৰশীলতা সৃষ্টি কৰিব পাৰে।

আৱিষ্কাৰে অসম্পৰ্কিত কাম ব্লক নকৰাকৈ কাম কৰাৰ পিছত, সাধাৰণ প্ৰক্সী লেনদেন পৰীক্ষা কৰক। এইবোৰ পৃথক মেৰামতি, আৰু সিহঁতৰ সময়ে লগত পৃথক ক্ষেত্ৰৰ যোগ্য।