Scrapy ৰ প্ৰক্সি এণ্ডপইণ্ট আৰু সংযোগ IP পঢ়ক

নিৰ্বাচিত প্ৰক্সিৰ বাবে অনুৰোধৰ মেটাডেটা ব্যৱহাৰ কৰক, response.ip_address ক হেণ্ডলাৰে যোগান ধৰা পীয়াৰ তথ্য হিচাপে গণ্য কৰক, আৰু গন্তব্যস্থলত এক্সিট IP পৰীক্ষা কৰক।

সম্পূৰ্ণ হোৱা প্ৰতিক্ৰিয়াৰ সৈতে সংলগ্ন Request ব্যৱহাৰ কৰক যেতিয়া ইয়াৰ নিৰ্বাচিত পথ পৰীক্ষা কৰে। তিনিটা পৰ্যবেক্ষণ পৃথক ৰাখক:

ক্ষেত্ৰঅৰ্থ
response.request.meta.get('proxy')এই অনুৰোধৰ নিৰ্বাচিত প্ৰক্সি URL, যদি থাকে
response.ip_addressডাউনলোড হেণ্ডলাৰে যোগান ধৰা ঠিকনা, None হ'ব পাৰে
এটা বিশ্বস্ত গন্তব্যস্থলৰ উৎস প্ৰতিবেদনতাত পৰ্যবেক্ষণ কৰা ৰাজহুৱা উৎস

কলবেকৰ ভিতৰত, পৰিচয়পত্ৰযুক্ত URL অংশসমূহ নিয়মীয়া নিদানৰ পৰা বাদ দিয়ক:

from urllib.parse import urlsplit

proxy = response.request.meta.get('proxy')
proxy_host = urlsplit(proxy).hostname if proxy else None
self.logger.info(
    'target_host=%s proxy_host=%s peer_ip=%s',
    urlsplit(response.url).hostname, proxy_host, response.ip_address,
)

Scrapy 2.13.3 ৰ HTTP/1.1 হেণ্ডলাৰত ঠিকনাটো প্ৰতিক্ৰিয়াৰ সংযোগ পীয়াৰৰ পৰা আহে, এক্সিট-IP সেৱাৰ পৰা নহয়। কিছুমান পথ, শূন্য-দৈৰ্ঘ্যৰ প্ৰতিক্ৰিয়াকে ধৰি, ইয়াক None ৰাখিব পাৰে। অন্য হেণ্ডলাৰে ইয়াক বেলেগ ধৰণে পূৰণ কৰিব পাৰে। None য়ে নিজেই প্ৰত্যক্ষ ৰাউটিং প্ৰমাণ নকৰে।

এক্সিট পৰীক্ষাৰ বাবে, উদ্দেশ্যপ্ৰণোদিত প্ৰক্সি নীতিত এটা বিশ্বস্ত এণ্ডপইণ্টত সোধা-পোছা কৰক আৰু ইয়াৰ অনুৰোধ পৰিচয় পৰ্যবেক্ষণৰ সৈতে ৰাখক। ঘূৰ্ণনশীল মিডলৱেৰে পিছৰ পৰীক্ষাক অন্য এণ্ডপইণ্ট দিব পাৰে।

ৰিডাইৰেক্টে আন এটা অনুৰোধো সৃষ্টি কৰে। চূড়ান্ত মেটাডেটাই সেই পৰ্যায় বৰ্ণনা কৰে; প্ৰথম URL ৰ পথৰ প্ৰমাণ হিচাপে গণ্য কৰাৰ পৰিৱৰ্তে ৰিডাইৰেক্ট ইতিহাস আৰু মিডলৱেৰৰ যিকোনো পুনৰ নিৰ্বাচন পৰীক্ষা কৰক।

সম্পৰ্কিত প্ৰবন্ধ