Scrapy প্ৰক্সী ছেটিংসমূহ CrawlerProcess স্ক্ৰিপ্টত লোড কৰক

এটা স্পাইডাৰে scrapy crawl ৰ অধীনত প্ৰত্যাশিত প্ৰক্সী ব্যৱহাৰ কৰিব পাৰে আৰু Python স্ক্ৰিপ্টৰ দ্বাৰা আৰম্ভ কৰিলে পোনপটীয়াকৈ যায়। প্ৰক্সী ছাৰ্ভাৰ সলনি কৰাৰ আগতে সেই স্ক্ৰিপ্টে কেনেকৈ ইয়াৰ ছেটিংসমূহ নিৰ্মাণ কৰে পৰীক্ষা কৰক।

এটা বিদ্যমান Scrapy প্ৰকল্প আৰু ইয়াৰ পঞ্জীয়ন কৰা স্পাইডাৰৰ বাবে:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

catalog ক প্ৰকল্পৰ স্পাইডাৰ নামেৰে সলনি কৰক। প্ৰকল্পটো ইয়াৰ scrapy.cfg ৰ জৰিয়তে, বা আমদানি কৰিব পৰা ছেটিংছ মডিউললৈ দেখুওৱা সঠিকভাৱে ছেট কৰা SCRAPY_SETTINGS_MODULE ৰ জৰিয়তে আৱিষ্কাৰযোগ্য হ'ব লাগিব।

কেৱল CrawlerProcess() নিৰ্মাণ কৰিলে প্ৰকল্পৰ ছেটিংছ ফাইল আমদানি নহয় যদিও স্ক্ৰিপ্টে স্পাইডাৰ শ্ৰেণীও আমদানি কৰে। ফলত DOWNLOADER_MIDDLEWARES ৰ দ্বাৰা সক্ৰিয় কৰা এটা কাষ্টম মিডলৱেৰ সেই ৰানৰ পৰা অনুপস্থিত থাকিব পাৰে।

ছেটিংছ লোড কৰিলে সংৰূপিত উপাদানসমূহ যোগান ধৰে; ই প্ৰক্সী ঠিকনা সৃষ্টি নকৰে। Scrapy ৰ HTTP প্ৰক্সী মিডলৱেৰৰ এতিয়াও ইয়াৰ স্বাভাৱিক পৰিৱেশ প্ৰক্সী বা এটা স্পষ্ট request.meta['proxy'] মান প্ৰয়োজন। HTTPPROXY_ENABLED এ ইয়াক অক্ষম কৰা নাই বুলি পৰীক্ষা কৰক। অনুমোদিত ৰাজহুৱা পৃষ্ঠা ক্ৰলৰ বাবে HTTP প্ৰক্সী তালিকা এ সেই মেটাডেটা বা পৰিৱেশৰ জৰিয়তে যোগান ধৰা HTTP প্ৰক্সী মানৰ বাবে প্ৰাৰ্থী আগবঢ়ায়।

লঞ্চাৰৰ লোড কৰা ছেটিংছ আৰু সক্ৰিয় মিডলৱেৰ কমান্ড-লাইন ৰানৰ সৈতে তুলনা কৰক। যদি মিলে, নিৰ্বাচিত অনুৰোধৰ প্ৰক্সী মেটাডেটা আৰু প্ৰকৃত পৰিবহন ত্ৰুটিৰ সৈতে আগবাঢ়ক।