ផ្ទុកការកំណត់ប្រូកស៊ី Scrapy ទៅក្នុងស្គ្រីប CrawlerProcess

ស្ពាយឌ័រអាចប្រើប្រូកស៊ីដែលរំពឹងទុកក្រោម scrapy crawl ហើយទៅដោយផ្ទាល់នៅពេលបើកដោយស្គ្រីប Python។ ពិនិត្យរបៀបដែលស្គ្រីបនោះបង្កើតការកំណត់របស់វា មុនពេលផ្លាស់ប្តូរម៉ាស៊ីនបម្រើប្រូកស៊ី។

សម្រាប់គម្រោង Scrapy ដែលមានស្រាប់ និងស្ពាយឌ័រដែលបានចុះបញ្ជីរបស់វា៖

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

ជំនួស catalog ដោយឈ្មោះស្ពាយឌ័ររបស់គម្រោង។ គម្រោងត្រូវតែអាចរកឃើញតាមរយៈ scrapy.cfg របស់វា ឬតាមរយៈ SCRAPY_SETTINGS_MODULE ដែលកំណត់ត្រឹមត្រូវ និងចង្អុលទៅម៉ូឌុលការកំណត់ដែលអាចនាំចូលបាន។

ការបង្កើតតែ CrawlerProcess() មិននាំចូលឯកសារការកំណត់របស់គម្រោងទេ ដោយសារតែស្គ្រីបក៏នាំចូលថ្នាក់ស្ពាយឌ័រដែរ។ ដូច្នេះ middleware ផ្ទាល់ខ្លួនដែលបើកដោយ DOWNLOADER_MIDDLEWARES អាចអវត្តមានពីការដំណើរការនោះ។

ការផ្ទុកការកំណត់ផ្តល់សមាសធាតុដែលបានកំណត់; វាមិនបង្កើតអាសយដ្ឋានប្រូកស៊ីទេ។ middleware ប្រូកស៊ី HTTP របស់ Scrapy នៅតែត្រូវការប្រូកស៊ីបរិស្ថានធម្មតា ឬតម្លៃ request.meta['proxy'] ច្បាស់លាស់។ ពិនិត្យថា HTTPPROXY_ENABLED មិនបានបិទវា។ សម្រាប់ការវាស់វែងទំព័រសាធារណៈដែលបានអនុញ្ញាត បញ្ជីប្រូកស៊ី HTTP ផ្តល់បេក្ខជនសម្រាប់តម្លៃប្រូកស៊ី HTTP ដែលផ្តល់តាមរយៈទិន្នន័យមេតា ឬបរិស្ថាននោះ។

ប្រៀបធៀបការកំណត់ដែលបានផ្ទុក និង middleware សកម្មរបស់កម្មវិធីបើក ជាមួយការដំណើរការតាមបន្ទាត់ពាក្យបញ្ជា។ ប្រសិនបើដូចគ្នា បន្តជាមួយទិន្នន័យមេតាប្រូកស៊ីនៃសំណើដែលបានជ្រើស និងកំហុសដឹកជញ្ជូនពិតប្រាកដ។