ប្រូកស៊ីក្នុងមួយសំណើជាមួយ HTTP proxy middleware របស់ Scrapy

HTTP proxy middleware របស់ Scrapy អានប្រូកស៊ីពីទិន្នន័យមេតានៃសំណើ៖

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ជំនួសចំណុចបញ្ចប់ក្នុងឯកសារ ហើយទុក middleware ឱ្យបន្តបើក។ បញ្ជីប្រូកស៊ី HTTP ផ្តល់បេក្ខជនសាធារណៈសម្រាប់ URL នៃសំណើនេះ។ វាជ្រើសផ្លូវនៃសំណើ; ស្រះប្រូកស៊ីត្រូវការតក្កវិជ្ជាជ្រើសរើសដោយឡែក។

ការផ្ទៀងផ្ទាត់អនុវត្តតាមចំណុចបញ្ចប់ដែលបានជ្រើស

middleware ដែលមានស្រាប់គ្រប់គ្រងព័ត៌មានសម្ងាត់ដែលផ្តល់តាម URL ប្រូកស៊ីដែលគាំទ្រ និងក្បាលអនុញ្ញាតដែលពាក់ព័ន្ធ។ គេចតួអក្សរ URL ដែលបានរក្សា ហើយជៀសវាងការកត់ត្រា URL នោះ។

middleware ដោយឡែកមិនគួររក្សាក្បាល Basic សម្រាប់ប្រូកស៊ីមុន បន្ទាប់ពីចំណុចបញ្ចប់ផ្លាស់ប្តូរ។ ទុកឱ្យស្រទាប់មួយគ្រប់គ្រងផ្លូវ និងព័ត៌មានសម្ងាត់របស់វាជាមួយគ្នា។

លំដាប់ជ្រើសរើស និងតម្លៃលំនាំដើម

ប្រសិនបើ downloader middleware ផ្ទាល់ខ្លួនជ្រើសប្រូកស៊ី សូមដំណើរការវាមុនពេល proxy middleware ដែលមានស្រាប់ដំណើរការសំណើ។ ពិនិត្យលំដាប់ និង API នៃកំណែដែលបានដំឡើង; ការនាំចូល scrapy.contrib ដែលហួសសម័យជារបស់កំណែចាស់។

បរិស្ថានដំណើរការក៏អាចផ្តល់តម្លៃលំនាំដើមតាមគ្រោង។ សម្រាប់សំណើផ្ទាល់ដោយចេតនា ប្រើឥរិយាបថពិសេសដែលបានចងក្រងនៃទិន្នន័យមេតា proxy៖ កូនសោដែលអវត្តមានមិនចាំបាច់មានន័យថាចូលដំណើរការផ្ទាល់ទេ។

ពិនិត្យលទ្ធផលពិតប្រាកដ។ 407 ទាក់ទងនឹងការផ្ទៀងផ្ទាត់ប្រូកស៊ី ខណៈដែលកំណត់អត្រា ឬការបដិសេធចូលរបស់គេហទំព័រអាចមកដល់បន្ទាប់ពីផ្លូវដំណើរការត្រឹមត្រូវ។