Scrapy இன் HTTP ப்ராக்ஸி மிடில்வேருடன் ஒவ்வொரு கோரிக்கைக்கும் ப்ராக்ஸிகள்

Scrapy இன் HTTP ப்ராக்ஸி மிடில்வேர் கோரிக்கை மெட்டாடேட்டாவிலிருந்து ப்ராக்ஸியைப் படிக்கிறது:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

ஆவணத்தின் இறுதிப்புள்ளியை மாற்றி மிடில்வேரை இயக்கத்தில் வைத்திருங்கள். HTTP ப்ராக்ஸி பட்டியல் இந்தக் கோரிக்கை URL-க்கு பொதுப் போட்டியாளர்களை வழங்குகிறது. இது கோரிக்கையின் பாதையைத் தேர்ந்தெடுக்கிறது; ப்ராக்ஸி குளத்திற்குத் தனி தேர்வு தர்க்கம் தேவை.

அங்கீகாரம் தேர்ந்தெடுக்கப்பட்ட இறுதிப்புள்ளியைப் பின்பற்றுகிறது

உள்ளமைந்த மிடில்வேர் அதன் ஆதரிக்கப்படும் ப்ராக்ஸி URL மற்றும் தொடர்புடைய அங்கீகார தலைப்பு வழியாக வழங்கப்படும் சான்றுகளைக் கையாள்கிறது. ஒதுக்கப்பட்ட URL எழுத்துகளை escape செய்யுங்கள் மற்றும் அந்த URL-ஐ பதிவு செய்வதைத் தவிர்க்கவும்.

இறுதிப்புள்ளி மாறிய பிறகு தனி மிடில்வேர் முந்தைய ப்ராக்ஸிக்கான Basic தலைப்பை வைத்திருக்கக்கூடாது. ஒரே அடுக்கு பாதையையும் அதன் சான்றுகளையும் ஒன்றாக நிர்வகிக்கட்டும்.

தேர்வு வரிசை மற்றும் இயல்புநிலைகள்

தனிப்பயன் பதிவிறக்க மிடில்வேர் ப்ராக்ஸியைத் தேர்ந்தெடுத்தால், உள்ளமைந்த ப்ராக்ஸி மிடில்வேர் கோரிக்கையைச் செயலாக்கும் முன் அதை இயக்கவும். நிறுவப்பட்ட பதிப்பின் வரிசையையும் API-ஐயும் சரிபார்க்கவும்; காலாவதியான scrapy.contrib இறக்குமதிகள் பழைய பதிப்புகளுக்கானவை.

செயல்முறை சூழல் திட்டவட்டமான இயல்புநிலைகளையும் வழங்கலாம். வேண்டுமென்றே நேரடியான கோரிக்கைக்கு ஆவணப்படுத்தப்பட்ட சிறப்பு proxy மெட்டாடேட்டா நடத்தையைப் பயன்படுத்தவும்: இல்லாத திறவுகோல் எப்போதும் நேரடி அணுகலைக் குறிக்காது.

உண்மையான முடிவைச் சரிபார்க்கவும். 407 ப்ராக்ஸி அங்கீகாரம் தொடர்பானது, அதேசமயம் இணையதளத்தின் வேக வரம்பு அல்லது அணுகல் மறுப்பு பாதை சரியாக வேலை செய்த பிறகு வரலாம்.