Scrapy HTTP прокси аралық бағдарламасымен әр сұрауға арналған проксилер

Ескі теңшелетін аутентификация аралық бағдарламасын сканерге көшірмес бұрын Scrapy сұрау метадеректерін және оның прокси аралық бағдарламасын пайдаланыңыз.

Scrapy-дің HTTP прокси аралық бағдарламасы проксиді сұрау метадеректерінен оқиды:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Құжаттамадағы соңғы нүктені ауыстырыңыз және аралық бағдарламаны қосулы қалдырыңыз. HTTP прокси тізімі осы сұрау URL-і үшін жалпыға қолжетімді үміткерлерді ұсынады. Бұл сұрау бағытын таңдайды; прокси пулына жеке таңдау логикасы қажет.

Аутентификация таңдалған соңғы нүктеге сүйенеді

Кіріктірілген аралық бағдарлама өзі қолдайтын прокси URL-і және онымен байланысты авторизация тақырыбы арқылы берілген тіркелгі деректерін өңдейді. URL-дің қорғалған таңбаларын экрандаңыз және сол URL-ді журналға жазбаңыз.

Жеке аралық бағдарлама соңғы нүкте өзгергеннен кейін алдыңғы прокси үшін Basic тақырыбын сақтамауы керек. Бір қабат маршрутты және оның тіркелгі деректерін бірге басқарсын.

Таңдау реті және әдепкі мәндер

Егер теңшелетін жүктеу аралық бағдарламасы проксиді таңдаса, оны кіріктірілген прокси аралық бағдарламасы сұрауды өңдегенге дейін іске қосыңыз. Орнатылған шығарылымның ретін және API-ін тексеріңіз; ескірген scrapy.contrib импорттары ескі шығарылымдарға жатады.

Процесс ортасы схемаға тән әдепкі мәндерді де бере алады. Әдейі тікелей сұрау үшін proxy метадеректерінің құжатталған арнайы әрекетін пайдаланыңыз: жоқ кілт міндетті түрде тікелей қатынасты білдірмейді.

Нақты нәтижені тексеріңіз. 407 прокси аутентификациясына қатысты, ал веб-сайттың жылдамдық шегі немесе қатынастан бас тарту маршрут дұрыс жұмыс істегеннен кейін келуі мүмкін.

Қатысты мақалалар