Проксији по захтеву уз HTTP прокси middleware у Scrapy-ју

Користите метаподатке Scrapy захтева и његов прокси middleware пре него што стари прилагођени middleware за аутентификацију копирате у crawler.

Scrapy-јев HTTP прокси middleware чита прокси из метаподатака захтева:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Замените крајњу тачку из документације и оставите middleware укључен. Листа HTTP проксија нуди јавне кандидате за URL овог захтева. Тиме се бира рута захтева; прокси пул захтева посебну логику одабира.

Аутентификација прати изабрану крајњу тачку

Уграђени middleware обрађује акредитиве достављене кроз подржани URL проксија и повезано заглавље ауторизације. Избегните резервисане URL знакове и не бележите тај URL у логове.

Одвојени middleware не би требало да задржи Basic заглавље за претходни прокси након промене крајње тачке. Нека један слој управља рутом и њеним акредитивима заједно.

Редослед одабира и подразумеване вредности

Ако прилагођени downloader middleware бира прокси, покрените га пре него што уграђени прокси middleware обради захтев. Проверите редослед и API инсталиране верзије; застарели scrapy.contrib увози припадају старијим верзијама.

Окружење процеса такође може дати подразумеване вредности специфичне за шему. За намерно директан захтев користите документовано посебно понашање метаподатака proxy: одсутан кључ не значи нужно директан приступ.

Проверите стварни исход. 407 се односи на аутентификацију проксија, док ограничење брзине или забрана приступа веб странице могу доћи након што је рута исправно радила.

Повезани чланци