Scrapy HTTP прокси аралык программасы менен ар бир суроо үчүн проксилер

Эски ыңгайлаштырылган аутентификация аралык программасын Crawler'ге көчүрүүнүн алдында Scrapy суроо метаберилиштерин жана анын прокси аралык программасын колдонуңуз.

Scrapy'нин HTTP прокси аралык программасы проксини суроо метаберилиштеринен окуйт:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Документациядагы акыркы чекитти алмаштырыңыз жана аралык программаны күйгүзүлгөн бойдон калтырыңыз. HTTP прокси тизмеси бул суроо URL'и үчүн коомдук талапкерлерди сунуштайт. Бул суроонун жолун тандайт; прокси бассейни өзүнчө тандоо логикасын талап кылат.

Аутентификация тандалган акыркы чекитти ээрчийт

Курулган аралык программа колдоого алынган прокси URL'и жана тиешелүү авторизация аталышы аркылуу берилген каттоо маалыматтарын иштетет. URL'дин корголгон белгилерин экрандаңыз жана ошол URL'ди журналга жазбаңыз.

Өзүнчө аралык программа акыркы чекит өзгөргөндөн кийин мурунку прокси үчүн Basic аталышын сактабашы керек. Бир катмар жолду жана анын каттоо маалыматтарын чогуу башкарсын.

Тандоо тартиби жана демейкилер

Эгер ыңгайлаштырылган жүктөө аралык программасы проксини тандаса, курулган прокси аралык программасы суроону иштетээрден мурун аны иштетиңиз. Орнотулган чыгарылыштын тартибин жана API'син текшериңиз; эскирген scrapy.contrib импорттору эски чыгарылыштарга таандык.

Процесс чөйрөсү схемага тиешелүү демейкилерди да бере алат. Атайын түз суроо үчүн proxy метаберилиштеринин документтелген атайын жүрүм-турумун колдонуңуз: жок ачкыч сөзсүз түз кирүүнү билдирбейт.

Чыныгы натыйжаны текшериңиз. 407 прокси аутентификациясына тиешелүү, ал эми веб-сайттын ылдамдык чеги же кирүүдөн баш тартуу жол туура иштегенден кийин келиши мүмкүн.

Тектеш макалалар