ProxyMesh-in çıxış başlığı Scrapy-də niyə itə bilər

ProxyMesh marşrutlaşdırma metadatasını CONNECT üzərində, Scrapy şifrələnmiş sayt cavabını almadan əvvəl göndərə bilər. Metadatanı həqiqətən daşıyan cavab mərhələsini yoxlayın.

Scrapy HTTPS çağırışında X-ProxyMesh-IP-in olmaması birbaşa marşrutlaşdırmanı sübut etmir. Tunellənmiş HTTPS-də ProxyMesh marşrutlaşdırma başlıqlarını CONNECT cavabına qoyur; sonrakı sayt cavabı TLS içindədir və o əvvəlki metadatanı avtomatik ehtiva etmir.

Başlıq çağırışda görünən yerdə onu şərti olaraq oxuyun:

exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
    self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))

Bu, həmin mübadilə üçün provayderin bildirdiyi çıxışdır, konfiqurasiya edilmiş giriş host adı deyil.

Tunel metadatası tələb olunursa, CONNECT başlıqlarını açan uyğun handler inteqrasiyasından istifadə edin. ProxyMesh bunun üçün birini saxlayır; dəstəklənən Scrapy versiyasını və yükləmə handler-ini yoxlayın. Hörümçək təhlili transportun heç vaxt vermədiyi başlıqları aşkara çıxara bilməz.

Metadatanı öz bağlantısı ilə əlaqələndirin. Tunelin təkrar istifadəsi hər səhifə üçün yeni CONNECT cavabı yaratmır. Təyinatın gördüyü müstəqil mənbə ünvanı üçün provayder başlığını universal IP aşkar edici kimi qəbul etmək əvəzinə həmin təyinatın daxil olan bağlantısını yoxlayın.

Əlaqəli məqalələr