ProxyMesh'in Çıkış Başlığı Scrapy'de Neden Eksik Olabilir
ProxyMesh, Scrapy sitenin şifreli yanıtını almadan önce CONNECT üzerinde yönlendirme üst verisi gönderebilir. Bunu gerçekten taşıyan yanıt aşamasını inceleyin.
Scrapy HTTPS geri çağrısında X-ProxyMesh-IP bulunmaması doğrudan yönlendirmeyi kanıtlamaz. Tünellenmiş HTTPS'te ProxyMesh yönlendirme başlıklarını CONNECT yanıtına koyar; sonraki site yanıtı TLS içindedir ve bu önceki üst veriyi otomatik olarak içermez.
Başlığın geri çağrıda göründüğü yerde onu koşullu olarak okuyun:
exit_ip = response.headers.get(b'X-ProxyMesh-IP')
if exit_ip is not None:
self.logger.info('Reported exit IP: %s', exit_ip.decode('ascii'))Bu, o alışveriş için sağlayıcının bildirdiği çıkıştır, yapılandırılmış giriş ana bilgisayar adı değildir.
Tünel üst verisi gerekiyorsa, CONNECT başlıklarını açığa çıkaran uyumlu bir işleyici entegrasyonu kullanın. ProxyMesh bunun için bir tane tutar; desteklenen Scrapy sürümünü ve indirme işleyicisini kontrol edin. Örümcek ayrıştırması, taşımanın hiç sağlamadığı başlıkları ortaya çıkaramaz.
Üst veriyi ait olduğu bağlantıyla ilişkilendirin. Bir tüneli yeniden kullanmak her sayfa için yeni bir CONNECT yanıtı oluşturmaz. Hedefin gözlemlediği bağımsız bir kaynak adresi için sağlayıcı başlığını evrensel bir IP algılayıcı saymak yerine o hedefin gelen bağlantısını inceleyin.