Scrapy-гийн күүки сав проксид биш, сесст хамаарна

Хэд хэдэн прокси ажлын урсгал нэг аалз хуваалцах үед күүки савны тодорхой таних тэмдгийг сонгож, тэр тэмдгийг дараагийн хүсэлтүүдэд дамжуулна уу.

Прокси солих нь аалзны күүкийг автоматаар солихгүй. Энэ нь үргэлжилж буй нэг сессэд ашигтай, харин хэд хэдэн бие даасан сесс нэг аалз хуваалцах үед гайхмаар байж болно.

Scrapy-гийн күүки зуучлагч программа нь хүсэлтийн cookiejar мета өгөгдлөөр сонгогддог тусдаа савнуудыг дэмждэг. Тэр түлхүүрт та үнэхээр хадгалахыг хүсч буй таних тэмдгийг өгнө үү:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Төгсгөлийн цэг ба савны түлхүүр нь бие даасан сонголт юм. Баталгаажуулалтгүй нийтийн мөлхөлт өөрийн сонгосон HTTP төгсгөлийн цэгийг HTTP прокси жагсаалтаас тухайн зам зөвшөөрөгдсөн газарт авч болно; ажлын урсгал савны түлхүүрийг эзэмшсэн хэвээр байна. Энэ сессэд үлдэх ёстой дараагийн хүсэлтэд ижил савны түлхүүр хэрэгтэй; мета өгөгдөл таны үүсгэсэн шинэ хүсэлт бүрт автоматаар наалддаггүй. Зуучлагч програмын бүх мета өгөгдлийг сохроор хуулахын оронд ажлын урсгалд шаардлагатай тодорхой талбаруудыг дамжуулаарай.

Прокси хаягийг савны түлхүүр болгон ашиглах нь зөвхөн нэг бодлого

Тэр богино зам төлөвийг төгсгөлийн цэгээр бүлэглэдэг. Энэ нь хүн, бүртгэл эсвэл нийтийн гаралтаар заавал бүлэглэдэггүй. Нэг үйлчилгээ үзүүлэгчийн төгсгөлийн цэг гаралтыг эргүүлж болох бөгөөд хэд хэдэн бүртгэл ижил төгсгөлийн цэгийг ашиглаж болно.

Тогтвортой төлөв шаарддаг зөвшөөрөгдсөн ажлын урсгалын хувьд бүртгэл/сессийн таних тэмдэг, савны таних тэмдэг, сонгосон замыг тус тусад нь бүртгэнэ үү. Хэрэв зам дундаас өөрчлөхөөр шийдвэл програмын сесст юу тохиолдох ёстойг ч шийдээрэй.

Тусдаа савнууд таны тодорхойлсон бүлгүүдийн хооронд күүки санамсаргүй хуваалцахаас сэргийлдэг. Гэхдээ ямар нэг очих газар бүртгэл эсвэл бусад програмын өгөгдлөөр хоёр хүсэлтийг холбож чадахгүй гэдгийг тэд амладаггүй.

Хэрэв IP сольсны дараа буруу хуудас хэвээр байвал бүх күүкийг устгах эсвэл бүх прокси нөөцийг солихоос өмнө аль сав хүсэлт илгээснийг шалгана уу. Хадгалагдсан төлөв хуудсыг бүрэн тайлбарлаж болно.

Холбоотой нийтлэлүүд