მოთხოვნის მიხედვით პროქსიები Scrapy-ის HTTP პროქსი მიდლვეარით

Scrapy-ის HTTP პროქსი მიდლვეარი პროქსის კითხულობს მოთხოვნის მეტამონაცემებიდან:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

შეცვალეთ დოკუმენტაციის საბოლოო წერტილი და დატოვეთ მიდლვეარი ჩართული. HTTP პროქსიების სია გთავაზობთ საჯარო კანდიდატებს ამ მოთხოვნის URL-ისთვის. ეს ირჩევს მოთხოვნის მარშრუტს; პროქსიების პულს ცალკე შერჩევის ლოგიკა სჭირდება.

ავთენტიფიკაცია მიჰყვება არჩეულ საბოლოო წერტილს

ჩაშენებული მიდლვეარი ამუშავებს მისი მხარდაჭერილი პროქსი URL-ისა და შესაბამისი ავტორიზაციის სათაურის მეშვეობით მოწოდებულ რწმუნებებს. გაუშვით URL-ის დაცული სიმბოლოები და მოერიდეთ ამ URL-ის ჟურნალში ჩაწერას.

ცალკე მიდლვეარმა არ უნდა შეინარჩუნოს Basic სათაური წინა პროქსისთვის საბოლოო წერტილის შეცვლის შემდეგ. დაე, ერთმა ფენამ ერთად მართოს მარშრუტი და მისი რწმუნებები.

შერჩევის რიგი და ნაგულისხმევები

თუ მორგებული ჩამოტვირთვის მიდლვეარი ირჩევს პროქსის, გაუშვით ის სანამ ჩაშენებული პროქსი მიდლვეარი დაამუშავებს მოთხოვნას. შეამოწმეთ დაყენებული გამოშვების რიგი და API; მოძველებული scrapy.contrib იმპორტები უფრო ძველ გამოშვებებს ეკუთვნის.

პროცესის გარემოს შეუძლია ასევე მიაწოდოს სქემის სპეციფიკური ნაგულისხმევები. განზრახ პირდაპირი მოთხოვნისთვის გამოიყენეთ proxy მეტამონაცემების დოკუმენტირებული სპეციალური ქცევა: არარსებული გასაღები სულაც არ ნიშნავს პირდაპირ წვდომას.

შეამოწმეთ ფაქტობრივი შედეგი. 407 ეხება პროქსის ავთენტიფიკაციას, ხოლო ვებსაიტის სიჩქარის ლიმიტი ან წვდომის უარყოფა შეიძლება მოვიდეს მას შემდეგ, რაც მარშრუტი სწორად იმუშავა.