Crawlee 3 прокси URL-ийг сессийн ID-тай хослуулна

Тогтвортой маршрутын сонголтод Crawlee 3.14-ийн ProxyConfiguration сессийн аргументыг ашиглаж, v4 шилжилтийн баримтад өөрчлөгдсөн эзэмшлийн загварыг харгалзаарай.

Crawlee 3.14-д ProxyConfiguration сессийн танихуурыг сонгосон прокси URL-тай хослуулж чадна:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

HTTP прокси жагсаалт нь proxyUrls-д нийтийн нэр дэвшигчдийг нийлүүлдэг. Нэг сессийн ID-тай давтан дуудахад түүнтэй хосолсон URL-ыг буцаана. Сессийн ID байхгүй бол өгсөн жагсаалт ээлжээр эргэлдэнэ. Энэ нь тохируулсан төгсгөлийн цэгийг сонгоно; нэг URL-ийн ард гарах хаалгуудыг эргүүлдэг дээд урсгалын үйлчилгээ өөрийн гарах зан төлөвийг дандаа хянадаг.

Кроулерын удирддаг сессийн хувьд кроулерын сессийн сан ба күүкий хадгалалтын зохион байгуулалтыг ашиглана уу. maxConcurrency-г нэг болтол буулгах нь аль хүсэлтүүд нэг сессид хамаарахыг тодорхойлохыг орлохгүй.

Сессийг зогсоох нь шинэ ижилсэлийн хил хязгаарыг үүсгэдэг. Нэвтрэх эсвэл олон шатлалт үйлдлийн үед зөвхөн нэг талбарыг эргүүлэхийн оронд түүний маршрут, күүки болон ажлын ачааллын төлөвийг уялдуулан хадгална уу.

Гол хувилбар чухал. Crawlee-ийн v4 шилжилтийн баримт бичиг newUrl-ээс sessionId аргументыг хасч, прокси хослолыг Session-ийн эзэмшилд шилжүүлдэг. Дээрх жишээ v3 интерфейсийг зориуд ашигласан; тэр амьдралын мөчлөгийг тохируулахгүйгээр аргументыг нь өөр гол хувилбарт хуулж болохгүй.

Холбоотой нийтлэлүүд