Crawlee 3 ghép URL proxy với ID phiên

Dùng đối số phiên của ProxyConfiguration trong Crawlee 3.14 để chọn tuyến ổn định, và lưu ý mô hình sở hữu đã thay đổi trong tài liệu chuyển đổi lên v4.

Trong Crawlee 3.14, ProxyConfiguration có thể ghép một định danh phiên với một URL proxy được chọn:

import { ProxyConfiguration } from 'crawlee';

const proxies = new ProxyConfiguration({
  proxyUrls: [
    'http://proxy-a.example:8080',
    'http://proxy-b.example:8080',
  ],
});
const first = await proxies.newUrl('checkout-a');
const sameRoute = await proxies.newUrl('checkout-a');
const anotherSession = await proxies.newUrl('checkout-b');

Danh sách proxy HTTP cung cấp các ứng viên công khai cho proxyUrls. Các lệnh gọi lặp lại với cùng ID phiên trả về URL đã ghép với nó. Không có ID phiên thì danh sách được cung cấp sẽ luân phiên theo vòng. Việc này chọn một điểm cuối đã cấu hình; dịch vụ thượng nguồn luân chuyển lối ra sau một URL vẫn kiểm soát hành vi lối ra của chính nó.

Với các phiên do crawler quản lý, hãy dùng nhóm phiên của crawler và cách lưu cookie. Hạ maxConcurrency xuống một không thay thế cho việc xác định những yêu cầu nào thuộc cùng một phiên.

Cho một phiên nghỉ hưu tạo ra một ranh giới danh tính mới. Giữ tuyến, cookie và trạng thái khối lượng công việc của nó nhất quán thay vì chỉ luân chuyển một trường trong lúc đăng nhập hoặc thao tác nhiều bước.

Phiên bản chính rất quan trọng. Tài liệu chuyển đổi của Crawlee lên v4 loại bỏ đối số sessionId khỏi newUrl và chuyển việc ghép proxy sang quyền sở hữu của Session. Ví dụ trên cố ý dùng giao diện v3; đừng sao chép đối số của nó sang một phiên bản chính khác mà không điều chỉnh vòng đời đó.

Bài viết liên quan