Słoik cookies Scrapy należy do sesji, a nie automatycznie do proxy

Zmiana proxy nie zmienia automatycznie plików cookie pająka. Może to być przydatne dla jednej trwającej sesji i zaskakujące, gdy kilka niezależnych sesji dzieli tego samego pająka.

Oprogramowanie pośredniczące do cookies w Scrapy obsługuje osobne słoiki wybierane przez metadane cookiejar żądania. Nadaj temu kluczowi tożsamość, którą naprawdę chcesz zachować:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Punkt końcowy i klucz słoika to niezależne wybory. Nieuwierzytelnione publiczne indeksowanie może pobrać wybrany punkt końcowy HTTP z listy proxy HTTP tam, gdzie ta trasa jest dozwolona; przepływ pracy nadal posiada klucz słoika. Kolejne żądanie, które ma pozostać w tej sesji, potrzebuje tego samego klucza słoika; metadane nie przyklejają się automatycznie do każdego nowego żądania, które tworzysz. Przekazuj konkretne pola wymagane przez przepływ pracy, zamiast bezmyślnie kopiować wszystkie metadane oprogramowania pośredniczącego.

Używanie adresu proxy jako klucza słoika to tylko jedna polityka

Ten skrót grupuje stan według punktu końcowego. Nie musi go grupować według osoby, konta ani publicznego wyjścia. Jeden punkt końcowy dostawcy może rotować wyjścia, a kilka kont może używać tego samego punktu końcowego.

Dla autoryzowanego przepływu pracy wymagającego stabilnego stanu zapisuj osobno identyfikator konta/sesji, identyfikator słoika i wybraną trasę. Jeśli zdecydujesz się zmienić trasę w połowie drogi, zdecyduj też, co ma się stać z sesją aplikacji.

Osobne słoiki zapobiegają przypadkowemu udostępnianiu plików cookie między zdefiniowanymi grupami. Nie obiecują jednak, że cel nie może powiązać dwóch żądań przez konto lub inne dane aplikacji.

Jeśli po zmianie adresów IP nadal pojawia się niewłaściwa strona, sprawdź, który słoik wysłał żądanie, zanim usuniesz wszystkie pliki cookie lub wymienisz całą pulę proxy. Zachowany stan może doskonale wyjaśnić tę stronę.