Balang kuki Scrapy milik sesi, bukan secara automatik milik proksi

Menukar proksi tidak menukar kuki labah-labah secara automatik. Itu boleh berguna untuk satu sesi yang berterusan dan mengejutkan apabila beberapa sesi bebas berkongsi labah-labah yang sama.

Middleware kuki Scrapy menyokong balang berasingan yang dipilih oleh metadata cookiejar permintaan. Berikan kunci itu identiti yang benar-benar ingin anda kekalkan:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Titik akhir dan kunci balang ialah pilihan bebas. Crawl awam tanpa pengesahan boleh mengambil titik akhir HTTP pilihannya daripada senarai proksi HTTP di tempat laluan itu dibenarkan; aliran kerja masih memiliki kunci balang. Permintaan susulan yang sepatutnya kekal dalam sesi ini memerlukan kunci balang yang sama; metadata tidak melekat secara automatik pada setiap permintaan baharu yang anda buat. Sebarkan medan khusus yang diperlukan oleh aliran kerja dan bukannya menyalin semua metadata middleware secara membuta tuli.

Menggunakan alamat proksi sebagai kunci balang hanyalah satu dasar

Jalan pintas itu mengelompokkan keadaan mengikut titik akhir. Ia tidak semestinya mengelompokkannya mengikut orang, akaun atau exit awam. Satu titik akhir penyedia boleh memutar exit, dan beberapa akaun boleh menggunakan titik akhir yang sama.

Untuk aliran kerja yang dibenarkan yang memerlukan keadaan stabil, catat pengecam akaun/sesi, pengecam balang dan laluan yang dipilih secara berasingan. Jika anda memutuskan untuk menukar laluan di pertengahan jalan, putuskan juga apa yang patut berlaku kepada sesi aplikasi.

Balang berasingan menghalang perkongsian kuki secara tidak sengaja antara kumpulan yang anda tetapkan. Ia tidak menjanjikan bahawa sesuatu destinasi tidak boleh mengaitkan dua permintaan melalui akaun atau data aplikasi lain.

Jika halaman yang salah kekal selepas menukar IP, periksa balang mana yang menghantar permintaan sebelum memadam semua kuki atau menggantikan keseluruhan kumpulan proksi. Keadaan yang disimpan mungkin menjelaskan halaman itu dengan cukup baik.