Ang jar ng cookies ng Scrapy ay pag-aari ng isang sesyon, hindi awtomatikong ng isang proxy

Ang pagpapalit ng proxy ay hindi awtomatikong nagpapalit ng cookies ng spider. Maaari itong maging kapaki-pakinabang para sa isang nagpapatuloy na sesyon at nakakagulat kapag maraming malayang sesyon ang nagbabahagi ng parehong spider.

Sinusuportahan ng middleware ng cookies ng Scrapy ang magkakahiwalay na jar na pinipili ng metadata na cookiejar ng kahilingan. Ibigay sa susi na iyon ang pagkakakilanlang talagang nais mong panatilihin:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Ang endpoint at ang susi ng jar ay magkahiwalay na pagpipilian. Ang isang hindi awtentikadong pampublikong crawl ay maaaring kumuha ng piniling HTTP endpoint mula sa listahan ng HTTP proxy kung saan pinahihintulutan ang rutang iyon; pag-aari pa rin ng daloy ng trabaho ang susi ng jar. Ang kasunod na kahilingan na dapat manatili sa sesyong ito ay nangangailangan ng parehong susi ng jar; hindi awtomatikong dumidikit ang metadata sa bawat bagong kahilingang ginagawa mo. Ipadala ang mga partikular na field na kailangan ng daloy ng trabaho sa halip na bulag na kopyahin ang lahat ng metadata ng middleware.

Ang paggamit ng address ng proxy bilang susi ng jar ay isang patakaran lamang

Ginugrupo ng shortcut na iyon ang estado ayon sa endpoint. Hindi nito kailangang igrupo ito ayon sa tao, account o pampublikong labasan. Maaaring paikutin ng isang endpoint ng provider ang mga labasan, at maaaring gamitin ng maraming account ang parehong endpoint.

Para sa awtorisadong daloy ng trabaho na nangangailangan ng matatag na estado, itala nang hiwalay ang identifier ng account/sesyon, identifier ng jar at piniling ruta. Kung magpasya kang palitan ang ruta sa kalagitnaan, magpasya rin kung ano ang dapat mangyari sa sesyon ng aplikasyon.

Pinipigilan ng magkakahiwalay na jar ang aksidenteng pagbabahagi ng cookies sa pagitan ng mga grupong tinukoy mo. Hindi nila ipinangangako na hindi maaaring iugnay ng isang destinasyon ang dalawang kahilingan sa pamamagitan ng isang account o iba pang datos ng aplikasyon.

Kung nananatili ang maling pahina pagkatapos baguhin ang mga IP, siyasatin kung aling jar ang nagpadala ng kahilingan bago burahin ang lahat ng cookies o palitan ang buong pool ng proxy. Maaaring ipaliwanag nang husto ng pinanatiling estado ang pahina.