Inkluzivi kaj ŝargi proksejan liston en deplojita Scrapy-projekto

Prokseja dosiero apud evoluiga klono ne aŭtomate ĉeestas en la deplojita pakaĵo de la rampilo. Estas du taskoj: inkluzivi la bajtojn en la dissendo, poste trovi ilin en la instalita pakaĵo.

Por Setuptools-projekto kun crawl_app/resources/proxies.txt ene de sia Python-pakaĵo, pyproject.toml-ero povas inkluzivi ĝin:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

Kunfandu tion kun la ekzistanta paka agordo de la projekto. Alia konstrua malantaŭo havas sian propran daten-inkluzivan interfacon.

Por middleware, kiu povas konsumi endpoint-ĉenojn, Python 3.11+ povas legi la pakan rimedon rekte:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

Uzu la faktan pakan nomon kaj validigu la atendatan URL-formon en la legilo. Por disdoneblaj publikaj endpoint-datumoj, uzu adresojn el la senpaga prokseja listo en la protokolo kaj URL-formo atendataj de la middleware. La serĉo ne dependas de la nuna labordosierujo de la deplojo.

Tria PROXY_LIST-agordo povas postuli dosiersisteman vojon anstataŭ ĉi tiuj ĉenoj. Uzante importlib.resources.as_file por tiu interfaco, tenu ĝian kuntekston malfermita tiom longe kiom la middleware bezonas la eltiritan dosieron. Redoni provizoran vojon post la fermo de la kunteksto povas perdi la rimedon.

Konservu produktadajn listojn kun akreditiloj en la celita sekreta aŭ agorda konservejo de la deplojo. Pakaj datumoj taŭgas por disdoneblaj endpoint-datumoj, ne por la supozo, ke ĉio kunpakaĵigita kun kodo restas privata.