At taka proxylista við og lesa hana inn í einum settum Scrapy-verkætlan

Ein proxyfíla við síðuna av einum menningarklona er ikki sjálvvirkandi í settu pakkuni hjá crawlerinum. Tvey arbeiði eru: at taka baytini við í býtingina og síðani at finna tey í installeraðu pakkuni.

Fyri eina Setuptools-verkætlan við crawl_app/resources/proxies.txt inni í Python-pakkuni kann ein pyproject.toml-førsla taka hana við:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

Sameina tað við verandi pakkastillingina í verkætlanini. Ein onnur byggibakgrund hevur sína egnu dátutøku-interface.

Fyri middleware, ið kann brúka endpoint-streingir, kann Python 3.11+ lesa pakkatilfeingið beinleiðis:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

Brúka veruliga pakkanavnið og váttað væntaðu URL-sniðið í lesaranum. Fyri býtandi almenn endpoint-dátu, brúka adressur úr ókeypis proxylista í teimum protokoll- og URL-sniðum, ið middleware væntar. Leitingin er ikki treyðug av verandi arbeiðsmapu setingarinnar.

Ein PROXY_LIST-stilling frá triðja mani kann krevja eina fílakerfisleið í staðin fyri hesar streingir. Tá tú brúkar importlib.resources.as_file fyri tað interface, halt tíðarhøvið uppi so leingi sum middleware hevur tørv á úttekna fílinum. At lata eina tíðarhøviska leið aftur eftir at tíðarhøvið er latið, kann missa tilfeingið.

Goym framleiðslulistar við loyniorðum í ætlaðu loyniliga- ella stillingargoymsluni hjá setingini. Pakkadáta er hóskandi fyri býtandi endpoint-dátu, ikki ein fortreyt um at alt, ið er pakkað við koda, verður verandi privatt.