A' gabhail a-steach agus a' luchdachadh liosta neach-ionaid ann am pròiseact Scrapy a chaidh a chur an sàs

Chan eil faidhle neach-ionaid ri taobh clon leasachaidh an làthair gu fèin-ghluasadach ann am pacag a' chur an sàs aig a' chrann. Tha dà obair ann: na beataichean a ghabhail a-steach anns an t-sgaoileadh, agus an uair sin an lorg anns a' phacag a chaidh a stàladh.

Airson pròiseact Setuptools le crawl_app/resources/proxies.txt am broinn a' phacaid Python aige, faodaidh inntrigeadh pyproject.toml a ghabhail a-steach e:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

Cuir sin còmhla ri rèiteachadh pacaid a tha ann mar-thà sa phròiseact. Tha eadar-aghaidh in-ghabhail dàta fhèin aig cùl-togail eile.

Airson middleware as urrainn sreathan endpoint ithe, faodaidh Python 3.11+ goireas na pacaid a leughadh gu dìreach:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

Cleachd fìor-ainm na pacaid agus dearbhaich cruth URL a thathar an dùil ris anns an leughadair. Airson dàta endpoint poblach a ghabhas sgaoileadh, cleachd seòlaidhean bhon liosta neach-ionaid an-asgaidh anns a' phròtacal agus ann an cruth URL a tha am middleware an dùil ris. Chan eil an lorg an urra ri pasgan-obrach làithreach a' chur an sàs.

Dh'fhaodadh suidheachadh PROXY_LIST bho threas phàrtaidh slighe siostam-fhaidhle iarraidh seach na sreathan seo. Nuair a chleachdas tu importlib.resources.as_file airson na h-eadar-aghaidh sin, cùm a cho-theacsa fosgailte fhad 's a tha am faidhle air a thoirt a-mach a dhìth air an middleware. Le bhith a' tilleadh slighe sealach an dèidh a' cho-theacsa a dhùnadh, dh'fhaodar an goireas a chall.

Cùm liostaichean cinneasachaidh le teisteasan anns an stòr dhìomhair no rèiteachaidh a tha san amharc airson a' chur an sàs. Tha dàta pacaid freagarrach airson dàta endpoint a ghabhas sgaoileadh, chan e barail gum fantainn a h-uile rud a tha air a phacaigeadh le còd prìobhaideach.