Жайгаштырылган Scrapy долбоорунда прокси тизмесин кошуу жана жүктөө

Иштеп чыгуу клонунун жанындагы прокси файлы crawler-дин жайгаштырылган пакетинде автоматтык түрдө жок. Эки иш бар: байттарды таратууга кошуу, анан аларды орнотулган пакеттен табуу.

Python пакетинин ичинде crawl_app/resources/proxies.txt бар Setuptools долбоору үчүн pyproject.toml жазуусу аны кошо алат:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

Аны долбоордун учурдагы пакет конфигурациясы менен бириктириңиз. Башка build backend маалыматтарды кошуунун өз интерфейсине ээ.

Endpoint саптарын колдоно алган middleware үчүн Python 3.11+ пакет ресурсун түз окуй алат:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

Реалдуу пакет атын колдонуңуз жана окуучуда күтүлгөн URL форматын текшериңиз. Таратылуучу коомдук endpoint маалыматтары үчүн middleware күткөн протокол жана URL форматында бекер прокси тизмеси дарегин колдонуңуз. Издөө жайгаштыруунун учурдагы иш каталогуна көз каранды эмес.

Үчүнчү тараптын PROXY_LIST жөндөөсү бул саптардын ордуна файлдык системанын жолун талап кылышы мүмкүн. Ошол интерфейс үчүн importlib.resources.as_file колдонгондо, middleware'ге чыгарылган файл керек болгонго чейин анын контекстин ачык кармаңыз. Контекст жабылгандан кийин убактылуу жолду кайтаруу ресурсту жоготуусу мүмкүн.

Жеткиликтүү маалыматтары бар өндүрүштүк тизмелерди жайгаштыруу үчүн белгиленген жашыруун же конфигурация кампасында сактаңыз. Пакет маалыматтары таратылуучу endpoint маалыматтары үчүн ылайыктуу, код менен бирге таңылгандын баары жашыруун бойдон калат деген божомол эмес.