Joylashtirilgan Scrapy loyihasida proksi ro'yxatini kiritish va yuklash

Rivojlanish kloni yonidagi proksi fayli crawler-ning joylashtirilgan paketida avtomatik mavjud emas. Ikki ish bor: baytlarni tarqatishga kiritish, so'ngra ularni o'rnatilgan paketdan topish.

Python paketi ichida crawl_app/resources/proxies.txt bo'lgan Setuptools loyihasi uchun pyproject.toml yozuvi uni kiritishi mumkin:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

Buni loyihaning mavjud paket konfiguratsiyasi bilan birlashtiring. Boshqa build backend o'zining ma'lumot kiritish interfeysiga ega.

Endpoint satrlarini iste'mol qila oladigan middleware uchun Python 3.11+ paket resursini to'g'ridan-to'g'ri o'qiy oladi:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

Haqiqiy paket nomidan foydalaning va o'quvchida kutilgan URL formatini tekshiring. Tarqatiladigan ommaviy endpoint ma'lumotlari uchun middleware kutgan protokol va URL formatida bepul proksi ro'yxati manzillaridan foydalaning. Qidiruv joylashtirishning joriy ish katalogiga bog'liq emas.

Uchinchi tomon PROXY_LIST sozlamasi bu satrlar o'rniga fayl tizimi yo'lini talab qilishi mumkin. O'sha interfeys uchun importlib.resources.as_file dan foydalanganda, middleware chiqarilgan faylga muhtoj bo'lgunicha uning kontekstini ochiq tuting. Kontekst yopilgandan keyin vaqtinchalik yo'lni qaytarish resursni yo'qotishi mumkin.

Hisob ma'lumotlariga ega ishlab chiqarish ro'yxatlarini joylashtirish uchun mo'ljallangan maxfiy yoki konfiguratsiya omborida saqlang. Paket ma'lumotlari tarqatiladigan endpoint ma'lumotlari uchun mos, kod bilan birga paketlangan hamma narsa maxfiy qoladi degan taxmin emas.