तैनात केलेल्या Scrapy प्रकल्पात प्रॉक्सी सूची समाविष्ट करा आणि लोड करा

विकास क्लोनजवळील प्रॉक्सी फाइल क्रॉलरच्या तैनात पॅकेजमध्ये स्वयंचलितपणे नसते. दोन कामे आहेत: बाइट्स वितरणात समाविष्ट करणे, नंतर ते इंस्टॉल केलेल्या पॅकेजमध्ये शोधणे.

crawl_app/resources/proxies.txt आपल्या Python पॅकेजमध्ये असलेल्या Setuptools प्रकल्पासाठी, pyproject.toml नोंद ते समाविष्ट करू शकते:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

ते प्रकल्पाच्या विद्यमान पॅकेज कॉन्फिगरेशनसह एकत्र करा. वेगळ्या बिल्ड बॅकएंडचा स्वतःचा डेटा-समावेश इंटरफेस असतो.

endpoint स्ट्रिंग्स वापरू शकणाऱ्या middleware साठी, Python 3.11+ पॅकेज संसाधन थेट वाचू शकते:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

प्रत्यक्ष पॅकेज नाव वापरा आणि रीडरमध्ये अपेक्षित URL स्वरूप सत्यापित करा. वितरणयोग्य सार्वजनिक endpoint डेटासाठी, middleware अपेक्षित प्रोटोकॉल आणि URL स्वरूपात मोफत प्रॉक्सी सूची मधील पत्ते वापरा. शोध तैनातीच्या सध्याच्या कार्य डिरेक्टरीवर अवलंबून नाही.

तृतीय-पक्ष PROXY_LIST सेटिंगला या स्ट्रिंग्सऐवजी फाइलसिस्टम पथ आवश्यक असू शकतो. त्या इंटरफेससाठी importlib.resources.as_file वापरताना, middleware ला काढलेली फाइल आवश्यक असेपर्यंत त्याचा संदर्भ उघडा ठेवा. संदर्भ बंद केल्यानंतर तात्पुरता पथ परत केल्यास संसाधन गमावले जाऊ शकते.

ओळखपत्रे असलेल्या उत्पादन सूची तैनातीसाठी इच्छित गुप्त किंवा कॉन्फिगरेशन साठवणीत ठेवा. पॅकेज डेटा वितरणयोग्य endpoint डेटासाठी योग्य आहे, कोडसह बंडल केलेले सर्व काही खाजगी राहते असे गृहीत नाही.