तैनाथ गरिएको Scrapy परियोजनामा प्रोक्सी सूची समावेश र लोड गर्नुहोस्

विकास क्लोनको छेउमा रहेको प्रोक्सी फाइल क्रलरको तैनाथ प्याकेजमा स्वचालित रूपमा हुँदैन। दुई काम छन्: बाइटहरू वितरणमा समावेश गर्ने, त्यसपछि स्थापित प्याकेजमा तिनीहरू खोज्ने।

आफ्नो Python प्याकेजभित्र crawl_app/resources/proxies.txt भएको Setuptools परियोजनाका लागि, pyproject.toml प्रविष्टिले यसलाई समावेश गर्न सक्छ:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

यसलाई परियोजनाको अवस्थित प्याकेज कन्फिगरेसनसँग मर्ज गर्नुहोस्। फरक बिल्ड ब्याकएन्डको आफ्नै डेटा-समावेश इन्टरफेस हुन्छ।

endpoint स्ट्रिङहरू उपभोग गर्न सक्ने middleware का लागि, Python 3.11+ ले प्याकेज स्रोत सिधै पढ्न सक्छ:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

वास्तविक प्याकेज नाम प्रयोग गर्नुहोस् र रिडरमा अपेक्षित URL ढाँचा प्रमाणित गर्नुहोस्। वितरणयोग्य सार्वजनिक endpoint डेटाका लागि, middleware ले अपेक्षा गर्ने प्रोटोकल र URL ढाँचामा निःशुल्क प्रोक्सी सूची बाट ठेगानाहरू प्रयोग गर्नुहोस्। खोज तैनाथीको हालको कार्य निर्देशिकामा निर्भर हुँदैन।

तेस्रो पक्षको PROXY_LIST सेटिङलाई यी स्ट्रिङहरूको सट्टा फाइलसिस्टम पथ चाहिन सक्छ। त्यो इन्टरफेसका लागि importlib.resources.as_file प्रयोग गर्दा, middleware लाई निकालिएको फाइल आवश्यक नभएसम्म यसको सन्दर्भ खुला राख्नुहोस्। सन्दर्भ बन्द भएपछि अस्थायी पथ फर्काउँदा स्रोत हराउन सक्छ।

प्रमाणहरू भएका उत्पादन सूचीहरू तैनाथीका लागि अभिप्रेत गोप्य वा कन्फिगरेसन भण्डारणमा राख्नुहोस्। प्याकेज डेटा वितरणयोग्य endpoint डेटाका लागि उपयुक्त छ, कोडसँग बन्डल गरिएको सबै गोप्य रहन्छ भन्ने अनुमान होइन।