אַרײַננעמען און לאָדן אַ פּראָקסי־ליסטע אין אַ דיפּלויטער Scrapy־פּראָיעקט

אַ פּראָקסי־טעקע לעבן אַן אַנטוויקלונג־קאָפּיע איז נישט אויטאָמאַטיש פֿאַראַן אין דעם דיפּלויטן פּאַקעט פֿון דעם קראָלער. עס זײַנען צוויי אַרבעטן: אַרײַננעמען די בײַטן אין דער פֿאַרשפּרייטונג, און דערנאָך זיי געפֿינען אין דעם אינסטאַלירטן פּאַקעט.

פֿאַר אַ Setuptools־פּראָיעקט מיט crawl_app/resources/proxies.txt אין זײַן Python־פּאַקעט, קען אַ pyproject.toml־אַרײַנטראָג זי אַרײַננעמען:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

פֿאַרבינדט דאָס מיט דער פּראָיעקט־פּאַקעט־קאָנפֿיגוראַציע וואָס עקזיסטירט. אַן אַנדער בו־בעקענד האָט זײַן אייגענעם דאַטן־אַרײַננעם־צווישנשאַפֿט.

פֿאַר מידלווער וואָס קען נוצן endpoint־שטריקעס, קען Python 3.11+ לייענען דעם פּאַקעט־רעסורס גלײַך:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

ניצט דעם טאַקע פּאַקעט־נאָמען און באַשטעטיקט דאָס דערוואַרטע URL־פֿאָרמאַט אין דעם לייענער. פֿאַר פֿאַרשפּרייטלעכע פּובליקע endpoint־דאַטן, ניצט אַדרעסן פֿון פֿרײַע פּראָקסי־ליסטע אין דעם פּראָטאָקאָל און URL־פֿאָרמאַט וואָס דער מידלווער דערוואַרט. די זוך איז נישט אָפּהענגיק פֿון דעם איצטיקן אַרבעט־פּאַפּקע פֿון דער דיפּלוימייענט.

אַ PROXY_LIST־איינשטעלונג פֿון אַ דריטן צד קען פֿאָדערן אַ פֿאַרלעמער־סיסטעם־וועג אַנשטאָט די שטריקעס. ווען איר ניצט importlib.resources.as_file פֿאַר דער צווישנשאַפֿט, האַלט איר קאָנטעקסט אָפֿן אַזוי לאַנג ווי דער מידלווער דאַרף די אויסגעצויגענע טעקע. אומקערן אַ צײַטווײַליקן וועג נאָך פֿאַרמאַכן דעם קאָנטעקסט קען פֿאַרלירן דעם רעסורס.

האַלט פּראָדוקציע־ליסטעס מיט באַשטעטיקונג־דאַטן אין דער געפּלאַנטער סוד־ אָדער קאָנפֿיגוראַציע־אויפֿבאַוואַרונג פֿון דער דיפּלוימייענט. פּאַקעט־דאַטן זײַנען פּאַסיק פֿאַר פֿאַרשפּרייטלעכע endpoint־דאַטן, נישט קיין פֿאַרזאָג אַז אַלץ וואָס ווערט פֿאַרפּאַקט מיט קאָד בלײַבט פּריוואַט.