ئورۇنلاشتۇرۇلغان Scrapy قۇرۇلۇشىدا ۋاكالەتچى تىزىملىكىنى كىرگۈزۈش ۋە يۈكلەش

تەرەققىيات كۆچۈرمىسىنىڭ يېنىدىكى ۋاكالەتچى ھۆججىتى crawler نىڭ ئورۇنلاشتۇرۇلغان بوغچىسىدا ئۆزلۈكىدىن بولمايدۇ. ئىككى خىزمەت بار: بايتلارنى تارقىتىشقا كىرگۈزۈش، ئاندىن ئورنىتىلغان بوغچىدىن ئۇلارنى تېپىش.

Python بوغچىسى ئىچىدە crawl_app/resources/proxies.txt بار Setuptools قۇرۇلۇشى ئۈچۈن، pyproject.toml تۈرى ئۇنى كىرگۈزەلەيدۇ:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

ئۇنى قۇرۇلۇشنىڭ مەۋجۇت بوغچا سەپلىمىسى بىلەن بىرلەشتۈرۈڭ. باشقا قۇرۇلۇش ئارقا تەرىپىنىڭ ئۆزىنىڭ سانلىق مەلۇمات كىرگۈزۈش كۆرۈنمە يۈزى بار.

endpoint تىزىقلىرىنى ئىشلىتەلەيدىغان middleware ئۈچۈن، Python 3.11+ بوغچا مەنبەسىنى بىۋاسىتە ئوقۇيالايدۇ:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

ھەقىقىي بوغچا نامىنى ئىشلىتىپ، ئوقۇغۇچتا كۈتۈلگەن URL شەكلىنى دەلىللەڭ. تارقىتىلغىلى بولىدىغان ئاممىۋى endpoint سانلىق مەلۇماتلىرى ئۈچۈن، middleware كۈتىدىغان پروتوكول ۋە URL شەكلىدە ھەقسىز ۋاكالەتچى تىزىملىكى دىن ئادرېسلارنى ئىشلىتىڭ. ئىزدەش ئورۇنلاشتۇرۇشنىڭ نۆۋەتتىكى خىزمەت مۇندەرىجىسىگە باغلىق ئەمەس.

ئۈچىنچى تەرەپ PROXY_LIST تەڭشىكى بۇ تىزىقلار ئورنىغا ھۆججەت سىستېمىسى يولىنى تەلەپ قىلىشى مۇمكىن. شۇ كۆرۈنمە يۈز ئۈچۈن importlib.resources.as_file ئىشلەتكەندە، middleware ئايرىۋېلىنغان ھۆججەتكە ئېھتىياجلىق بولغانغا قەدەر ئۇنىڭ مۇھىتىنى ئوچۇق ساقلاڭ. مۇھىت تاقالغاندىن كېيىن ۋاقىتلىق يولنى قايتۇرۇش مەنبەنى يوقىتىشى مۇمكىن.

گۇۋاھنامىسى بار ئىشلەپچىقىرىش تىزىملىكلىرىنى ئورۇنلاشتۇرۇش ئۈچۈن مەقسەت قىلىنغان مەخپىي ياكى سەپلىمە ساقلىغۇچتا ساقلاڭ. بوغچا سانلىق مەلۇماتلىرى تارقىتىلغىلى بولىدىغان endpoint سانلىق مەلۇماتلىرىغا ماس كېلىدۇ، كود بىلەن بولغان ھەممە نەرسە مەخپىي قېلىدۇ دېگەن پەرەز ئەمەس.