Redis स्ट्रीम बस में एक PHP बैकएंड स्थानांतरित करना और चौखटे से स्वतंत्र एक पुस्तकालय चुनना

प्रस्तावना

मेरी साइट, जिसे मैं एक शौक के रूप में करता हूं, को दिलचस्प होम पेज और व्यक्तिगत साइटों को संग्रहीत करने के लिए डिज़ाइन किया गया है। इस विषय ने मुझे प्रोग्रामिंग में अपने पथ की शुरुआत में ही दिलचस्पी लेना शुरू कर दिया, उस समय मुझे अपने, अपने शौक और परियोजनाओं के बारे में लिखने वाले महान पेशेवरों को पाकर खुशी हुई। उनकी खोज करने की आदत अभी के लिए बनी हुई है: लगभग हर वाणिज्यिक और बहुत वेबसाइट पर नहीं, मैं लेखकों के लिंक की तलाश में पाद लेख में देखना जारी रखता हूं।

विचार का कार्यान्वयन

पहला संस्करण मेरी व्यक्तिगत साइट पर केवल एक html पृष्ठ था, जहां मैंने एक उल सूची में हस्ताक्षर के साथ लिंक डाले। कुछ समय के लिए 20 पृष्ठ टाइप करने के बाद, मुझे लगा कि यह बहुत प्रभावी नहीं था और इस प्रक्रिया को स्वचालित करने का प्रयास करने का निर्णय लिया। स्टैकओवरफ़्लो पर, मैंने देखा कि कई लोग अपनी प्रोफाइल में साइटें दिखाते हैं, इसलिए मैंने एक php पार्सर लिखा है, जो प्रोफाइल से गुजरता है, पहले से शुरू (एसओ पर पता और आज तक इस तरह: `/ उपयोगकर्ता / 1`), निकाले गए लिंक वांछित टैग से और SQLite में स्टैक्ड।

इसे दूसरा संस्करण कहा जा सकता है: SQLite प्लेट में हजारों URL का संग्रह जो HTML में स्थिर सूची को प्रतिस्थापित करता है। मैंने इस सूची पर एक सरल खोज की। क्योंकि केवल उरले थे, तब खोज सिर्फ उनके लिए थी।

इस स्तर पर, मैंने इस परियोजना को त्याग दिया और लंबे समय के बाद, इसे वापस कर दिया। इस स्तर पर, मेरा कार्य अनुभव पहले से ही तीन साल से अधिक था और मुझे लगा कि मैं कुछ और गंभीर कर सकता हूं। इसके अलावा, अपने लिए अपेक्षाकृत नई तकनीकों में महारत हासिल करने की बहुत इच्छा थी।

आधुनिक संस्करण

परियोजना को डॉक में तैनात किया गया था , डेटाबेस को मोंगडॉब में स्थानांतरित कर दिया गया था, और, अपेक्षाकृत हाल ही में, मूली को जोड़ा गया था, जो पहले केवल कैशिंग के लिए था। एक आधार के रूप में, PHP माइक्रोफ़्रेम में से एक का उपयोग किया जाता है।

समस्या

नई साइटों को एक कंसोल कमांड द्वारा जोड़ा जाता है जो सिंक्रोनाइज़ निम्न रूप से करता है:

• URL द्वारा सामग्री डाउनलोड करें
  
• एचटीटीपीएस उपलब्ध था या नहीं
  
• वेबसाइट का सार सुरक्षित रखता है
  
• सोर्स HTML और हेडर्स इंडेक्सिंग हिस्ट्री को बचाता है
  
• सामग्री, शीर्षक और विवरण को पुनः प्राप्त करती है
  
• एक अलग संग्रह के लिए डेटा बचाता है।
  

यह केवल साइटों को स्टोर करने और उन्हें सूची में प्रदर्शित करने के लिए पर्याप्त था:



लेकिन स्वचालित रूप से सब कुछ अनुक्रमणित करने, श्रेणीबद्ध करने और रैंक करने के विचार, सब कुछ को अद्यतित रखते हुए, इस प्रतिमान को कमजोर रूप से फिट करते हैं। यहां तक ​​कि सिर्फ पृष्ठों को जोड़ने के लिए एक वेब विधि को जोड़ना आवश्यक डुप्लिकेट से बचने के लिए आवश्यक कोड डुप्लीकेशन और ब्लॉक करना है।

सामान्य तौर पर, निश्चित रूप से, सब कुछ सिंक्रनाइज़ किया जा सकता है, और वेब विधि में, बस यह सुनिश्चित करने के लिए URL को सहेजें कि राक्षसी डेमॉन सूची से URL के लिए सभी कार्य करता है। लेकिन सभी समान, यहां तक ​​कि शब्द "टर्न" भीख माँगता है। और अगर कतार को लागू किया जाता है, तो सभी कार्यों को विभाजित किया जा सकता है और कम से कम अतुल्यकालिक रूप से प्रदर्शन किया जा सकता है।

निर्णय

कतारों का परिचय दें और सभी कार्यों के लिए एक घटना संचालित प्रसंस्करण प्रणाली बनाएं। और सिर्फ एक लंबे समय के लिए मैं रेडिस स्ट्रीम की कोशिश करना चाहता था।

PHP में Redis स्ट्रीम का उपयोग करना

क्योंकि मेरे पास तीन दिग्गजों सिम्फनी, लारवेल, वाईआईआई की रूपरेखा नहीं है, और मैं एक स्वतंत्र पुस्तकालय खोजना चाहूंगा। लेकिन, जैसा कि यह निकला (पहली परीक्षा में), व्यक्तिगत गंभीर पुस्तकालयों को खोजना असंभव है। सब कुछ जो कतारों से जुड़ा हुआ है, वह या तो पांच साल पहले के 3 आवागमन का एक प्रक्षेपण है, या एक ढांचे से बंधा हुआ है।

मैंने कुछ उपयोगी घटकों के प्रदाता के रूप में सिम्फनी के बारे में सुना है, और मैं पहले से ही कुछ का उपयोग करता हूं। और लारवेल से भी, कुछ का उपयोग किया जा सकता है, उदाहरण के लिए, उनके ओआरएम, बिना रूपरेखा की उपस्थिति के।

सिम्फनी / मैसेंजर

पहला उम्मीदवार तुरंत आदर्श लग रहा था, और बिना किसी संदेह के मैंने इसे स्थापित किया। लेकिन यह सिम्फनी के बाहर उपयोग के Google उदाहरणों के लिए कठिन था। यूनिवर्सल के साथ कक्षाओं के ढेर से कैसे इकट्ठा करें, कुछ भी नाम नहीं, संदेश भेजने के लिए बस, और यहां तक ​​कि रेडिस पर भी?



आधिकारिक साइट पर प्रलेखन काफी विस्तृत था, लेकिन इनिशियलाइज़ेशन को सिम्फनी के लिए केवल उनके पसंदीदा YML और गैर-सिम्फोनिस्ट के लिए अन्य जादू विधियों का उपयोग करके वर्णित किया गया था। मुझे स्थापना प्रक्रिया में कोई दिलचस्पी नहीं थी, खासकर नए साल की छुट्टियों के दौरान। लेकिन मुझे अप्रत्याशित रूप से लंबे समय तक ऐसा करना पड़ा।

यह जानने की कोशिश करना कि सिम्फनी स्रोतों का उपयोग करके किसी सिस्टम को कैसे इंस्टेंट करना है, यह भी तंग समय सीमा के लिए सबसे तुच्छ कार्य नहीं है:



इसमें चारों ओर से घूरना और अपने हाथों से कुछ करने की कोशिश करना, मैं इस नतीजे पर पहुंचा कि मैं कुछ तरह की बैसाखी कर रहा था और कुछ और करने की कोशिश करने का फैसला किया।

रोशन / कतार

यह पता चला कि यह लाइब्रेरी लारावेल इन्फ्रास्ट्रक्चर और अन्य निर्भरताओं के एक समूह से कसकर जुड़ी हुई थी, इसलिए मैंने इस पर बहुत समय नहीं बिताया: स्थापित, देखा, निर्भरता देखी और इसे हटा दिया।

yiisoft / yii2-queue

खैर, यहाँ यह तुरंत नाम से मान लिया गया था, फिर से Yii2 के लिए एक तंग बंधन। मुझे इस लाइब्रेरी का उपयोग करना था और यह बुरा नहीं था, लेकिन मैंने नहीं सोचा था कि यह पूरी तरह से Yii2 पर निर्भर करता है।

बाकी

गितुब पर मुझे जो कुछ भी मिला वह सब कुछ बिना तार के, कांटे और बड़ी संख्या में आने वाले अनुमानों के बिना पुराना और परित्यक्त अनुमान था।

सिम्फनी / मैसेंजर, तकनीकी विवरण पर लौटें

मुझे इस लाइब्रेरी से निपटना था और कुछ और समय बिताने के बाद, मैं सक्षम था। यह पता चला कि सब कुछ काफी संक्षिप्त और सरल है। बस की तात्कालिकता के लिए, मैंने एक छोटा कारखाना बनाया, क्योंकि मेरे पास अलग-अलग हैंडलर के साथ कई टायर थे।



बस कुछ कदम:

• संदेश संचालकों को बनाएं जिन्हें केवल कॉल करने योग्य होना चाहिए
  
• उन्हें हैंडलरडेस्क्रिप्ट (पुस्तकालय से कक्षा) में लपेटें
  
• हम हैंडलरलोकेटर उदाहरण में इन "डिस्क्रिप्टर्स" को लपेटते हैं।
  
• MessageBus उदाहरण के लिए HandlersLocator जोड़ें
  
• हम SendersLocator को `SenderInterface` का एक सेट देते हैं, मेरे मामले में` RedisTransport` वर्गों के उदाहरण हैं, जो एक स्पष्ट तरीके से कॉन्फ़िगर किए गए हैं
  
• MessageBus उदाहरण के लिए SendersLocator जोड़ें
  

मैसेजबस में `-> प्रेषण ()` विधि है, जो हैंडलरलोकेटर में उपयुक्त हैंडलर की खोज करती है और बस (रेडिस स्ट्रीम) के माध्यम से भेजने के लिए संबंधित 'सेंडरइंटरफेस' का उपयोग करके, उन्हें संदेश पास करता है।

कंटेनर कॉन्फ़िगरेशन (इस मामले में php-di) में, इस पूरे गुच्छा को निम्नानुसार कॉन्फ़िगर किया जा सकता है:

CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) { return new RedisTransport( $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET), $c->get(CONTAINER_SERIALIZER)) ; }, CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) { return new RedisTransport( $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG), $c->get(CONTAINER_SERIALIZER)) ; }, CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) { return new RedisReceiver( $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET), $c->get(CONTAINER_SERIALIZER) ); }, CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) { return new RedisReceiver( $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG), $c->get(CONTAINER_SERIALIZER) ); }, CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) { $sendersLocator = new SendersLocator([ \App\Messages\SecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET], \App\Messages\DaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG], ], $c); $middleware[] = new SendMessageMiddleware($sendersLocator); return new MessageBus($middleware); }, CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) { $host = 'bu-02-redis'; $port = 6379; $dsn = "redis://$host:$port"; $options = [ 'stream' => 'secret', 'group' => 'default', 'consumer' => 'default', ]; return Connection::fromDsn($dsn, $options); }, CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) { $host = 'bu-02-redis'; $port = 6379; $dsn = "redis://$host:$port"; $options = [ 'stream' => 'log', 'group' => 'default', 'consumer' => 'default', ]; return Connection::fromDsn($dsn, $options); }, 

यह देखा जा सकता है कि SendersLocator में हमने दो अलग-अलग संदेशों के लिए एक अलग "परिवहन" असाइन किया है, जिनमें से प्रत्येक का संबंधित धाराओं से अपना संबंध है।

मैंने इस तरह की बस का उपयोग करते हुए एक दूसरे के साथ संचार करने वाले तीन राक्षसों के आवेदन को प्रदर्शित करते हुए एक अलग डेमो प्रोजेक्ट बनाया: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus ।

लेकिन मैं आपको दिखाऊंगा कि कैसे एक उपभोक्ता की व्यवस्था की जा सकती है:

 use App\Messages\DaemonLogMessage; use Symfony\Component\Messenger\Handler\HandlerDescriptor; use Symfony\Component\Messenger\Handler\HandlersLocator; use Symfony\Component\Messenger\MessageBus; use Symfony\Component\Messenger\Middleware\HandleMessageMiddleware; use Symfony\Component\Messenger\Middleware\SendMessageMiddleware; use Symfony\Component\Messenger\Transport\Sender\SendersLocator; require_once __DIR__ . '/../vendor/autoload.php'; /** @var \Psr\Container\ContainerInterface $container */ $container = require_once('config/container.php'); $handlers = [ DaemonLogMessage::class => [ new HandlerDescriptor( function (DaemonLogMessage $m) { \error_log('DaemonLogHandler: message handled: / ' . $m->getMessage()); }, ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG] ) ], ]; $middleware = []; $middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers)); $sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container); $middleware[] = new SendMessageMiddleware($sendersLocator); $bus = new MessageBus($middleware); $receivers = [ CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG), ]; $w = new \Symfony\Component\Messenger\Worker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER)); $w->run(); 

एक आवेदन में इस बुनियादी ढांचे का उपयोग करना

अपने बैकएंड में बस को लागू करने के बाद, मैंने पुरानी सिंक्रोनस टीम से अलग-अलग चरणों का चयन किया और अलग-अलग हैंडलर बनाए, जिनमें से प्रत्येक अपने स्वयं के व्यवसाय में लगा हुआ है।

डेटाबेस में एक नई साइट जोड़ने के लिए पाइपलाइन इस प्रकार है:



और ठीक इसके बाद मेरे लिए नई कार्यक्षमता जोड़ना बहुत आसान हो गया, उदाहरण के लिए, रुपये निकालना और पार्स करना। क्योंकि चूंकि इस प्रक्रिया में स्रोत सामग्री की भी आवश्यकता होती है, इसलिए rss लिंक के हैंडलर-एक्सट्रैक्टर के साथ-साथ WebsiteIndexHistoryPersistor, "सामग्री / HtmlContent" संदेश की सदस्यता लेता है, इसे संसाधित करता है, और इसके पाइपलाइन पर वांछित संदेश को आगे बढ़ाता है।



अंत में, इसने कई राक्षसों को बाहर कर दिया, जिनमें से प्रत्येक केवल आवश्यक संसाधनों के लिए कनेक्शन रखता है। उदाहरण के लिए, क्रॉलर डेमॉन में वे सभी हैंडलर शामिल होते हैं जिनके लिए सामग्री के लिए इंटरनेट पर जाने की आवश्यकता होती है, और लगातार डीमन डेटाबेस से एक संबंध रखता है।

अब, डेटाबेस से चयन के बजाय, जारीकर्ता द्वारा डाले जाने के बाद आवश्यक आईडी बस सभी इच्छुक हैंडलर को बस के माध्यम से पारित किया जाता है।