👩🏿‍💼 😔 🌫️ KSQL, रास्पबेरी पाई और रेडियो के साथ शोर मानचित्रण 🚣🏽 👩🏽‍⚖️ 📎

पहली नज़र में, इस कहानी में 8 मार्च की पूर्व संध्या पर एक रोमांटिक पोस्ट की स्थिति अर्जित करने के लिए सब कुछ है: हवाई जहाज, प्यार, थोड़ी जासूसी और, आखिरकार, एक बिल्ली (अधिक सटीक, एक बिल्ली)। यह कल्पना करना कठिन है कि यह सब सीधे काफ्का, केएसक्यूएल और प्रयोग से संबंधित है "घर की सूचना प्रौद्योगिकी का उपयोग करके सबसे नीरव विमान कैसे खोजें"। यह मुश्किल है, लेकिन यह आवश्यक है: यह एक ऐसा प्रयोग था, जिसे साइमन ओबरी ने संचालित किया था, और हमने प्रक्रिया के सभी विवरणों के विवरण के साथ उनके लेख के लेख का अनुवाद किया।

स्नोफ्लेक नाम की हमारी नई बिल्ली जल्दी उठती है। हमारे घर के ऊपर उड़ने वाले हवाई जहाजों की आवाज़ उसे जगाती है। लेकिन क्या होगा अगर, अपाचे काफ्का, केएसक्यूएल और रास्पबेरी पाई का उपयोग करके, मैं यह निर्धारित कर सकता हूं कि कौन सी विमान मेरी बिल्ली को जगाए रखता है? एक मनोरंजक ट्रैकिंग पैनल बनाना अच्छा होगा, जिस पर बिल्ली अपना ध्यान आकर्षित कर सके - और मुझे कुछ और नींद दे सके।

सामान्य शब्दों में

हम कफ़्का और केएसक्यूएल का उपयोग करके विमानों को आकाश से ग्राफिक्स पर स्थानांतरित करते हैं

विमान जीपीएस रिसीवर का उपयोग करके अपने स्थान का निर्धारण करते हैं। ऑन-बोर्ड ट्रांसमीटर समय-समय पर छोटे प्रसारण का उपयोग करके जहाज के स्थान, पहचान संख्या, ऊंचाई और गति की रिपोर्ट करता है। प्रसारण स्वचालित निर्भर निगरानी ( AZN-V ) के ये प्रसारण अनिवार्य रूप से डेटा पैकेट हैं जो ग्राउंड स्टेशनों से पहुंच के लिए खुले हैं।

एक माइक्रो कंप्यूटर, जैसे कि रास्पबेरी पाई, और कई सहायक घटक हैं जो मेरे घर पर विमान के ऑन-बोर्ड ट्रांसमीटरों से संदेश प्राप्त करने के लिए आवश्यक हैं।

विमान के हवाई संकेतों को संदेशों की एक उलझी हुई गेंद की तरह देखा जाता है और इसे व्यवस्थित करने की आवश्यकता होती है। इन अराजक डेटा धाराओं को पहचानना एक शोर पार्टी में बातचीत सुनने जैसा है। इसलिए, मेरी बिल्ली की चिंता करने वाले एक विमान को खोजने के लिए, मैंने काफ्का और केएसक्यूएल के संयोजन का उपयोग करने का फैसला किया।

जागृत बिल्ली और रास्पबेरी पाई

रास्पबेरी पाई के साथ AZN-B रीडिंग का संग्रह

ऑन-बोर्ड प्रसारण इकट्ठा करने के लिए, मैंने रास्पबेरी पाई और आरटीएल 2832 यू का उपयोग किया, एक यूएसबी मॉडेम जो मूल रूप से कंप्यूटर पर डिजिटल टीवी देखने के लिए एक उपकरण के रूप में बेचा गया था। रास्पबेरी पाई पर मैंने डंप 1090 स्थापित किया - एक प्रोग्राम जो एक छोटे एंटीना का उपयोग करके आरटीएल 2832 यू के माध्यम से AZN-V से डेटा प्राप्त करता है।

रास्पबेरी पाई और RTL2832U से मेरा सॉफ्टवेयर रेडियो

AZN-B संकेतों को काफ्का थीम में बदलें

अब जब मुझे कच्चे AZN-B संकेतों की एक धारा मिली है, तो हमें यातायात पर ध्यान देना चाहिए। रास्पबेरी पाई में गंभीर कंप्यूटिंग के लिए पर्याप्त शक्ति नहीं है, इसलिए मुझे कफ़्का पर अपने स्थानीय क्लस्टर में डेटा प्रसंस्करण स्थानांतरित करना पड़ा।

प्राप्त संदेश या तो बोर्ड की पहचान के बारे में स्थान संदेशों या संदेशों में विभाजित होते हैं। स्थान प्रपत्र के संदेश की तरह दिखता है: "7c6db8 बोर्ड समन्वय -33.8,151.0 पर 6,250 फीट की ऊंचाई पर उड़ता है । " बोर्ड की पहचान के बारे में जानकारी इस प्रकार दिखाई देगी: "बोर्ड 7c451c मार्ग QJE1726 के साथ उड़ता है । "

मेरे रास्पबेरी पाई के लिए एक छोटा पायथन स्क्रिप्ट आने वाले सभी AZN-B संदेशों को साझा करता है। मैंने रासबेरी पाई से डेटा को स्थान-विषय और पहचान-विषय विषयों पर वितरित करने के लिए कंफ्लुएंट रेस्ट प्रॉक्सी प्रॉक्सी का उपयोग किया। प्रॉक्सी सर्वर, काफ्का क्लस्टर के लिए एक RESTful इंटरफ़ेस प्रदान करता है, जिससे Pi पर एक साधारण REST कॉल का उपयोग करके संदेश बनाना आसान हो जाता है।

मैं यह समझना चाहता था कि कौन से विमान मेरी छत पर और किन मार्गों पर उड़ान भरते हैं। OpenFlights डेटाबेस आपको हवाई अड्डे के कोड की तुलना करने की अनुमति देता है, उदाहरण के लिए अंतर्राष्ट्रीय नागरिक उड्डयन संगठन (ICAO) द्वारा निर्दिष्ट 7C6DB8, विमान के प्रकार के साथ - हमारे मामले में, बोइंग 737। मैंने अपने मैपिंग डेटा को icao-to-Aircraft थीम पर अपलोड किया ।

KSQL एक "SQL इंजन" प्रदान करता है जो आपको Apache Kafka विषयों पर वास्तविक समय में डेटा संसाधित करने की अनुमति देता है। उदाहरण के लिए, ऑन-बोर्ड कोड 7C6DB8 को खोजने के लिए, हम निम्नलिखित प्रश्न लिख सकते हैं:

CREATE TABLE icao_to_aircraft WITH (KAFKA_TOPIC='ICAO_TO_AIRCRAFT_REKEY', VALUE_FORMAT='AVRO', KEY='ICAO'); ksql> SELECT manufacturer, aircraft, registration \ FROM icao_to_aircraft \ WHERE icao = '7C6DB8'; Boeing | B738 | VH-VYI

इसी तरह, कॉलसाइन-डिटेल्स विषय में, मैंने कॉलिजन्स (यानी QFA563 को अपलोड किया, यह कंतस की ब्रिस्बेन से सिडनी की उड़ान है)।

 CREATE TABLE callsign_details WITH (KAFKA_TOPIC='CALLSIGN_DETAILS_REKEY', VALUE_FORMAT='AVRO', KEY='CALLSIGN'); ksql> SELECT operatorname, fromairport, toairport \ FROM callsign_details \ WHERE callsign = 'QFA563'; Qantas | Brisbane | Sydney

अब स्थान-विषय डेटा स्ट्रीम पर एक नज़र डालते हैं । यहां हम एक उड़ने वाले हवाई जहाज के स्थान के बारे में आने वाले संदेशों की एक निरंतर धारा का निरीक्षण कर सकते हैं।

 kafka-avro-console-consumer --bootstrap-server localhost:9092 --property --topic location-topic {"ico":"7C6DB8","height":"6250","location":"-33.807724,151.091495"}

KSQL क्वेरी इस तरह दिखाई देगी:

 ksql> SELECT TIMESTAMPTOSTRING(rowtime, 'yyyy-MM-dd HH:mm:ss'), \ ico, height, location \ FROM location_stream \ WHERE ico = '7C6DB8'; 2018-09-19 07:13:33 | 7C6DB8 | 6250.0 | -33.807724,151.091495

KSQL: स्ट्रीम सामंजस्य ...

KSQL का वास्तविक मूल्य विषय स्रोत डेटा (देखें 03_ksql.sql ) के साथ आने वाले स्थान डेटा धाराओं को संयोजित करने की क्षमता में निहित है - यह कच्चे डेटा स्ट्रीम में उपयोगी जानकारी जोड़ रहा है। यह एक पारंपरिक डेटाबेस में "लेफ्ट जॉइन" के समान है। परिणाम जावा कोड की एक भी पंक्ति के बिना बनाया गया एक और कफका विषय है!

स्रोत> STREAM location_and_details_stream AS \ _ बनाएं
का चयन करें l.ico, l.height, l.location, t.aircraft \
Location_stream l \ से
LEFT JOIN icao_to_aircraft t ON l.ico = t.icao;
इसके अलावा, आप एक केएसक्यूएल क्वेरी प्राप्त करते हैं। डेटा स्ट्रीम इस तरह दिखाई देगी:

 ksql> SELECT TIMESTAMPTOSTRING(rowtime, 'yy-MM-dd HH:mm:ss') \ , manufacturer \ , aircraft \ , registration \ , height \ , location \ FROM location_and_details_stream; 18-09-27 09:53:28 | Boeing | B738 | VH-YIA | 7225 | -33.821,151.052 18-09-27 09:53:31 | Boeing | B738 | VH-YIA | 7375 | -33.819,151.049 18-09-27 09:53:32 | Boeing | B738 | VH-YIA | 7425 | -33.818,151.048

इसके अलावा, हम फिक्स्ड callign_details विषय के साथ कॉलसाइन इनपुट स्ट्रीम को जोड़ सकते हैं:

 CREATE STREAM ident_callsign_stream AS \ SELECT i.ico \ , c.operatorname \ , c.callsign \ , c.fromairport \ , c.toairport \ FROM ident_stream i \ LEFT JOIN callsign_details c ON i.indentification = c.callsign; ksql> SELECT TIMESTAMPTOSTRING(rowtime, 'yy-MM-dd HH:mm:ss') \ , operatorname \ , callsign \ , fromairport \ , toairport \ FROM ident_callsign_stream ; 18-09-27 13:33:19 | Qantas | QFA926 | Sydney | Cairns 18-09-27 13:44:11 | China Eastern | CES777 | Kunming | Sydney 18-09-27 14:00:54 | Air New Zealand | ANZ110 | Sydney | Auckland

अब हमारे पास दो सूचनात्मक विषय हैं:

location_and_details_stream , जो विमान के स्थान और गति के बारे में अद्यतन जानकारी प्रदान करता है;
Ident_callsign_stream , जो एयरलाइन और गंतव्य सहित उड़ान के विवरण का वर्णन करता है।

इन लगातार अद्यतन किए गए विषयों के साथ, हम कुछ महान अवलोकन पैनल बना सकते हैं। मैंने केएसक्यूएल द्वारा एलिस्टिक्सखोज ( यहां पूरी स्क्रिप्ट) के लिए आबादी वाले काफ्का कनेक्ट को अपलोड करने के लिए काफ्का कनेक्ट का उपयोग किया।

किबाना डैशबोर्ड

यहाँ एक सिंहावलोकन पैनल का एक उदाहरण है जो एक मानचित्र पर हवाई जहाज का स्थान दिखाता है। इसके अलावा, आप एयरलाइन द्वारा एक चार्ट, उड़ान ऊंचाई का एक ग्राफ और मुख्य गंतव्य द्वारा शब्द बादलों को देख सकते हैं। ऊष्मा मानचित्र उन क्षेत्रों को दर्शाता है जहाँ विमान केंद्रित हैं, यानी उच्चतम शोर स्तर वाले क्षेत्र।

वापस बिल्ली के पास

आज सुबह करीब 6 बजे बिल्ली ने मुझे जगाया। क्या केएसक्यूएल मुझे उस विमान को ढूंढने में मदद कर सकता है जो इस समय मेरे घर पर 3,500 फीट से कम की ऊंचाई पर उड़ान भर रहा है?

 select timestamptostring(rowtime, 'yyyy-MM-dd HH:mm:ss') , manufacturer , aircraft , registration , height from location_and_details_stream where height < 3500 and rowtime > stringtotimestamp('18-09-27 06:10', 'yy-MM-dd HH:mm') and rowtime < stringtotimestamp('18-09-27 06:20', 'yy-MM-dd HH:mm'); 2018-09-27 06:15:39 | Airbus | A388 | A6-EOD | 2100.0 2018-09-27 06:15:58 | Airbus | A388 | A6-EOD | 3050.0

बहुत खूब! मैं अपनी छत पर सुबह 6:15 बजे एक विमान रख सकता हूं। यह पता चला है कि एयरबस A380 (वैसे, एक विशाल लाइनर) द्वारा स्नोफ्लेक को जगाया गया था, जिसने दुबई के लिए उड़ान भरी थी।

बस कुछ दिनों की छुट्टी है, और आपके पास केएसक्यूएल के साथ एक स्ट्रीमिंग प्रोसेसिंग सिस्टम है। इसके अलावा, आपको दिलचस्प डेटा ईवेंट को जल्दी से ढूंढने की अनुमति देता है। हालांकि स्नोफ्लेक उनके बारे में उलझन में हो सकता है।