Azure खोज

यदि आपकी कोई परियोजना Azhurov डेटाबेस में संग्रहीत डेटा का उपयोग करती है, तो यह काफी संभव है कि आपके पास Azure खोज का उपयोग करके डेटा खोज का उपयोग करने का अवसर हो। आप न केवल डेटाबेस (Azure Cosmos DB, Azure SQL डेटाबेस, SQL Server द्वारा होस्ट एक Azure VM में) की खोज कर सकते हैं, बल्कि Blob (Azure Blob Storage, Azure Table Storage) द्वारा भी।

खोज में एक मुफ्त टैरिफ है, जो आपको 50 एमबी तक के कुल आकार के साथ तीन इंडेक्स बनाने की अनुमति देता है। मुक्त टैरिफ में लोड संतुलन क्षमता नहीं है, लेकिन यह उपयोग के लिए काफी उपयुक्त है।

खोज से निपटना मुझे बहुत सरल लगा (हालाँकि यह हमेशा स्पष्ट नहीं है)। ऑब्जेक्ट्स के 3 प्रकार हैं: डेटा स्रोत, इंडेक्स और इंडेक्सर। मुख्य वस्तु, शायद, सूचकांक है। यह वह है जो खोज करने के लिए जिम्मेदार है और वास्तव में क्या देखना है। डेटासोर्स एक डेटा कनेक्शन है, और इंडेक्स एक ऐसा काम है जो इंडेक्स डेटा को अपडेट करता है।

पोर्टल UI आपको डेटा आयात करने और सभी तीन ऑब्जेक्ट बनाने की अनुमति देता है। अवसर गुजरने और खोज में संज्ञानात्मक क्षमताओं को जोड़ने के लिए होगा। यदि SQL डेटाबेस सदस्यता में है, तो आप डेटा स्रोत बनाते समय इसका चयन कर सकते हैं। यद्यपि किसी कारण से पासवर्ड, आपको अभी भी दर्ज करना है। यदि आप कॉस्मॉस डीबी का उपयोग करना चाहते हैं, तो आपको कनेक्शन स्ट्रिंग को मैन्युअल रूप से दर्ज करना होगा। लाइन और डेटाबेस = your_BASE_NAME के ​​अंत में जोड़ते हुए लाइन और डेटाबेस में इंगित करना न भूलें

डेटा स्रोत चुनने के बाद, आपको संज्ञानात्मक खोज क्षमताओं का उपयोग करने के लिए प्रेरित किया जाएगा। डिफ़ॉल्ट कौशल का सेट अभी भी काफी छोटा है: आप भाषा को परिभाषित कर सकते हैं, नाम, संगठनों के नाम, स्थान और प्रमुख वाक्यांशों को निकाल सकते हैं। भावना का पता लगाने का उपयोग करके सकारात्मक या नकारात्मक भावनाओं के लिए पाठ की प्रकृति का निर्धारण करने का एक दिलचस्प अवसर भी है। यह कौशल ऑनलाइन स्टोर में उत्पाद समीक्षाओं के साथ उपयोग करने के लिए सुविधाजनक होना चाहिए। एपीआई विवरण का उपयोग करके अपना खुद का कौशल बनाना संभव है ।

बूँद पर अपलोड की गई फ़ाइलों के लिए, OCR (ऑप्टिकल कैरेक्टर रिकॉग्निशन) संभव है। हस्तलिखित (अब तक केवल अंग्रेजी) और मुद्रित पाठ की मान्यता संभव है। संज्ञानात्मक सेवाओं का उपयोग करते हुए, फोटो में विभिन्न वस्तुओं की पहचान करना संभव है। उदाहरण के लिए, प्रसिद्ध स्थान या हस्तियां।

सूचकांक बनाने के लिए अगला कदम है। इस दिन खोज मोड के लिए एकमात्र विकल्प "विश्लेषण करना है। InfixMatching"

इस बिंदु पर, आप अपनी तालिका में फ़ील्ड के बगल में स्थित बॉक्सों की जांच कर सकते हैं या इंडेक्स में कुछ नए फ़ील्ड जोड़ सकते हैं। बस के मामले में, मैं क्षेत्रों की संभावनाओं की व्याख्या करूंगा:

पुनर्प्राप्ति योग्य - क्षेत्र खोज परिणामों में मौजूद होगा
फ़िल्टर करने योग्य - फ़ील्ड मान फ़िल्टर किया जा सकता है
Sortable - आप इस फ़ील्ड द्वारा परिणाम को सॉर्ट कर सकते हैं
सुविधा - कुछ विशेषताओं के अनुसार समूहीकरण। उदाहरण के लिए, निम्नलिखित अभिव्यक्ति फेस = सूची का उपयोग करते हुए मानों, मान: 10 | 25 | 100 | 500 | 500 | 1000 | 2500, आप समूहों में परिणामों के निम्नलिखित टूटने प्राप्त कर सकते हैं।

खोजा - यह क्षेत्र खोज करेगा

विश्लेषक क्षेत्र विभिन्न भाषाओं के लिए एक विश्लेषक चुनने का सुझाव देता है। 2 संस्करणों का उपयोग किया जाता है - ल्यूसिने और माइक्रोसॉफ्ट । यह समझने के लिए कि अंतर क्या है, आपको यह समझने की आवश्यकता है कि दोनों निम्नलिखित शब्दों में क्या अंतर है:

स्टैमिंग किसी दिए गए स्रोत शब्द के लिए एक शब्द का आधार खोजने की प्रक्रिया है। तना (अंग्रेजी) - तना, तना, उत्पत्ति। स्टेमिंग एल्गोरिदम का उपयोग करता है। अक्सर प्रत्ययों और अंत को हटाकर शब्दों को काटता है, शब्द का आधार प्राप्त करता है।
Lemmatization एक शब्द के रूप में एक लेम्मा को कम करने की प्रक्रिया है - इसका सामान्य (शब्दावली) रूप। लेम्मा शब्द का विहित, मूल रूप है। Lemmatization शब्दों के विभिन्न रूपों से युक्त एक शब्दकोश खोज का उपयोग करता है।

Lucene विश्लेषक स्टेमिंग का उपयोग करता है। Microsoft विश्लेषक lemmatization का उपयोग करता है।
डिफ़ॉल्ट रूप से, यदि कुछ भी नहीं चुना गया है, तो ल्यूसीन का उपयोग किया जाता है। लेकिन अगर आप किसी विशेष भाषा में डेटा खोज रहे हैं, तो निस्संदेह इस भाषा के लिए एक विश्लेषक का उपयोग करना बेहतर है।

सुझाव - आपको खोज के प्रारंभिक अक्षरों का उपयोग करके दर्ज किए गए दस्तावेज़ों के साथ संकेत देने की अनुमति देता है।

यदि आप क्लाइंट एप्लिकेशन में एज़्योर सर्च में प्रोबस्टर का उपयोग कर रहे हैं, तो आपके पास इसका उपयोग करने के लिए 2 विकल्प होंगे: प्रॉम्प्ट स्वयं या स्वत: पूर्ण । संक्षेप में, संकेत तालिका क्षेत्र से पूरी तरह से पूरी पंक्ति का सुझाव देता है, और स्वतः पूर्ण केवल कुछ शब्दों से एक शब्द या अभिव्यक्ति को पूरा करने की पेशकश करता है। संकेतों और स्वतः पूर्ण विधाओं के बीच के अंतर के बारे में सबसे अच्छा लेख निम्नलिखित लेख में वर्णित है: स्वत : पूर्णता Azure खोज में अब सार्वजनिक पूर्वावलोकन में। इस लेख में बहुत दृश्य gif हैं।

अनुक्रमणिका बनाने के चरण में , आपको एक उच्च वॉटरमार्क कॉलम निर्दिष्ट करना होगा। यह एक ऐसा क्षेत्र है जो हर बार रिकॉर्ड बदलने पर बदल जाता है। आमतौर पर यह अंतिम परिवर्तन की तारीख के साथ एक क्षेत्र जैसा होता है या कॉस्मॉस डीबी में एक _ts क्षेत्र होता है। इंडेक्सिंग के दौरान, यदि फ़ील्ड मान को बदल दिया जाता है, तो इंडेक्स भी बदल जाएगा।

ट्रैक विलोपन , इंडेक्स से प्रविष्टियों को स्वचालित रूप से हटाने का एक विकल्प है। लेकिन इसके लिए, आपके डेटाबेस में सॉफ्ट डिलीट कॉन्फ़िगर होना चाहिए। यदि आप सॉफ्ट डिलीट का उपयोग करते हैं, तो जब आप किसी रिकॉर्ड को हटाते हैं, तो उसे डिलीट नहीं किया जाता है, बल्कि बस डिलीट के रूप में चिह्नित किया जाता है। मानक विकल्प के लिए डेटाबेस में हटाए गए फ़ील्ड को जोड़ना और रिकॉर्ड हटाए जाने पर इसे सही पर सेट करना है।
वैकल्पिक रूप से, हर बार जब आप डेटाबेस से एक प्रविष्टि को हटाते हैं, तो आप खोज से एज़्योर खोज एपीआई में एक विलोपन अनुरोध भेज सकते हैं। इस स्थिति में, Trak विलोपन चेकबॉक्स को छोड़ा जा सकता है। लेकिन मैं वास्तव में इस विकल्प को पसंद नहीं करता, क्योंकि यदि डिलीट अनुरोध काम नहीं करता है, तो रिकॉर्ड इंडेक्स में बना रहेगा। मेरे लिए, पूरी तरह से एक निश्चित अवधि में एक बार सूचकांक के पुनर्निर्माण का पर्याप्त अवसर नहीं है।

पोर्टल की सभी सुविधा के बावजूद, बनाने के बाद आप इंडेक्स में कुछ नए फ़ील्ड जोड़ सकते हैं, लेकिन आप मौजूदा को नहीं बदल सकते। अगर आपको कुछ बदलने की जरूरत है तो क्या करें? आप सूचकांक को फिर से बना सकते हैं। मौजूदा एक को हटा दें और एक नया बनाएं जिसमें आवश्यक परिवर्तन हों। ऐसा करने के लिए पोर्टल का उपयोग करना एक कठिन कार्य है। मैं इन उद्देश्यों के लिए एपीआई का उपयोग करता हूं। पोस्टमैन जैसे एप्लिकेशन का उपयोग करके, आप इंडेक्स JSON प्राप्त कर सकते हैं और इंडेक्स निर्माण अनुरोध लिखने के लिए इसका उपयोग कर सकते हैं। केवल छोटे परिवर्तन करने के लिए आवश्यक है (उदाहरण के लिए, सिस्टम फ़ील्ड "@ odata.context" और "@ odata.etag") को हटा दें।

एपीआई के साथ काम करने के लिए, आपको पोर्टल से कुंजी लेने की आवश्यकता है, जिसे प्रत्येक एपीआई अनुरोध के हेडर में जोड़ा जाना चाहिए। कुंजी यहां ली गई है:

सूचकांक डेटा प्राप्त करने के लिए एक प्रश्न है:

GET https://[service name].search.windows.net/indexes/[index name]?api-version=[api-version] 

api-key: [admin key] को हेडर में जोड़ा जाना चाहिए api-key: [admin key]

एक अनुक्रमणिका बनाना निम्नलिखित दो प्रश्नों में से एक का उपयोग करना संभव है:

 POST https://[servicename].search.windows.net/indexes?api-version=[api-version] Content-Type: application/json api-key: [admin key] 

या

 PUT https://[servicename].search.windows.net/indexes/[index name]?api-version=[api-version] 

शरीर में, आपको JSON को अनुक्रमणिका की सामग्री के साथ निर्दिष्ट करना होगा। इस समय नवीनतम संस्करण 2019-05-06 है, और इससे पहले कि यह 2017-11-11 लंबे समय तक इस्तेमाल किया गया था

एपीआई के माध्यम से काम करते हुए, आप कुछ खोज सुविधाओं का उपयोग कर सकते हैं जो पोर्टल पर उपलब्ध नहीं हैं।

खोज में कुछ क्षेत्रों को प्राथमिकता देने के लिए, आप स्कोरिंग प्रोफाइल का उपयोग कर सकते हैं।

निम्नलिखित JSON ने अनुरोध में जोड़ा "शीर्षक" फ़ील्ड को "जानकारी" फ़ील्ड पर दोहरा लाभ देता है:

 "scoringProfiles": [ { "name": "profileForTitle", "document": { "weights": { "title": 2, “info": 1 } } ] 

भार का उपयोग करके कुछ क्षेत्रों को प्राथमिकता देने की क्षमता के अलावा, कुछ पूर्वनिर्धारित कार्यों का उपयोग करना संभव है: ताजगी, परिमाण, दूरी और टैग।

ताजगी का उपयोग केवल डेटाइम फ़ील्ड के साथ किया जाता है और आपको खोज में नवीनतम रिकॉर्ड लाने की अनुमति मिलती है। परिमाण का उपयोग इंट और डबल फील्ड के साथ किया जाता है। अच्छी तरह से और तदनुसार, यह फ़ंक्शन कीमतों, डाउनलोड की संख्या और अन्य संख्यात्मक जानकारी रखने वाले क्षेत्रों के साथ उपयोग करने के लिए अच्छा है। दूरी का उपयोग केवल Edm.GeographyPoint जैसे क्षेत्रों के साथ किया जाता है और किसी विशिष्ट स्थान से दूरी द्वारा खोज में उठाया जाता है। यदि टैग को फ़ंक्शन प्रकार के रूप में निर्दिष्ट किया गया है, तो खोज स्ट्रिंग में दिखाई देने वाले टैग वाले दस्तावेज़ खोज में उठाए जाएंगे।

सबसे लोकप्रिय विकल्पों में से एक इस तरह से एक खोज में नवीनतम दस्तावेजों को चुनना है:

 "scoringProfiles": [{ "name":"newDocs", "functions": [ { "type": "freshness", "fieldName": "documentDate", "boost": 10, "interpolation": "quadratic", "freshness": { "boostingDuration": "P7D" } } ] } ] 

जिन दस्तावेज़ों के दस्तावेज़ क्षेत्र में पिछले सात दिनों ("P7D") की तारीख है, को उठाया जाएगा।

आपके द्वारा स्कोरिंग प्रोफ़ाइल बनाने के बाद, आप अनुरोधों में उसका नाम निर्दिष्ट कर सकते हैं। केवल इस मामले में खोज में आवश्यक क्षेत्र उठाए जाएंगे।

आधिकारिक दस्तावेज़ में और पढ़ें: एक Azure खोज अनुक्रमणिका में स्कोरिंग प्रोफ़ाइल जोड़ें

डेटा परिवर्तन जांच नीति

API, डेटा स्रोत के लिए कुछ और सुविधाएँ प्रदान करता है। जैसा कि आप ऊपर पढ़ सकते हैं, एक डेटा स्रोत बनाते समय, आप एक फ़ील्ड निर्दिष्ट कर सकते हैं जिसके द्वारा यह निर्धारित किया जा सकता है कि डेटा बदल गया है या नहीं। JSON के रूप में, यह इस तरह दिखता है:

 "dataChangeDetectionPolicy" : { "@odata.type" : "#Microsoft.Azure.Search.HighWaterMarkChangeDetectionPolicy", "highWaterMarkColumnName" : "[a rowversion or last_updated column name]" }        soft delete     policy: "dataDeletionDetectionPolicy" : { "@odata.type" : "#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy", "softDeleteColumnName" : "IsDeleted", "softDeleteMarkerValue" : "true" } 

यदि आप SQL सर्वर का उपयोग करते हैं और आपका डेटाबेस चेंज ट्रैकिंग का समर्थन करता है, तो हटाए गए रिकॉर्ड स्वचालित रूप से सूचकांक से हटाए जा सकते हैं। इस मामले में highWaterMarkColumnName निर्दिष्ट करना आवश्यक नहीं है। केवल हाईक्वाटरमैर्केंजडिपेंशन के बजाय SqlIntegratedChangeTrackingPolicy निर्दिष्ट करें

 "dataChangeDetectionPolicy" : { "@odata.type" : "#Microsoft.Azure.Search.SqlIntegratedChangeTrackingPolicy" } 

यह बहुत सुविधाजनक है। लेकिन ऐसी बारीकियां हैं जो इस सुविधा का पूरी तरह से आनंद लेने की अनुमति नहीं देते हैं।

सबसे पहले, SqlIntegratedChangeTrackingPolicy को विचारों के साथ उपयोग नहीं किया जा सकता है। दूसरे, तालिका में समग्र प्राथमिक कुंजी नहीं होनी चाहिए। यह बिना कहे चला जाता है कि SQL सर्वर का संस्करण कम या ज्यादा नया होना चाहिए। और अंत में, परिवर्तन ट्रैकिंग को खोज के लिए उपयोग किए जाने वाले डेटाबेस और तालिकाओं के लिए सक्षम होना चाहिए। डेटाबेस के लिए, यह इस तरह से चालू होता है:

 ALTER DATABASE AdventureWorks2012 SET CHANGE_TRACKING = ON (CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON) 

और इस तरह तालिका के लिए:

 ALTER TABLE Person.Contact ENABLE CHANGE_TRACKING WITH (TRACK_COLUMNS_UPDATED = ON) 

लेकिन यह सब नहीं है। यह अत्यधिक अनुशंसित है कि आप आधार के लिए स्नैपशॉट अलगाव को सक्षम करें।

 ALTER DATABASE AdventureWorks2012 SET ALLOW_SNAPSHOT_ISOLATION ON; 

मेरे लिए डेटाबेस के लिए चेंज ट्राउकिंग स्थापित करते समय एक डफ के साथ नृत्य करने के अलावा, नुकसान विचारों का उपयोग करने में असमर्थता है। इसलिए मुझे अभी भी आमतौर पर HighWaterMarkChangeDetectionPolicy का उपयोग करना पड़ता है

डेटा खोज

डिफ़ॉल्ट रूप से, Azure खोज सरल क्वेरी सिंटैक्स का उपयोग करती है। यह आश्चर्यजनक नहीं लग सकता है, लेकिन यह काफी सरल है:

wifi + लक्ज़री शब्द एक ही समय में wifi और लक्ज़री के लिए खोज करता है
"लक्जरी होटल" वाक्यांश की तलाश में है
wifi | लक्जरी या तो शब्द वाईफाई या लक्जरी शब्द की तलाश में है
wifi –lrosoft wifi शब्द के साथ टेक्स्ट की खोज करता है, लेकिन लक्जरी शब्द के बिना
लक्स लक्स से शुरू होने वाले शब्दों की खोज करता है

कोष्ठक का उपयोग करके खोज नियमों को संयोजित करना संभव है। उदाहरण के लिए, मोटल + (wifi | विलासिता) नियम मोटल शब्द के लिए खोज करता है और या तो शब्द वाईफाई या शब्द लक्जरी

यह अच्छा है कि एज़्योर सर्च ल्यूसिन सिंटैक्स का उपयोग कर सकता है। इसका उपयोग करने के लिए, खोज क्वेरी में क्वेरी = पूर्ण को जोड़ना आवश्यक है

Azure और शास्त्रीय Lucene सिंटैक्स के बीच का अंतर केवल सीमा के अभाव में है।

mod_date:[20020101 TO 20030101] खोज में आप ऐसा नहीं कर सकते हैं: mod_date:[20020101 TO 20030101]

लेकिन Azure Search में, आप ODATA सिंटैक्स के साथ $ फ़िल्टर का उपयोग कर सकते हैं। यहाँ एक उदाहरण फ़िल्टर है:

 { "name": "Scott", "filter": "(age ge 25 and and lt 50) or surname eq 'Guthrie'" } 

फिल्टर का उपयोग सरल क्वेरी सिंटैक्स के साथ भी किया जा सकता है।

Lucene में, तर्क "या" OR या ||
दोनों मानों को: और , && या + के साथ "और" कथन निर्दिष्ट करके पाया जा सकता है
"नहीं" के लिए आप निम्न में से किसी एक का उपयोग कर सकते हैं: नहीं! या -

"नहीं" निर्देश में सरल वाक्यविन्यास और ल्यूसीन दोनों के लिए एक सामान्य विशेषता है। इसका व्यवहार खोज मोड पर निर्भर करता है, जिसे searchMode = all और searchMode = किसी भी में सेट किया जा सकता है (यह मान डिफ़ॉल्ट रूप से उपयोग किया जाता है)। किसी भी विधा में wifi -lrosoft की खोज में wifi या डॉक्युमेंट के साथ लक्जरी शब्द के बिना डॉक्यूमेंट मिलेंगे। सभी मोड में, एक ही अनुरोध द्वारा, यह वाईफाई शब्द के साथ डॉक मिलेगा और साथ ही साथ लक्जरी शब्द के बिना।

आइए नजर डालते हैं कुछ दिलचस्प ल्यूसिन फीचर्स पर।

फजी खोज आपको उन शब्दों की खोज करने की अनुमति देता है जो एक या अधिक अक्षरों द्वारा खोज से भिन्न होते हैं। यही है, यह टाइपोस से निपटने में मदद करता है। उदाहरण के लिए, "ब्लू ~" या "ब्लू ~ 1" की खोज आपको "ब्लू" और "ब्लूज़" और यहां तक ​​कि "ग्लू" के साथ वापस कर देगी। लेकिन एक ही समय में, "व्यापार ~ विश्लेषक" की खोज का मतलब व्यवसाय या विश्लेषक होगा
निकटता आपको उन शब्दों की खोज करने की अनुमति देती है जो पास हैं। उदाहरण के लिए, "होटल एयरपोर्ट" ~ 5 में "होटल" और "एयरपोर्ट" शब्द मिलेंगे जो एक दूसरे से 5 शब्दों से आगे के पाठ में स्थित हैं।
शब्द बूस्टिंग आपको खोज में एक शब्द की प्राथमिकता निर्धारित करने की अनुमति देता है। उदाहरण: "रॉक ^ 2 इलेक्ट्रॉनिक" शब्द रॉक और इलेक्ट्रॉनिक के लिए खोज करता है, लेकिन खोज में शब्द रॉक के साथ प्रविष्टियां ऊपर प्रदर्शित की जाएंगी।
नियमित अभिव्यक्ति - नियमित अभिव्यक्ति का उपयोग करना। यहां सब कुछ आधिकारिक ल्यूसिन रेगेक्स प्रलेखन के अनुसार है। आप उसे निम्न लिंक से पा सकते हैं। खोज करते समय, आगे के स्लैश "/" के बीच नियमित अभिव्यक्ति को रखा जाना चाहिए। उदाहरण के लिए, इस तरह: / [mh] otel /

यदि आपके खोज स्ट्रिंग में विशेष वर्ण हैं, तो उन्हें बैकस्लैश से बच जाना चाहिए। उदाहरण के पात्र बच जाएँ: + - && || () {} [] ^ "~ * ?: \ /
GET अनुरोध का उपयोग करके खोज की जा सकती है। आधिकारिक उदाहरण यह है:

 GET /indexes/hotels/docs?search=category:budget AND \"recently renovated\"^3&searchMode=all&api-version=2019-05-06&querytype=full 

लेकिन आप बॉडी के साथ POST रिक्वेस्ट का इस्तेमाल कर सकते हैं। फिर से, एक आधिकारिक उदाहरण:

 POST /indexes/hotels/docs/search?api-version=2019-05-06 { "search": "category:budget AND \"recently renovated\"^3", "queryType": "full", "searchMode": "all" } 

यदि आप डेटा प्रकार एप्लिकेशन / x-www-form-urlencoded के साथ GET अनुरोध या POST का उपयोग कर रहे हैं, तो आपको असुरक्षित और आरक्षित वर्णों को एनकोड करना होगा।

प्रतीकों; /?: @ = & आरक्षित हैं
वर्ण `` <> #% {} | \ ^ ~ [] असुरक्षित हैं।
उदाहरण के लिए, प्रतीक # 23% हो जाएगा और प्रतीक? % 3F हो जाता है

डेवलपर्स के लिए लिंक की एक जोड़ी।

यदि .NET एक डेवलपर है, तो आप Microsoft.Azure.Search NuGet पैकेज का उपयोग कर सकते हैं । इसके अलावा, NodeJS और Java में उदाहरण हैं।

.NET कोर पर एक साधारण एप्लिकेशन का एक उदाहरण आप यहां ASP.NET कोर Azure खोज नमूना पा सकते हैं