खोज कैसे काम करती है

हाय, उपयोगकर्ता नाम! हर दिन हम विभिन्न डेटा की खोज का सामना कर रहे हैं। बहुत सी जानकारी वाली लगभग हर वेबसाइट पर अब एक खोज है। खोज विभिन्न प्रकार के सॉफ़्टवेयर में, होम कंप्यूटर में, मोबाइल फोन में होती है। निश्चित रूप से, यदि आप किसी भी डेवलपर से तकनीक के संदर्भ में पूछते हैं, तो इलास्टिसर्च, ल्यूसिन या स्फिंक्स तुरंत दिमाग में आ जाएंगे। आज मैं आपके साथ एक पूर्ण-पाठ खोज के "हूड के तहत" देखना चाहता हूं और hh.ru के उदाहरण का उपयोग करके यह बताता है कि यह कैसे काम करता है।



डिस्क्लेमर: यह आलेख केवल वास्तविक दृष्टिकोण नहीं है और केवल पाठ खोज के काम के साथ प्रारंभिक परिचय के लिए एक परिचयात्मक बिंदु के रूप में कार्य करता है और इसके व्यक्तिगत भागों को लागू करने के लिए कुछ विकल्प हैं।

यदि आप खोज के विवरण को देखते हैं, तो खोज स्ट्रिंग के रूप में स्पष्ट भाग के अलावा, आप बहुत अधिक देख सकते हैं:

• संकेत (वह सुझाव)
• खोज परिणाम काउंटर (काउंटर),
• विभिन्न प्रकार की छंटाई (सॉर्ट),
• पहलुओं - दस्तावेजों की समूहीकृत विशेषताएं, उदाहरण के लिए, मेट्रो जिस पर एक रिक्ति स्थित है, फिल्टर (फिल्टर) का कार्य भी कर रही है,
• समानार्थी शब्द (समानार्थी शब्द),
• पृष्ठांकन (पृष्ठांकन),
• स्निपेट (स्निपेट) - जारी करने में दस्तावेज़ का एक छोटा सा विवरण,
• आदि

और यह सब एक उद्देश्य से काम करता है - उपयोगकर्ता की आवश्यकता को सही जानकारी प्राप्त करने के लिए जल्दी और प्रासंगिक रूप से यथासंभव संतुष्ट करना। उदाहरण के लिए, खोज परिणामों को कम करने के लिए फ़िल्टर करना महत्वपूर्ण है, हमारे मामले में यह उम्मीदवार के अनुभव, स्थान या रोजगार के आधार पर फ़िल्टर हो सकता है। प्रत्येक वेतन सीमा में कितनी रिक्तियां हैं, यह प्रदर्शित करने के लिए पहलू उपयोगी हैं। पर्यायवाची के साथ प्रश्नों और दस्तावेजों को पूरक करना भी महत्वपूर्ण है ताकि "जावा डेवलपर" के अनुरोध पर वे "जावा डेवलपर" दस्तावेज पा सकें।

स्वयं खोज के अलावा, हमेशा उपयोगकर्ता के लिए जीवन को आसान बनाने वाले बहुत सारे घटक होते हैं: एक अभिभावक जो त्रुटियों को ठीक करने के लिए ज़िम्मेदार है, या एक ऐसा पुजारी जो खोज बार के साथ बातचीत करते समय अधिक उपयुक्त प्रश्नों का संकेत देता है। कुछ मामलों में, अनुरोध को सुधारने में सक्षम होना महत्वपूर्ण है। उदाहरण के लिए, फ़िल्टर करने के लिए अनुरोध का एक भाग ले जाएँ: अनुरोध से "मास्को प्रोग्रामर" मास्को को शहर से फ़िल्टर में निकाला जा सकता है।

1. मूल

अब बात है। खोज स्वयं दो बड़े चरणों में विभाजित है:

• इंडेक्सेशन (दस्तावेजों का प्रसंस्करण और विशेष इंडेक्स संरचनाओं के अनुसार उन्हें बिछाने, ताकि आप फिर खोज को जल्दी से कर सकें),
• खोज (फ़िल्टर लागू करना, बूलियन खोज, रैंकिंग, आदि)।

1.1। अनुक्रमण

एक मामूली गेय विषयांतर। इसके अलावा, मैं शब्द की अवधारणा को शुरू करूंगा - क्योंकि यह अनुक्रमण और क्वेरी की न्यूनतम इकाई को कॉल करने के लिए प्रथागत है। यह बहुत ही इकाई है जिसे इंडेक्स शब्दकोश में संग्रहीत किया जाएगा। यह अपने सामान्य शब्द रूप या आधार, संख्या, ईमेल, पत्र एन-ग्राम या कुछ और के लिए कम किया गया शब्द हो सकता है। आमतौर पर, एक शब्द में एक क्षेत्र शामिल होता है जिसमें इसे अनुक्रमित किया जाता है या जिसमें कोई खोज की जाती है।

सबसे पहले, आपको इनपुट दस्तावेजों को शब्दों के एक समूह में बदलना होगा और स्टॉप वर्ड्स को फ़िल्टर करना होगा। वे अक्सर होने वाले शब्दों की तरह हो सकते हैं - उदाहरण, संयोजन, विशेषण, और अन्य चीजें, उदाहरण के लिए, विशेष वर्ण जिन्हें हम खोजना नहीं चाहते हैं। खोज के लिए विभिन्न शब्द रूपों के साथ काम करने के लिए, अनुक्रमण प्रक्रिया के दौरान हम आमतौर पर सभी शब्दों को कुछ मूल स्थिति में लाते हैं। आमतौर पर दो प्रक्रियाओं में से एक का उपयोग किया जाता है: या तो स्टेमिंग - एक शब्द के आधार को अलग करने की प्रक्रिया (विकास-> विकास), या लेमेटेटाइजेशन - किसी शब्द को सामान्य रूप में लाने की प्रक्रिया (कौशल-> कौशल)।

1.2 सूचकांक संरचनाएं

सूचकांक का प्रतिनिधित्व करने का सबसे लोकप्रिय तरीका एक उलटा सूचकांक है। वास्तव में, यह एक प्रकार की हैश टेबल है, जहां कुंजी एक शब्द है, और मूल्य दस्तावेजों की एक सूची है (आमतौर पर दस्तावेज़ आईडी की एक सूची जिसे पोस्टिंग सूची कहा जाता है) जिसमें यह शब्द मौजूद है। आमतौर पर एक उल्टे सूचकांक में दो भाग होते हैं - एक शब्दकोष (शब्दकोष) और प्रत्येक पद के लिए दस्तावेजों की सूची (पद सूची):



इसके अलावा, सूचकांक में दस्तावेज़ में शर्तों के स्थान (स्थिति सूचकांक) के बारे में जानकारी हो सकती है, जो एक निश्चित दूरी पर शर्तों की खोज करते समय उपयोगी होगी, विशेष रूप से वाक्यांश संबंधी प्रश्नों के साथ, शब्दों की आवृत्ति के बारे में, जो रैंकिंग और एक क्वेरी योजना बनाने में मदद करेगी। लेकिन उस पर और अधिक नीचे।

1.2.1 शब्दकोष

यह शब्दकोष में मौजूद सभी शब्दों को संग्रहीत करता है, और दस्तावेज़ों की सूची के लिंक को जल्दी से खोजने के लिए डिज़ाइन किया गया है। शब्दकोश के भंडारण के लिए कई विकल्प हैं:

• एक हैश तालिका, जहां शब्द की कुंजी है, और मूल्य इस शब्द के दस्तावेजों की एक सूची के लिए एक कड़ी है।
• एक आदेशित सूची जिसके द्वारा आप द्विआधारी खोज द्वारा खोज कर सकते हैं।
• उपसर्ग वृक्ष (त्रिक)।

सबसे इष्टतम तरीका अंतिम विकल्प है, क्योंकि इसके कई फायदे हैं। सबसे पहले, बड़ी संख्या में शर्तों पर, उपसर्ग वृक्ष बहुत कम स्मृति पर कब्जा कर लेगा, क्योंकि उपसर्गों के दोहराया भागों को केवल एक बार संग्रहीत किया जाएगा। दूसरे, हमें तुरंत उपसर्ग अनुरोध करने का अवसर मिलता है। और तीसरा, इस तरह के पेड़ को गैर-शाखाओं वाले भागों के संयोजन से संकुचित किया जा सकता है।



बेशक, एक उपसर्ग पेड़ एक सूचकांक में शर्तों को संग्रहीत करने के लिए एकमात्र संरचना नहीं हो सकता है। उदाहरण के लिए, एक प्रत्यय का पेड़ भी पास में हो सकता है, जो बदले में जोकर के साथ प्रश्नों के लिए अधिक इष्टतम होगा (फार्म पीओ * एसक्यूएल के प्रश्न)।

1.2.2 पोस्टिंग सूची

दस्तावेजों की सूची दस्तावेज़ पहचानकर्ताओं की एक आदेशित सूची है, जो इसके साथ कुछ अनुकूलन करने की अनुमति देती है। आमतौर पर यह अपने आप में न केवल दस्तावेजों की एक सूची रखता है जिसमें यह शब्द होता है, बल्कि उन पदों (पोस्टिंग) पर भी होता है जिन पर यह होता है। यह एक ही बार में कई समस्याओं को हल करता है: हम तुरंत जानते हैं कि किसी दस्तावेज़ में शब्द कितनी बार होता है, हम शब्दों और प्रश्नों को शब्दों के बीच एक निश्चित दूरी के साथ बना सकते हैं, एक साथ कई दस्तावेज़ों की सूची को पार कर सकते हैं और पदों की स्थिति देख सकते हैं।



उदाहरण के लिए, शीर्षक में शब्द 6 वें दस्तावेज़ में शब्द द्वारा इस सूची में 4 बार, पदों 2, 15, 18 और 25 पर होता है।

1.2.3 कई क्षेत्रों के साथ दस्तावेज़

अधिकांश दस्तावेज़ में कई फ़ील्ड होते हैं, कम से कम दस्तावेज़ और उसके शरीर के नाम से। यह दस्तावेज़ के अलग-अलग हिस्सों को खोजने में मदद करता है और जब रैंकिंग के लिए यह शब्द महत्वपूर्ण होता है (उदाहरण के लिए, शीर्षक में होने वाला शब्द अधिक महत्वपूर्ण माना जा सकता है)।

साथ ही, सूचकांक में, आमतौर पर न केवल पाठ फ़ील्ड संग्रहीत किए जाते हैं, बल्कि दस्तावेजों के संकेत, कुछ संख्यात्मक मान आदि भी संग्रहीत किए जा सकते हैं। सूचकांक में संग्रहण आमतौर पर {फ़ील्ड-टर्म} का रूप ले लेता है।



उदाहरण के लिए, यदि आप एक रिक्ति लेते हैं, तो इसमें कई क्षेत्र एक साथ होंगे: नाम, विवरण, कंपनी, पेरोल, शहर और आवश्यक अनुभव। यह आवश्यक है ताकि उपयोगकर्ता आसानी से न केवल कंपनी के नाम और पाठ से खोज कर सके, बल्कि वेतन और अनुभव के आधार पर फ़िल्टर कर सके, देख सकता है कि उसके शहर और पड़ोसी शहरों में कितनी रिक्तियां हैं, या यहां तक ​​कि किसी विशेष कंपनी के लिए रिक्तियों की खोज करें।

1.3 सूचकांक संपीड़न और अनुकूलन

खोज के लिए काम की गति महत्वपूर्ण है, इसलिए, अधिकांश अनुक्रमणिका खोज ऑपरेशन आमतौर पर रैम में किए जाते हैं। ऐसा करने के लिए, सूचकांक में बहुत सारे अनुकूलन लागू करना बहुत महत्वपूर्ण है, जो इसे एक सीमित मेमोरी आकार में फिट करेगा। इसके अतिरिक्त, आमतौर पर कई अनुकूलन किए जाते हैं, जो आपको अनावश्यक टुकड़ों को खोजते समय, उच्च गति पर सूचकांक के चारों ओर घूमने की अनुमति देते हैं।

1.3.1 डेल्टा संपीड़न

चूंकि हमें याद है कि टर्म (उर्फ पोस्टिंग सूची) द्वारा दस्तावेजों की सूची का आदेश दिया गया है, इसे संकुचित करने का पहला विचार यह है कि पिछली आईडी के सापेक्ष दस्तावेज़ आईडी के साथ सूची के बजाय आईडी ऑफ़सेट के साथ एक सूची बनाना है। 6 पहचानकर्ताओं की एक विशिष्ट सूची पर, यह इस तरह दिखेगा:



इस प्रकार, सूची के माध्यम से आगे बढ़ते हुए, हम हमेशा प्राप्त पिछले मान से वर्तमान पहचानकर्ता की गणना करेंगे। उदाहरण के लिए, दूसरी ऑफसेट 3 में, हम पहले मान 2 को जोड़ते हैं और आईडी 5 प्राप्त करते हैं, तीसरे 4 में हम 5 जोड़ते हैं, और 9 और इसी तरह प्राप्त करते हैं। बड़ी संख्या में दस्तावेजों के साथ, यह बहुत अच्छी तरह से काम करता है, विशेष रूप से संपीड़न की एक और विधि के साथ संयोजन में - चर-प्रारूप संख्याओं की रिकॉर्डिंग।

१.३.२ वर्बाइट और वरिएंट

यह प्रत्येक व्यक्तिगत सूची आइटम को मेमोरी में संग्रहीत करने का एक तरीका है ताकि वह न्यूनतम मात्रा में जगह ले सके। उदाहरण के लिए, यदि पहले तीन ऑफसेट केवल 1 बाइट में फिट होते हैं, तो अधिक लेने की आवश्यकता नहीं है। यह देखते हुए कि हमारी सूची में आईडी दस्तावेज नहीं हैं, लेकिन डेल्टास, संपीड़न बहुत प्रभावी होंगे। संख्याओं के इस प्रतिनिधित्व में, प्रत्येक बाइट का पहला बिट ध्वज होता है चाहे वर्तमान संख्या का प्रतिनिधित्व इस बाइट पर समाप्त होता है या नहीं।



यदि बाइट का पहला बिट 0 है, तो संख्या का अंतिम बाइट है, यदि 1 नहीं है।

१.३.३ सूची / कूद तालिका छोड़ें

एक स्किप सूची सूची के अनावश्यक भाग को छोड़ते हुए एक निश्चित अवधि के दस्तावेजों की सूची के माध्यम से तेज़ी से आगे बढ़ने के लिए संरचनाओं में से एक है। विचार सूची के दूर के तत्वों के लिंक को सूची के सामने डिस्क पर संग्रहीत करना है, क्योंकि संपीड़न के बाद हम यह नहीं कह सकते हैं कि वास्तव में 100 या 200 दस्तावेज़ कहाँ स्थित होंगे। उदाहरण के लिए, यह सुविधाजनक है जब दो शब्दों की एक क्वेरी होती है, जहां एक शब्द अक्सर पाया जाएगा, और दूसरा, इसके विपरीत, दुर्लभ होगा, और दस्तावेजों की सूची केवल 200 वें दस्तावेज़ आईडी से शुरू होगी। फिर, यदि पहली सूची के लिए पास के साथ एक सूची है, तो हम आगे बढ़ने पर समय बचा सकते हैं और पहचानकर्ताओं के अनावश्यक ब्लॉक को तुरंत छोड़ सकते हैं।

1.4 अनुरोध

1.4.0 टर्म क्वेरी

सबसे सरल प्रकार का अनुरोध जिसमें हमें केवल दस्तावेजों की उचित सूची खोजने और रैंकिंग के बाद छांटे गए दस्तावेजों को जारी करने की आवश्यकता है।
उदाहरण के लिए, इस तरह हम जावा के लिए पदों की एक सूची पाते हैं:

१.४.१ बूलियन प्रश्न (और, या, नहीं)

बूलियन खोज सूचना पुनर्प्राप्ति में सबसे महत्वपूर्ण भागों में से एक है जो हम हर जगह पाते हैं। संपूर्ण बूलियन खोज AND, OR, और NOT के संयोजन पर आधारित है। उदाहरण के लिए, जब हम दो शब्दों में एक क्वेरी खोजते हैं: जावा एंड्रॉइड , तो वास्तव में, एक साधारण खोज में, इसे जावा और एंड्रॉइड में बदल दिया जाएगा। और इसका मतलब है कि हम उन सभी दस्तावेजों को ढूंढना चाहते हैं जिनमें दोनों शब्द हैं।

यह इस बात का ध्यान रखने योग्य है कि आप दस्तावेज़ों की सूची में कैसे घूमते हैं। चूंकि प्रत्येक पद के लिए दस्तावेजों की सूचियों को क्रमबद्ध किया जाता है, इसलिए आमतौर पर सूचियों के माध्यम से आगे बढ़ने के दो तरीके होते हैं: दस्तावेजों के माध्यम से क्रमिक रूप से आगे बढ़ते हैं, उन्हें एक-एक करके पास करते हैं, या सीधे एक विशिष्ट दस्तावेज में स्थानांतरित करते हैं, जिनकी आवश्यकता नहीं होती है (उदाहरण के लिए, जब पहली सूची बहुत छोटी होती है। , और हमें दूसरी सूची में दस्तावेजों के एक बड़े ब्लॉक से गुजरने की जरूरत नहीं है)। इस मामले में, हम पहले दूसरी सूची के लिए पॉइंटर पॉइंटर्स से पॉइंटर का उपयोग वांछित दस्तावेज़ आईडी के जितना संभव हो उतना करीब जाने के लिए करते हैं, और फिर इसे रैखिक रूप से स्थानांतरित करते हैं।

खोज के समय, निम्न होता है: शर्तों के लिए सूचकांक में जावा और एंड्रॉइड दस्तावेजों की सूची है, फिर उन पर एक चौराहा बनाया गया है - अर्थात, हम ऐसे दस्तावेज़ ढूंढते हैं जिनमें दोनों शब्द होते हैं। इस खोज के साथ, सूचियों के माध्यम से आगे बढ़ने के दोनों तरीकों का उपयोग तेजी से पार करने के लिए किया जाता है।



प्रपत्र जावा या स्काला के प्रश्नों के साथ, जहाँ हमें सभी दस्तावेजों को खोजने की आवश्यकता है, जिनमें से कम से कम एक शब्द हो, स्थिति अलग है - यहाँ हमें एक ही बार में सभी दस्तावेजों की सूची में होने की आवश्यकता नहीं है। लेकिन कई OR ऑपरेटरों के साथ प्रश्न हैं, और फिर न्यूनतम संख्या में मिलान के लिए स्थिति हो सकती है, उदाहरण के लिए, कम से कम दो मैचों के साथ जावा या स्केला या कोटलिन या क्लोजर क्वेरी हो सकती है, और फिर हमें उन सभी को दिखाना चाहिए जिनमें क्वेरी से कम से कम दो शब्द हैं ।

इस मामले में, ढेर सबसे कुशलता से काम करता है। हम इसमें प्रत्येक सूची के पुनरावृत्तियों के लिए लिंक कर सकते हैं और निरंतर समय के लिए न्यूनतम तत्व प्राप्त कर सकते हैं। न्यूनतम तत्व लेने के बाद, हम ढेर से पुनरावृत्ति को हटाते हैं, एक कदम आगे बढ़ाते हैं और इसे फिर से ढेर में जोड़ते हैं। आप वर्तमान उम्मीदवार को परिणाम और काउंटर में जोड़े जाने के लिए अलग से स्टोर कर सकते हैं, वह कितनी बार मिले, और जिस समय उम्मीदवार ढेर में न्यूनतम तत्व से भिन्न होगा, यह देखें कि क्या हम ऑपरेशन में न्यूनतम संख्या से मेल खाते हैं। और या तो परिणामों की अंतिम सूची में जोड़ें, या दस्तावेज़ को छोड़ दें।

१.४.२ उपसर्ग / जोकर

कभी-कभी हम उन सभी दस्तावेजों को ढूंढना चाहते हैं जिनमें एक शब्द होता है जो एक विशिष्ट उपसर्ग के साथ शुरू होता है। ऐसे मामलों में, उपसर्ग अनुरोध हमारी मदद करेगा, जो jav * जैसा दिखेगा। एक उपसर्ग अनुरोध बहुत अच्छी तरह से काम करता है जब शब्दकोश को एक उपसर्ग पेड़ पर लागू किया जाता है, और फिर हम बस उपसर्ग के घोंसले के शिकार हो जाते हैं और सभी शर्तों को लेते हैं जो नीचे झूठ बोलते हैं।

1.4.3 वाक्यांशों पर और क्वेरी के पास क्वेरी

ऐसे समय होते हैं जब आपको पूरे वाक्यांश को खोजने की आवश्यकता होती है, उदाहरण के लिए, "जावा डेवलपर", या ऐसे शब्द ढूंढें जिनके बीच कुछ शब्दों से अधिक नहीं होगा, उदाहरण के लिए, "जावा" और "डेवलपर", जिनके बीच 2 से अधिक शब्द नहीं हैं, ताकि आप पा सकें java android kotlin developer वाले डॉक्स। इसके लिए, प्रत्येक दस्तावेज़ में शब्द पदों की सूची अतिरिक्त रूप से उपयोग की जाती है।



दस्तावेजों की सूचियों को पार करने के समय में सब कुछ AND और ऑपरेशन के समान है। लेकिन दस्तावेज़ को दोनों सूचियों में पाए जाने के बाद, एक अतिरिक्त जांच की जाती है - कि पद एक दूसरे से सही दूरी पर हैं, स्थिति (स्थिति) के अंतर से।

1.4.4 अनुरोध योजना

आमतौर पर, अनुरोध के निष्पादन से पहले, इसकी योजना बनाई जाती है। यह अनुरोध के निष्पादन को अनुकूलित करने और दस्तावेजों के काम की सूची के लिए चूक जैसी सूची बनाने के लिए होता है।

बढ़ते हुए आकार के क्रम में दस्तावेज़ों की सूचियों को पार करने का सबसे आसान तरीका है। इस प्रकार, हम बड़ी सूचियों से दस्तावेजों को बर्बाद नहीं करेंगे जो छोटी सूचियों में नहीं हैं।

उदाहरण के लिए, आइए Android और जावा और sql क्वेरी को पार्स करें। मान लें कि एंड्रॉइड लिस्ट में sql - 20, और java - 100 में 10 दस्तावेज़ हैं। इस मामले में, सबसे छोटी सूचियों को पार करना सबसे अच्छा है, और अनुकूलित क्वेरी (android और sql) और जावा की तरह दिखाई देगी।

OR के मामले में, चौराहे पर दस्तावेज़ों की संख्या को गिनने में सबसे सरल है, दो संभावित अन्तर्निहित सूचियों का योग।

1.4.5 क्वेरी एक्सटेंशन - समानार्थी

उपयोगकर्ता खोज बार में क्या दर्ज करता है इसके अलावा, आमतौर पर खोज अधिक प्रासंगिक दस्तावेजों को खोजने के लिए क्वेरी का विस्तार करने का प्रयास करती है। खोज का विस्तार करने के लिए बहुत कुछ इस्तेमाल किया जा सकता है: उपयोगकर्ता का क्वेरी इतिहास, उसके बारे में कुछ व्यक्तिगत डेटा, और बहुत कुछ। लेकिन इन सबके अलावा, अनुरोध का विस्तार करने का एक सार्वभौमिक तरीका भी है - पर्यायवाची।

इस मामले में, जब सूचकांक में दस्तावेज़ लिखते हैं, तो शब्द को पर्यायवाची शब्दकोश में "लिंक" से बदल दिया जाता है:



अनुरोध को रूपांतरित करते समय वही बात होती है। उदाहरण के लिए, जब हम बिक्री प्रबंधक से अनुरोध करते हैं, तो अनुरोध वास्तव में दिखता है:



इस प्रकार, प्रतिक्रिया में हम न केवल उन दस्तावेजों को प्राप्त करेंगे जिनमें बिक्री प्रबंधक शामिल हैं, बल्कि उन लोगों के भी हैं जिनमें बिक्री एजेंट और बिक्री शामिल है।

1.5 छानना

1.5.1 फास्ट रेंज फिल्टर

कभी-कभी हम मानों की श्रेणी के अनुसार कुछ को फ़िल्टर करना चाहते हैं, उदाहरण के लिए, वर्षों में अनुभव द्वारा। मान लीजिए कि हम सभी रिक्तियों को आवश्यक अनुभव के साथ 3 से 11 साल तक खोजना चाहते हैं। पहला निर्णय सीमा के सभी विकल्पों के साथ एक अनुरोध करना है, उन्हें OR के माध्यम से जोड़ना। लेकिन समस्या यह है कि बहुत अधिक मूल्य हो सकते हैं। इस समस्या को हल करने का एक तरीका यह है कि एक साथ कई परिशुद्धता के साथ मूल्य को रिकॉर्ड किया जाए:



इस मामले में, हम 5 सटीकता मूल्यों को संग्रहीत करेंगे: एक वर्ष (हम इस पर प्रारंभिक मूल्य के रूप में विचार करेंगे), दो, चार, आठ और सोलह।

फिर, जब रिकॉर्डिंग करते हैं, तो निम्न होगा: उदाहरण के लिए, 6 साल के अनुभव की आवश्यकता के साथ एक दस्तावेज रिकॉर्ड करते समय, हम सभी सटीकता में तुरंत मूल्य रिकॉर्ड करते हैं:



जब "3 से 11 वर्ष" को फ़िल्टर करते हैं, तो निम्न होता है: हम केवल उन मानों का चयन करते हैं जिनकी हमें आवश्यक सटीकता में आवश्यकता होती है, और हमें 8 के बजाय केवल 3 मान मिलते हैं और हमें क्वेरी मिलती है (वास्तविक मूल्य == 3) या (परिशुद्धता 4 == 4) या सटीक (सटीक) 4 == 8)

1.5.2 बिट मास्क

बिट मास्क एक सूचकांक का एक अभिन्न हिस्सा हैं। सबसे महत्वपूर्ण उपयोग हटाए गए दस्तावेजों को फ़िल्टर करना है। जब आप सूचकांक से कोई दस्तावेज़ हटाते हैं, तो भौतिक विलोपन तुरंत नहीं होता है। इंडेक्स के बगल में एक विशेष संरचना लिखी जाती है, जहां प्रत्येक बिट का मतलब इंडेक्स में दस्तावेज़ की आईडी है, और हटाए जाने पर, थोड़ा उठाया जाता है, और जब खोज करते हैं, तो ये दस्तावेज़ फ़िल्टर हो जाते हैं और आउटपुट में नहीं आते हैं।

आप प्रत्येक उपयोगकर्ता के लिए कुछ दस्तावेज़ों के लिए अनुमतियाँ सेट करने के लिए और व्यक्तिगत लोकप्रिय फ़िल्टर को कैश करने के लिए बिट मास्क का उपयोग भी कर सकते हैं। फिर आमतौर पर बिट मास्क को इंडेक्स से अलग रखा जाता है।

उदाहरण के लिए, हमारे पास लोकप्रिय फिल्टर हैं: मास्को शहर, केवल अंशकालिक, कार्य अनुभव के बिना। फिर, अनुरोध से पहले, हम इन दस्तावेजों के लिए पहले से ही सहेजे गए बिट मास्क प्राप्त कर सकते हैं, उन्हें जोड़ सकते हैं, और अंतिम बिट मास्क प्राप्त कर सकते हैं - कौन से दस्तावेज़ इन तीनों फिल्टर से गुजरते हैं, जिससे फ़िल्टरिंग पर समय की बचत होती है।

2. रैंकिंग

जैसा कि हम याद करते हैं, खोज का मुख्य कार्य न्यूनतम समय में सबसे अधिक प्रासंगिक जानकारी प्राप्त करना है। और इसमें हमें दस्तावेज़ों की रैंकिंग द्वारा मदद मिलेगी, जब हमने पाठ क्वेरी द्वारा दस्तावेजों को फ़िल्टर किया और आवश्यक फ़िल्टर और अधिकार लागू किए।

रैंकिंग करने का सबसे आसान और सस्ता तरीका है कि दस्तावेजों को केवल तारीख तक क्रमबद्ध करें। कुछ प्रणालियों में, यह पहले किया गया था, उदाहरण के लिए, समाचार या अचल संपत्ति घोषणाओं में, इसलिए उपयोगकर्ता को पहले नवीनतम दस्तावेज़ दिखाए गए थे।

कभी-कभी किसी दस्तावेज़ में पाए जाने वाले शब्दों की संख्या से एक रैंकिंग मॉडल का उपयोग किया जा सकता है, उदाहरण के लिए, जब इतने सारे दस्तावेज़ नहीं हैं, और हम सभी दस्तावेज़ ढूंढना चाहते हैं जिसमें कम से कम एक क्वेरी शब्द मिला हो। इस स्थिति में, वे दस्तावेज़ जिनमें क्वेरी या उससे अधिक सभी शब्द पाए जाते हैं, अधिक प्रासंगिक होंगे।

बेशक, वर्तमान में, ये विधियां पहले से ही अप्रासंगिक हो गई हैं, और उन्हें समस्या के इतिहास के लिए जिम्मेदार ठहराया जा सकता है।

2.1 टीएफ-आईडीएफ

TF-IDF (टर्म फ़्रीक्वेंसी - इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी) सबसे बेसिक और मोस्ट यूज़्ड रैंकिंग फॉर्मूलों में से एक है। सूत्र का सार हर जगह इस्तेमाल की जाने वाली शर्तों को कम करना है, उदाहरण के लिए, पूर्वसर्गों और विशेषण, और अधिक अर्थपूर्ण शब्द बनाने के लिए जो दुर्लभ हैं, इस प्रकार क्वेरी के साथ दुर्लभ और अधिक सार्थक शब्दों के साथ पहले दस्तावेज़ दिखा रहे हैं। अब सूत्र को भागों में तोड़ते हैं:

टीएफ (शब्द आवृत्ति) दस्तावेज़ में होने वाली अवधि की आवृत्ति है। यह केवल गणना की है:

दस्तावेज़ में सभी शर्तों के TF शब्द `जावा '= शब्द की संख्या / जावा शब्द

आईडीएफ (उलटा दस्तावेज़ आवृत्ति) - उस आवृत्ति का व्युत्क्रम जिसके साथ शब्द दस्तावेजों के संग्रह में होता है। आमतौर पर इस्तेमाल किए जाने वाले शब्दों के वजन को कम करने में मदद करता है।

IDF (`java`) = लॉग (दस्तावेजों के संग्रह / दस्तावेजों की संख्या जिसमें शब्द` जावा `होता है)

इसके अलावा, जावा की टीएफ-आईडीएफ प्राप्त करने के लिए, हमें केवल प्राप्त टीएफ और आईडीएफ मूल्यों को गुणा करना होगा। , , . , , developer , , java developer .

2.2

, , . , , , .

2.3 BM25 BM*

BM25 (Okapi best match 25) TF-IDF . BM25F, ( ).

$$

$$\mathrm{BM25} = \sum_{i=1}^w \frac{(1 + k) \cdot \mathrm{TF}_i \cdot \mathrm{IDF}_i}{\mathrm{TF}_i + k(1 - b + b \frac{\mathrm{DL}}{avg\mathrm{DL}})} \\ \mathrm{IDF}_i = \frac{\mathrm{log} (\frac{N - n + 1}{n})}{\mathrm{log} N}$$

2.4

, :

• DFR (divergence from randomness),
• IBS (information-based models),
• LM Dirichlet,
• Jelinek-Mercer.

2.5

, , . , .

2.6 Top k

, . , , .

, . top k .

— . k, k * . heap. n*log(n) k.

. , , , 10 12, score 10 score . , n — (n*page size) .

3.

3.1

— . , .

, : , , . , . . ( , ). (merge).

, , :



. , , , - .

3.2 (megre)

— . «» — . , , ( ).



, , , . :

• ,
• (, 2 ),
• (, ).

4.

, , . , - (, . .). , , , .

4.1

(, hh , ), . .

, , . -, , . -, , , .

4.2

, . , .

, hh, , , - :

5. …

, , , . , : , , , , , (highlight), . , , , top k .

:

• Introduction to Information Retrieval
• lucene ( elasticsearch) sphinx
• रिपोर्ट देखें जैसे आंद्रेई Aksenov,
• hh प्रोग्रामर स्कूल में अध्ययन के लिए आते हैं और खोज के बारे में व्याख्यान सुनते हैं :)

यह सब, आपके ध्यान के लिए धन्यवाद, आपकी टिप्पणियों और सवालों को सुनना दिलचस्प है।

पुनश्च

मैं इस लेख को लिखने में मेरी मदद करने के लिए gdanschin का आभार व्यक्त करना चाहूंगा ।