हाइबरनेट सर्च से कैसे शुरुआत करें

आज, कई लोग स्प्रिंग बूट का उपयोग करके एंटरप्राइज़ जावा अनुप्रयोगों का विकास कर रहे हैं। परियोजनाओं के दौरान, कार्य अक्सर भिन्नता के खोज इंजन बनाने के लिए उत्पन्न होते हैं। उदाहरण के लिए, यदि आप एक ऐसी प्रणाली विकसित कर रहे हैं जो उपयोगकर्ताओं और पुस्तकों के बारे में डेटा संग्रहीत करती है, तो जल्दी या बाद में इसे पुस्तकों के लिए नाम / एनोटेशन द्वारा उपयोगकर्ता नाम / उपनाम से खोज की आवश्यकता हो सकती है।



इस पोस्ट में, मैं संक्षेप में उन उपकरणों के बारे में बात करूंगा जो ऐसी समस्याओं को हल करने में मदद कर सकते हैं। और फिर मैं एक खोज सेवा का एक डेमो प्रोजेक्ट पेश करूंगा, जहां एक अधिक दिलचस्प और जटिल सुविधा लागू की गई है - संस्थाओं, डीबी और खोज सूचकांक का सिंक्रनाइज़ेशन। इस डेमो प्रोजेक्ट के उदाहरण का उपयोग करके, आप हाइबरनेट खोज से परिचित हो सकते हैं, पूर्ण-पाठ अनुक्रमित सोल, ल्यूसिन, इलास्टिकसर्च के साथ संवाद करने का एक सुविधाजनक तरीका।

खोज इंजनों को तैनात करने के औजारों में, मैं तीन को बाहर करूंगा।

ल्यूसीन एक जावा लाइब्रेरी है जो एक निम्न-स्तरीय, पूर्ण-पाठ खोज के लिए असमान डेटाबेस इंटरफ़ेस प्रदान करता है। इसकी मदद से, आप अनुक्रमित बना सकते हैं और उन्हें रिकॉर्ड (दस्तावेजों) से भर सकते हैं। ल्यूसिन के बारे में यहाँ और पढ़ें।

सोल परम ल्यूसिन-आधारित सॉफ्टवेयर उत्पाद, एक पूर्ण-पाठ डेटाबेस, एक स्टैंड-अलोन अलग वेब सर्वर है। इसमें अनुक्रमण और पूर्ण-पाठ प्रश्नों के लिए एक http-इंटरफ़ेस है, यह आपको दस्तावेजों को अनुक्रमित करने और उन्हें खोजने की अनुमति देता है। सोलर में एक साधारण एपीआई और एक अंतर्निहित यूआई है, जो इंडेक्स के मैनुअल हेरफेर की आवश्यकता को समाप्त करता है। Habré पर Solr और Lucene का एक अच्छा तुलनात्मक विश्लेषण था।

इलास्टिकसर्च सोलर का एक अधिक आधुनिक एनालॉग है। यह Apache Lucene पर भी आधारित है। Solr की तुलना में, ElasticSearch दस्तावेज़ों को अनुक्रमित करते समय उच्च भार का सामना कर सकता है और इसलिए इसका उपयोग लॉग फ़ाइलों को अनुक्रमित करने के लिए किया जा सकता है। नेट पर आप Solr और ElasticSearch की तुलना करते हुए एक विस्तृत तालिका पा सकते हैं।

यह, ज़ाहिर है, एक पूरी सूची नहीं है; ऊपर, मैंने केवल उन प्रणालियों को चुना जो सबसे अधिक ध्यान देने योग्य हैं। खोज को व्यवस्थित करने के लिए बहुत सारे सिस्टम हैं। PostgreSQL में पूर्ण-पाठ खोज क्षमताएं हैं; स्फिंक्स के बारे में मत भूलना।

मुख्य समस्या है

हम मुख्य चीज से गुजरते हैं। विश्वसनीय / सुसंगत डेटा भंडारण के लिए, आरडीबी (संबंधपरक डेटाबेस) का आमतौर पर उपयोग किया जाता है। यह ACID के सिद्धांतों के अनुसार लेन-देन प्रदान करता है। खोज इंजन काम करने के लिए, एक इंडेक्स का उपयोग संस्थाओं और तालिकाओं के उन क्षेत्रों को जोड़ने के लिए किया जाता है जिनके द्वारा खोज की जाएगी। यही है, जब एक नई वस्तु सिस्टम में प्रवेश करती है, तो इसे रिलेशनल डेटाबेस और पूर्ण-पाठ इंडेक्स दोनों में सहेजा जाना चाहिए।

यदि आपके एप्लिकेशन के भीतर इस तरह के परिवर्तनों की लेन-देन की प्रकृति व्यवस्थित नहीं है, तो विभिन्न प्रकार के डिसिन्क्रिनेशन हो सकते हैं। उदाहरण के लिए, आप किसी डेटाबेस से चयन करते हैं, लेकिन यह ऑब्जेक्ट इंडेक्स में नहीं है। या इसके विपरीत: सूचकांक में एक वस्तु रिकॉर्ड है, और इसे आरडीबी से हटा दिया गया था।

इस समस्या को हल करने के कई तरीके हैं। आप JTA और स्प्रिंग ट्रांजैक्शन मैनेजमेंट मैकेनिज्म का उपयोग करके मैन्युअल रूप से ट्रांजेक्शनल बदलाव कर सकते हैं। या आप अधिक दिलचस्प तरीके से जा सकते हैं - हाइबरनेट खोज का उपयोग करें, जो यह सब अपने आप से करेगा। डिफ़ॉल्ट रूप से, ल्यूसीन का उपयोग किया जाता है, जो फ़ाइल सिस्टम के अंदर इंडेक्स डेटा को संग्रहीत करता है, सामान्य तौर पर, इंडेक्स से कनेक्शन कॉन्फ़िगर किया जाता है। जब सिस्टम शुरू होता है, तो आप सिंक्रनाइज़ेशन विधि startAndWait () शुरू करते हैं, और जब सिस्टम चल रहा होता है, तो रिकॉर्ड RDB और इंडेक्स में संग्रहीत किए जाएंगे।

इस समाधान का वर्णन करने के लिए, मैंने हाइबरनेट खोज के साथ एक डेमो प्रोजेक्ट तैयार किया। हम उपयोगकर्ताओं को पढ़ने, अपडेट करने और खोज करने के लिए एक सेवा पद्धति बनाएंगे। यह पहले नाम, अंतिम नाम या अन्य मेटा-डेटा द्वारा पूर्ण-पाठ खोज की संभावना के साथ एक आंतरिक डेटाबेस का आधार बना सकता है। संबंधपरक डेटाबेस के साथ बातचीत करने के लिए, हम स्प्रिंग डेटा जपा ढांचे का उपयोग करते हैं।

उपयोगकर्ता का प्रतिनिधित्व करने के लिए इकाई वर्ग से शुरू करते हैं:

import org.hibernate.search.annotations.Field import org.hibernate.search.annotations.Indexed import javax.persistence.Entity import javax.persistence.Id import javax.persistence.Table @Entity @Table(name = "users") @Indexed internal data class User(        @Id        val id: Long,        @Field        val name: String,        @Field        val surname: String,        @Field        val phoneNumber: String) 

सब कुछ मानक है, हम स्प्रिंग डेटा के लिए सभी आवश्यक एनोटेशन के साथ इकाई को दर्शाते हैं। इकाई का उपयोग करना , हम इकाई को इंगित करते हैं, तालिका का उपयोग करके हम डेटाबेस में लेबल को इंगित करते हैं। अनुक्रमित एनोटेशन इंगित करता है कि एक इकाई अनुक्रमित है और एक पूर्ण-पाठ सूचकांक में आ जाएगी।

डेटाबेस में उपयोगकर्ताओं पर CRUD संचालन के लिए आवश्यक JPA रिपॉजिटरी:

 internal interface UserRepository: JpaRepository<User, Long> 

उपयोगकर्ताओं के साथ काम करने के लिए सेवा, UserService.java:

 import org.springframework.stereotype.Service import javax.transaction.Transactional @Service @Transactional internal class UserService(private val userRepository: UserRepository, private val userSearch: UserSearch) {   fun findAll(): List<User> {       return userRepository.findAll()   }   fun search(text: String): List<User> {       return userSearch.searchUsers(text)   }   fun saveUser(user: User): User {       return userRepository.save(user)   } } 

FindAll को सभी उपयोगकर्ता डेटाबेस से सीधे मिलते हैं। उपयोगकर्ता इंडेक्स से उपयोगकर्ताओं को पुनः प्राप्त करने के लिए उपयोगकर्ता खोज घटक का उपयोग करता है। उपयोगकर्ता खोज सूचकांक के साथ काम करने के लिए घटक:

 @Repository @Transactional internal class UserSearch(@PersistenceContext val entityManager: EntityManager) {   fun searchUsers(text: String): List<User> {       // fullTextEntityManager,  entityManager       val fullTextEntityManager = org.hibernate.search.jpa.Search.getFullTextEntityManager(entityManager)       //     Hibernate Search query DSL       val queryBuilder = fullTextEntityManager.searchFactory               .buildQueryBuilder().forEntity(User::class.java).get()       // ,            val query = queryBuilder               .keyword()               .onFields("name")               .matching(text)               .createQuery()       // Lucene Query  Hibernate Query object       val jpaQuery: FullTextQuery = fullTextEntityManager.createFullTextQuery(query, User::class.java)       //         return jpaQuery.resultList.map { result -> result as User }.toList()   } } 

अन्य नियंत्रक, उपयोगकर्ता नियंत्रणकर्ता: जावा:

 import org.springframework.web.bind.annotation.GetMapping import org.springframework.web.bind.annotation.PostMapping import org.springframework.web.bind.annotation.RequestBody import org.springframework.web.bind.annotation.RestController import java.util.* @RestController internal class UserController(private val userService: UserService) {   @GetMapping("/users")   fun getAll(): List<User> {       return userService.findAll()   }   @GetMapping("/users/search")   fun search(text: String): List<User> {       return userService.search(text)   }   @PostMapping("/users")   fun insertUser(@RequestBody user: User): User {       return userService.saveUser(user)   } } 

हम डेटाबेस से निकालने और स्ट्रिंग द्वारा खोज करने के लिए दो तरीकों का उपयोग करते हैं।

आवेदन के चलने से पहले, सूचकांक को आरंभीकृत करना आवश्यक है, हम ApplicationListener का उपयोग करके ऐसा करते हैं।

 package ru.rti import org.hibernate.search.jpa.Search import org.springframework.boot.context.event.ApplicationReadyEvent import org.springframework.context.ApplicationListener import org.springframework.stereotype.Component import javax.persistence.EntityManager import javax.persistence.PersistenceContext import javax.transaction.Transactional @Component @Transactional class BuildSearchService( @PersistenceContext val entityManager: EntityManager) : ApplicationListener<ApplicationReadyEvent> { override fun onApplicationEvent(event: ApplicationReadyEvent?) { try { val fullTextEntityManager = Search.getFullTextEntityManager(entityManager) fullTextEntityManager.createIndexer().startAndWait() } catch (e: InterruptedException) { println("An error occurred trying to build the search index: " + e.toString()) } } } 

परीक्षण के लिए हमने PostgreSQL का उपयोग किया:

 spring.datasource.url=jdbc:postgresql:users spring.datasource.username=postgres spring.datasource.password=postgres spring.datasource.driver-class-name=org.postgresql.Driver spring.datasource.name=users 

अंत में, build.gradle :

 buildscript {   ext.kotlin_version = '1.2.61'   ext.spring_boot_version = '1.5.15.RELEASE'   repositories {       jcenter()   }   dependencies {       classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlin_version"       classpath "org.jetbrains.kotlin:kotlin-allopen:$kotlin_version"       classpath "org.springframework.boot:spring-boot-gradle-plugin:$spring_boot_version"       classpath "org.jetbrains.kotlin:kotlin-noarg:$kotlin_version"   } } apply plugin: 'kotlin' apply plugin: "kotlin-spring" apply plugin: "kotlin-jpa" apply plugin: 'org.springframework.boot' noArg {   invokeInitializers = true } jar {   baseName = 'gs-rest-service'   version = '0.1.0' } repositories {   jcenter() } dependencies {   compile "org.jetbrains.kotlin:kotlin-stdlib:$kotlin_version"   compile 'org.springframework.boot:spring-boot-starter-web'   compile 'org.springframework.boot:spring-boot-starter-data-jpa'   compile group: 'postgresql', name: 'postgresql', version: '9.1-901.jdbc4'   compile group: 'org.hibernate', name: 'hibernate-core', version: '5.3.6.Final'   compile group: 'org.hibernate', name: 'hibernate-search-orm', version: '5.10.3.Final'   compile group: 'com.h2database', name: 'h2', version: '1.3.148'   testCompile('org.springframework.boot:spring-boot-starter-test') } 

यह डेमो हाइबरनेट खोज तकनीक का उपयोग करने का एक सरल उदाहरण है, जिसके साथ आप समझ सकते हैं कि कैसे दोस्तों अपाचे ल्यूसिन और स्प्रिंग डेटा एमपीए बनाया जाए। यदि आवश्यक हो, तो इस डेमो पर आधारित परियोजनाएं Apache Solr या ElasticSearch से जुड़ी हो सकती हैं। परियोजना के लिए एक संभावित दिशा बड़े सूचकांक (> 10 जीबी) की खोज करना और उनमें प्रदर्शन को मापना है। आप हाइबरनेट खोज की संभावनाओं की गहन स्तर पर खोज करके ElasticSearch या अधिक जटिल सूचकांक विन्यास के लिए विन्यास बना सकते हैं।

उपयोगी लिंक:

• यह प्रोजेक्ट जीथब पर है
  
• स्प्रिंग डेटा जेपा के साथ कोटलिन का उपयोग कैसे करें
  
• कोटलिन और स्प्रिंग बूट का उपयोग करना
  
• जीथब पर कोटलिन और स्प्रिंग बूट डेमो
  
• स्प्रिंग डेटा जेपा और कोटलिन - मावेन कॉन्फ़िगरेशन
  
• कोटलिन कम्पाइलर प्लगइन्स - जेपा और स्प्रिंग
  
• स्प्रिंग बूट और हाइबरनेट खोज का एकीकरण (+ जीथब )
  
• हाइबरनेट खोज संस्करण संगतता