ZomboDB के उदाहरण पर Django ORM का अनुकूलन

अक्सर जब Django और PostgreSQL के साथ काम करते हैं , तो डेटाबेस के लिए अतिरिक्त एक्सटेंशन की आवश्यकता होती है। और अगर उदाहरण के लिए hstore या PostGIS (GeoDjango के लिए धन्यवाद) के साथ सब कुछ काफी सुविधाजनक है, तो दुर्लभ एक्सटेंशन के साथ - जैसे pgRout, ZomboDB, आदि - आपको या तो RawSQL में लिखना होगा या DjM ORM को कस्टमाइज़ करना होगा। इस लेख में मैंने जो प्रस्ताव रखा है, वह एक उदाहरण के रूप में ZomboDB का उपयोग करना है और इसकी शुरुआत ट्यूटोरियल करना है । और उसी समय, आइए विचार करें कि आप ZomboDB को एक Django परियोजना से कैसे जोड़ सकते हैं।

PostgreSQL की अपनी पूर्ण-पाठ खोज है और यह काम करता है, नवीनतम मानदंड, बहुत जल्दी। लेकिन खोज में इसकी क्षमता अभी भी वांछित होने के लिए बहुत कुछ छोड़ देती है। परिणामस्वरूप, ल्यूसिने-आधारित समाधानों के बिना - ElasticSearch, उदाहरण के लिए - तंग है। ElasticSearch के अंदर अपना स्वयं का डेटाबेस है, जो खोज का संचालन करता है। फिलहाल मुख्य समाधान सिग्नल या मैनुअल कॉलबैक फ़ंक्शंस का उपयोग करके PostgreSQL और ElasticSearch के बीच डेटा स्थिरता का मैनुअल नियंत्रण है।

ZomboDB एक ऐसा एक्सटेंशन है, जो अपने ही प्रकार के इंडेक्स को लागू करता है, तालिका मूल्य को ElasticSearch के लिए एक पॉइंटर में बदल देता है, जो SQL सिंटैक्स के हिस्से के रूप में ElasticSearch DSL का उपयोग करके पूर्ण-पाठ तालिका खोजों की अनुमति देता है।

लेखन के समय, एक नेटवर्क खोज ने कोई परिणाम नहीं दिया। केवल ZomboDB के बारे में Habré पर लेखों में से एक । ZomboDB और Django को एकीकृत करने पर कोई लेख नहीं है।

ZomboDB विवरण में कहा गया है कि एलिस्टिक्स को कॉल रिस्टफुल एपीआई के माध्यम से जाते हैं, इसलिए प्रदर्शन संदेह में है, लेकिन अब हम इस पर स्पर्श नहीं करेंगे। डेटा हानि के बिना ZomboDB के सही हटाने के मुद्दे भी।

अगला, हम डॉकटर में सभी परीक्षण करेंगे, इसलिए हम एक छोटे डॉकटर-कम्पोज फाइल को इकट्ठा करेंगे

version: '3' services: postgres: build: docker/postgres environment: - POSTGRES_USER=django - POSTGRES_PASSWORD=123456 - POSTGRES_DB=zombodb - PGDATA=/home/postgresql/data ports: - 5432:5432 # sudo sysctl -w vm.max_map_count=262144 elasticsearch: image: elasticsearch:6.5.4 environment: - cluster.name=zombodb - bootstrap.memory_lock=true - ES_JAVA_OPTS=-Xms512m -Xmx512m ulimits: memlock: soft: -1 hard: -1 ports: - 9200:9200 django: build: docker/python command: python3 manage.py runserver 0.0.0.0:8000 volumes: - ./:/home/ ports: - 8000:8000 depends_on: - postgres - elasticsearch 

ZomboDB का नवीनतम संस्करण Postgres के अधिकतम 10 वें संस्करण के साथ काम करता है और इसके लिए निर्भरता से कर्ल की आवश्यकता होती है (मुझे लगता है कि ElasticSearch में प्रश्न बनाने के लिए)।

 FROM postgres:10 WORKDIR /home/ RUN apt-get -y update && apt-get -y install curl ADD https://www.zombodb.com/releases/v10-1.0.3/zombodb_jessie_pg10-10-1.0.3_amd64.deb ./ RUN dpkg -i zombodb_jessie_pg10-10-1.0.3_amd64.deb RUN rm zombodb_jessie_pg10-10-1.0.3_amd64.deb RUN apt-get -y clean 

Django के लिए कंटेनर विशिष्ट है। इसमें हम केवल Django और psycopg2 के नवीनतम संस्करण डालेंगे।

 FROM python:stretch WORKDIR /home/ RUN pip3 install --no-cache-dir django psycopg2-binary 

लिनक्स पर इलास्टिकसर्च vm.max_map_count की मूल सेटिंग्स से शुरू नहीं होता है, इसलिए हमें उन्हें थोड़ा बढ़ाना होगा (जो डॉकटर के माध्यम से इसे स्वचालित करना जानता है - टिप्पणियों में लिखें)।

 sudo sysctl -w vm.max_map_count=262144 

तो, परीक्षण वातावरण तैयार है। आप Django पर प्रोजेक्ट पर जा सकते हैं। मैं इसे पूरी तरह से नहीं दे सकता; जो लोग इसे चाहते हैं, वे इसे GitLab के भंडार में देख सकते हैं। मैं केवल महत्वपूर्ण बिंदुओं पर ध्यान केन्द्रित करूंगा।

पहली चीज जो हमें करने की ज़रूरत है वह पोस्टग्रेक्यूएल में विस्तार के रूप में ज़ोम्बोबीडी में प्लग है। आप निश्चित रूप से, डेटाबेस से कनेक्ट कर सकते हैं और SQL CREATE EXTENSION zombodb; माध्यम से एक्सटेंशन को सक्षम कर CREATE EXTENSION zombodb; । आप इसके लिए आधिकारिक पोस्टग्रेज कंटेनर में docker-entrypoint-initdb.d हुक का भी उपयोग कर सकते हैं। लेकिन जब से हमारे पास Django है, तब हम उसके रास्ते पर जाएंगे।
प्रोजेक्ट बनाने और पहले माइग्रेशन बनाने के बाद, इसमें एक्सटेंशन कनेक्शन जोड़ें।

 from django.db import migrations, models from django.contrib.postgres.operations import CreateExtension class Migration(migrations.Migration): initial = True dependencies = [ ] operations = [ CreateExtension('zombodb'), ] 

दूसरे, हमें एक मॉडल की आवश्यकता है जो परीक्षण पैटर्न का वर्णन करेगा। ऐसा करने के लिए, हमें एक फ़ील्ड की आवश्यकता है जो zdb.fulltext डेटा प्रकार के साथ काम करता है। अच्छा, चलो अपना खुद का लिखो । चूंकि django के लिए यह डेटा प्रकार देशी पोस्टग्रैक्स्ल टेक्स्ट के समान है, जब हम अपना क्षेत्र बनाते हैं, तो हम मॉडल से अपना वर्ग वार करेंगे। इसके अलावा, दो महत्वपूर्ण चीजें करने की आवश्यकता है: इस क्षेत्र पर बीटीआरई सूचकांक का उपयोग करने की क्षमता को बंद करें और डेटाबेस के लिए बैकएंड को प्रतिबंधित करें। अंतिम परिणाम इस प्रकार है:

 class ZomboField(models.TextField): description = "Alias for Zombodb field" def __init__(self, *args, **kwargs): kwargs['db_index'] = False super().__init__(*args, **kwargs) def db_type(self, connection): databases = [ 'django.db.backends.postgresql_psycopg2', 'django.db.backends.postgis' ] if connection.settings_dict['ENGINE'] in databases: return 'zdb.fulltext' else: raise TypeError('This database not support') 

तीसरा, ZomboDB के बारे में बताएं जहां हमारी ElasticSearch खोज करनी है। डेटाबेस में ही, ZomboDB से एक कस्टम इंडेक्स का उपयोग इस उद्देश्य के लिए किया जाता है। इसलिए, यदि पता बदल जाता है, तो सूचकांक को बदलना होगा।
Django ऐप_मॉडल पैटर्न के अनुसार तालिकाओं का नाम देता है: हमारे मामले में, एप्लिकेशन को मुख्य कहा जाता है, और मॉडल लेख है। इलास्टिक्स खोज डीएनएस नाम है जो डॉकटर कंटेनर नाम से असाइन करता है।
SQL में, यह इस तरह दिखता है:

 CREATE INDEX idx_main_article ON main_article USING zombodb ((main_article.*)) WITH (url='elasticsearch:9200/'); 

Django में, हमें एक कस्टम इंडेक्स बनाने की भी आवश्यकता है। सूचकांक अभी तक बहुत लचीले नहीं हैं: विशेष रूप से, जोम्बोडब इंडेक्स एक विशिष्ट कॉलम को इंगित नहीं करता है, लेकिन संपूर्ण तालिका । Django में, एक सूचकांक को एक अनिवार्य फ़ील्ड संदर्भ की आवश्यकता होती है। इसलिए मैंने statement.parts['columns'] ((main_article.*)) साथ बदल दिया, लेकिन निर्माण और ((main_article.*)) तरीकों को अभी भी फ़ील्ड बनाते समय फ़ील्ड विशेषता को निर्दिष्ट करने की आवश्यकता होती है। हमें पैरामेट्स के लिए एक अतिरिक्त पैरामीटर भी पास करना होगा। get_with_params ओवरराइड क्यों करें, get_with_params और get_with_params ।
सामान्य तौर पर, डिजाइन काम करने के लिए निकला। समस्याओं के बिना माइग्रेशन लागू और रद्द कर दिए जाते हैं।

 class ZomboIndex(models.Index): def __init__(self, *, url=None, **kwargs): self.url = url super().__init__(**kwargs) def create_sql(self, model, schema_editor, using=''): statement = super().create_sql(model, schema_editor, using=' USING zombodb') statement.parts['columns'] = '(%s.*)' % model._meta.db_table with_params = self.get_with_params() if with_params: statement.parts['extra'] = " WITH (%s) %s" % ( ', '.join(with_params), statement.parts['extra'], ) print(statement) return statement def deconstruct(self): path, args, kwargs = super().deconstruct() if self.url is not None: kwargs['url'] = self.url return path, args, kwargs def get_with_params(self): with_params = [] if self.url: with_params.append("url='%s'" % self.url) return with_params 

जिन लोगों को यह दृष्टिकोण पसंद नहीं है, वे सीधे एक इंडेक्स जोड़कर RunSQL से माइग्रेशन का उपयोग कर सकते हैं। आपको बस तालिका के नाम का ट्रैक रखना होगा और अपने आप को अनुक्रमित करना होगा।

 migrations.RunSQL( sql = ( "CREATE INDEX idx_main_article " "ON main_article " "USING zombodb ((main_article.*)) " "WITH (url='elasticsearch:9200/');" ), reverse_sql='DROP INDEX idx_main_article' ) 

परिणाम एक ऐसा मॉडल है। ZomboField TextField के समान ही तर्क स्वीकार करता है, एक अपवाद के साथ - index_db कुछ भी प्रभावित नहीं करता है, ठीक उसी तरह जैसे फ़ील्ड ZomboIndex में विशेषता है।

 class Article(models.Model): text = ZomboField() class Meta: indexes = [ ZomboIndex(url='elasticsearch:9200/', name='zombo_idx', fields=['text']) ] 

अंत में, माइग्रेशन फ़ाइल इस तरह दिखनी चाहिए:

 from django.db import migrations, models from django.contrib.postgres.operations import CreateExtension import main.models class Migration(migrations.Migration): initial = True dependencies = [ ] operations = [ CreateExtension('zombodb'), migrations.CreateModel( name='Article', fields=[ ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')), ('text', main.models.ZomboField()), ], ), migrations.AddIndex( model_name='article', index=main.models.ZomboIndex(fields=['text'], name='zombo_idx', url='elasticsearch:9200/'), ) ] 

रुचि रखने वालों के लिए, मैं Django ORM का निर्माण करने वाले SQL को संलग्न करता हूं (आप sqlmigrate माध्यम से देख सकते हैं, अच्छी तरह से, या खाते को ध्यान में रखते हुए: sudo docker-compose exec django python3 manage.py sqlmigrate main 0001 )

 BEGIN; -- -- Creates extension zombodb -- CREATE EXTENSION IF NOT EXISTS "zombodb"; -- -- Create model Article -- CREATE TABLE "main_article" ("id" serial NOT NULL PRIMARY KEY, "text" zdb.fulltext NOT NULL); -- -- Create index zombo_idx on field(s) text of model article -- CREATE INDEX "zombo_idx" ON "main_article" USING zombodb ((main_article.*)) WITH (url='elasticsearch:9200/') ; COMMIT; 

इसलिए, हमारे पास एक मॉडल है। यह अब फिल्टर के माध्यम से एक खोज करने के लिए बनी हुई है। ऐसा करने के लिए, अपने लुकअप का वर्णन करें और इसे पंजीकृत करें।

 @ZomboField.register_lookup class ZomboSearch(models.Lookup): lookup_name = 'zombo_search' def as_sql(self, compiler, connection): lhs, lhs_params = self.process_lhs(compiler, connection) rhs, rhs_params = self.process_rhs(compiler, connection) params = lhs_params + rhs_params return "%s ==> %s" % (lhs.split('.')[0], rhs), params 

इस मामले में खोज इस तरह होगी:

 Article.objects.filter(text__zombo_search='(call OR box)') 

लेकिन आमतौर पर एक खोज पर्याप्त नहीं है। इसमें परिणाम की रैंकिंग और पाए गए शब्दों को हाइलाइट करने की भी आवश्यकता होती है।
ठीक है, रैंकिंग बहुत सीधा है। हम अपना कार्य लिखते हैं:

 from django.db.models import FloatField, Func class ZomboScore(Func): lookup_name = 'score' function = 'zdb.score' template = "%(function)s(ctid)" arity = 0 @property def output_field(self): return FloatField() 

अब आप बिना किसी समस्या के काफी जटिल प्रश्नों का निर्माण कर सकते हैं।

 scores = (Article.objects .filter(text__zombo_search='delete') .annotate(score=ZomboScore()) .values_list(F('score')) .order_by('-score')) 

परिणाम को हाइलाइट करना (हाइलाइट करना) कुछ अधिक जटिल हो गया, यह सुंदर तरीके से काम नहीं करता है। Django psycopg2 बैकेंड किसी भी स्थिति में _ को _ रूपांतरित करता है। _ । यदि text था, तो "main_article"."text" , जिसे ZomboDB स्पष्ट रूप से स्वीकार नहीं करता है। स्तंभ पदनाम विशेष रूप से स्तंभ का पाठ्य नाम होना चाहिए। लेकिन यहाँ RawSQL बचाव के लिए आता है।

 from django.db.models.expressions import RawSQL highlighted = (Article.objects .filter(text__zombo_search='delete') .values(highlight_text=RawSQL("zdb.highlight(ctid, %s)", ('text',)))) 

परीक्षणों के साथ परियोजना का पूर्ण संस्करण रिपॉजिटरी में देखा जा सकता है । लेख के सभी उदाहरण परीक्षण के रूप में वहां लिखे गए हैं। मुझे आशा है कि किसी के लिए यह लेख उपयोगी होगा और आपको संकेतों पर एक साइकिल लिखने के लिए प्रोत्साहित नहीं करेगा, जिसमें स्वयं को सभी सुसंगतता को शूट करने की क्षमता होगी, और ओआरएम के सभी सकारात्मक पहलुओं को खोए बिना एक तैयार समाधान का उपयोग करें। परिवर्धन और सुधार का भी स्वागत है।

UPD: django-zombodb लाइब्रेरी दिखाई दी है