डाटा माइनिंग पबेड और पबकेम - मेडिकल और बायोकेमिकल इंफॉर्मेशन डेटाबेस

PubMed जीवन विज्ञान पत्रिकाओं, ऑनलाइन पुस्तकों और ऑनलाइन से बायोमेडिकल साहित्य के 28 मिलियन से अधिक उद्धरणों (सार और शीर्षक) का प्रतिनिधित्व करता है। साथ ही उद्धरण में लेखों का पूरा पाठ शामिल हो सकता है। पब में विशिष्ट क्वेरी - टाइप 2 मधुमेह प्राकृतिक यौगिक

पबकेम - 100 मिलियन से अधिक रासायनिक यौगिकों और 236 मिलियन पदार्थों का एक डेटाबेस। इसके अलावा डेटाबेस में 1.25 मिलियन यौगिकों की बायोएक्टिविटी परिणाम हैं (उदाहरण के लिए, कैंसर के खिलाफ यौगिकों की गतिविधि या एक विशिष्ट जीन के निषेध)। फिलहाल, लगभग 9 मिलियन कार्बनिक रासायनिक यौगिक (जटिल पदार्थ) ज्ञात हैं। अकार्बनिक रसायन एक बड़ी राशि हो सकते हैं - 10 ** 18 से

इस लेख में, मैं कैंसर के अस्तित्व के लिए खराब रोग का कारण बनने वाले जीनों की सूची और कार्बनिक यौगिकों के लिए खोज कोड और PubChem आधार के सभी रासायनिक अणुओं के बीच उनकी संख्याओं के संकलन का उदाहरण दूंगा। इस लेख में कोई मशीन लर्निंग नहीं होगी (डायबिटीज बायोमार्कर पर अगले लेख में मशीन लर्निंग की आवश्यकता होगी, एक व्यक्ति की आयु को rn अभिव्यक्ति द्वारा निर्धारित करना, कैंसर-रोधी पदार्थों की जांच करना)।

जारी रखने के लिए, आवश्यक अजगर पैकेज Biopython और pubchempy स्थापित करें।

sudo conda install biopython pip install pubchempy 

PubMed

हम एक खराब कैंसर रोग के साथ संयोजन में उनकी अति-अभिव्यक्ति और कम अभिव्यक्ति के लिए जीन की खान करेंगे - यह वही है जो एक विशिष्ट शीर्षक जैसा दिखता है, पबित और लक्ष्य जीन के लिए एक अनुरोध:

('डीकेके की उच्च अभिव्यक्ति गैस्ट्रिक एडेनोकार्सिनोमा के खराब पूर्वानुमान की भविष्यवाणी करती है।', 'डीकेके खराब रोग का निदान', 'डीईके', 277, 15)

यह क्यों आवश्यक है - अणुओं के औषधीय प्रभाव और लक्ष्यों पर उनके संयोजन जो कि एक खराब कैंसर रोग से जुड़े हैं, की गणना जीन से की जा सकती है। (उदाहरण के लिए, पबकेम या लिनसीएस पर आधारित)।

हम जीन नामों (लगभग 12000) के साथ फाइल अपलोड करते हैं: जीथब

 import csv genes=[]; with open('/Users/andrejeremcuk/Downloads/genes.txt', 'r') as fp : reader = csv.reader(fp, delimiter='\t') for i in range(20000): genes.append(reader.next()) import time import numpy as np genesq=np.genfromtxt('/Users/andrejeremcuk/Downloads/genesq.txt',dtype='str') 

पब किए गए अनुरोध के लिए, आपको अपना ईमेल दिखाना होगा:

 from Bio import Entrez from Bio import Medline MAX_COUNT = 100 Entrez.email = '*@yandex.ru' articles=[];genes_cancer_poor=[];genes_cancer_poor1=[]; 

परिणामों की क्वेरी और प्रसंस्करण:

 for u in range(0,len(genesq)): print u if u%100==0: np.savetxt('/Users/andrejeremcuk/Downloads/genes_cancer_poor.txt', genes_cancer_poor,fmt='%s'); np.savetxt('/Users/andrejeremcuk/Downloads/genes_cancer_poor1.txt', genes_cancer_poor1, fmt='%s') gene=genesq[u];genefullname=genes[u][2] TERM=gene+' '+'poor prognosis' try: h=Entrez.esearch(db='pubmed', retmax=MAX_COUNT, term=TERM) except: time.sleep(5);h=Entrez.esearch(db='pubmed', retmax=MAX_COUNT, term=TERM) result = Entrez.read(h) ids = result['IdList'] h = Entrez.efetch(db='pubmed', id=ids, rettype='medline', retmode='text') ret = Medline.parse(h) fer=[]; for re in ret: try: tr=re['TI']; except: tr='0'; fer.append(tr); 

शीर्षक के पाठ में कीवर्ड खोजना:

  for i in range(len(fer)): gene1=fer[i].find(gene) gene2=fer[i].find(genefullname) ##### inc=fer[i].find("Increased") highe=fer[i].find("High expression") high=fer[i].find("High") expr=fer[i].find("expression") Overe=fer[i].find("Overexpression") overe=fer[i].find("overexpression") up1=fer[i].find("Up-regulation") el1=fer[i].find("Elevated expression") expr1=fer[i].find("Expression of ") #### decr=fer[i].find("Decreased") loss=fer[i].find("Loss") low1=fer[i].find("Low expression") low2=fer[i].find("Low levels") down1=fer[i].find("Down-regulated") down2=fer[i].find("Down-regulated") down3=fer[i].find("Downregulation") ##### acc=fer[i].find("accelerates") poor=fer[i].find("poor patient prognosis") poor1=fer[i].find("poor prognosis") poor2=fer[i].find("unfavorable clinical outcomes") poor3=fer[i].find("unfavorable prognosis") poor4=fer[i].find("poor outcome") poor5=fer[i].find("poor survival") poor6=fer[i].find("poor patient survival") poor7=fer[i].find("progression and prognosis") ### canc=fer[i].find("cancer") canc1=fer[i].find("carcinoma") 

जिसे हम शीर्षक में आदेश के लिए और सबसे सामान्य वाक्यांशों की उपस्थिति के लिए जांचते हैं।

  if (gene1!=-1)or(gene2!=-1): #<poor1,poor,poor2,poor3,poor4,poor5,poor6,poor7 if (canc1!=-1)or(canc!=-1): if (poor!=-1)or(poor1!=-1)or(poor2!=-1)or(poor3!=-1)or(poor4!=-1)or(poor5!=-1)or(poor6!=-1)or(poor7!=-1): # genel=-1; if (gene1!=-1): genel=gene1; if (gene2!=-1): genel=gene2; gene1=genel; if (expr!=-1): #<poor1,poor,poor2,poor3,poor4,poor5,poor6,poor7 if (gene1<expr): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,1)) if (low1!=-1)and(gene1!=-1): if (low1<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,2)) if (el1!=-1)and(gene1!=-1): if (el1<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,3)) if (Overe!=-1)and(gene1!=-1): if (Overe<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,4)) if (overe!=-1)and(gene1!=-1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,5)) if (expr1!=-1)and(gene1!=-1): if (expr1<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,6)) if (up1!=-1)and(gene1!=-1): if (up1<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,7)) if (highe!=-1)and(gene1!=-1): if (highe<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,8)) if (high!=-1)and(gene1!=-1)and(expr!=-1): if (high<gene1<expr): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,9)) if (gene1!=-1)and(expr1!=-1): if (expr1<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,10)) if (gene1!=-1)and(inc!=-1): if (inc<gene1): articles.append((fer[i],TERM,gene,u,i));genes_cancer_poor.append((gene,u,i,11)) ########### if (gene1!=-1)and(decr!=-1): if (decr<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,12)) if (gene1!=-1)and(loss!=-1): if (loss<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,13)) if (gene1!=-1)and(low1!=-1): if (low1<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,14)) if (gene1!=-1)and(low2!=-1): if (low2<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,15)) if (gene1!=-1)and(down1!=-1): if (down1<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,16)) if (gene1!=-1)and(down2!=-1): if (down2<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,17)) if (gene1!=-1)and(down3!=-1): if (down3<gene1): articles.append((fer[i],TERM,gene,u,i,'low'));genes_cancer_poor1.append((gene,u,i,18)) 

नतीजतन, हमें कई सूचियां मिलती हैं: खराब और उच्च अभिव्यक्ति वाले जीन एक खराब कैंसर रोग के साथ।

कुल में, दोनों खोजशब्दों और लक्ष्य वाक्यांशों के प्रवेश के साथ 913 लेख थे।

PubChem

यह डेटाबेस इसकी जानकारी तक पहुँचने के लिए दो तरीके प्रदान करता है: REST API द्वारा json फॉर्मेट में जहाँ अनुरोध इस तरह दिखता है:

https://pubchem.ncbi.nlm.nih.gov/rest/pug/compound/cid/2516/description/json

यह महत्वपूर्ण है कि इस पथ के माध्यम से अनुरोध प्रति सेकंड 5 से अधिक नहीं हो सकता है, लेकिन अभी तक मैंने सीमा की जांच नहीं की है, उन्हें भविष्यवाणियों को सहेजना चाहिए।

और pubchempy पुस्तकालय के माध्यम से:

 import pubchempy as pcp c = pcp.Compound.from_cid(5090) c.canonical_smiles 

आवश्यक पग रीस्ट एपीआई पैकेज आयात करें:

 import re import urllib, json, time import numpy as np 

HTML टैग से पाठ को साफ़ करने वाला कार्य:

 def cleanhtml(raw_html): cleanr = re.compile('<.*?>') cleantext = re.sub(cleanr, '', raw_html) return cleantext 

निम्नलिखित कोड में, हम पबकेम में 1 से 100,000 संख्या तक अणुओं का एक अंग्रेजी-भाषा विवरण खोलेंगे और संकेत देखेंगे कि इस अणु में एक कार्बनिक प्रकृति (एक जानवर के पौधे से या एक पेय के हिस्से के रूप में) है, जबकि यह न तो विषाक्त या कार्सिनोजेनिक है।

 natural=[]; for i in range(1,100000): url = "https://pubchem.ncbi.nlm.nih.gov/rest/pug/compound/cid/"+str(i)+"/description/json" time.sleep(0.2) try: response = urllib.urlopen(url) except: time.sleep(12);response = urllib.urlopen(url) data = json.loads(response.read()) op=0;ol=0;ot=0; try: for u in range(1,len(data['InformationList']['Information'])): soup=str(data['InformationList']['Information'][u]['Description']) soup1=cleanhtml(soup) if (soup1.find('carcinogen')!=-1)or(soup1.find('death')!=-1)or(soup1.find('damage')!=-1): break; if (soup1.find('toxic')!=-1): break; if (soup1.find(' plant')!=-1)and(op!=9)and(soup1.find('planting')==-1): natural.append((i,'plant',str(data['InformationList']['Information'][0]['Title'])));op=9; if (soup1.find(' beverages')!=-1)and(ot!=9): natural.append((i,'beverages',str(data['InformationList']['Information'][0]['Title'])));ot=9; if (soup1.find(' animal')!=-1)and(ol!=9): natural.append((i,'animal',str(data['InformationList']['Information'][0]['Title'])));ol=9; except: ii=0; if i%100==0: print i;np.savetxt('/Users/andrejeremcuk/Downloads/natural.txt', natural,fmt='%s', delimiter='<') 

संयंत्र के पाठ में संदर्भ खोजने के लिए, .find ('संयंत्र') का उपयोग करें। अंत में, फ़ाइल को PubChem में परिणामी कार्बनिक यौगिकों और उनकी संख्या के साथ सहेजें।

→ जीथब