टास्क नंबर 3। डेटा रूपांतरण और तृतीय-पक्ष सेवाओं पर अपलोड करें

आज हम चक्र से अंतिम कार्य प्रकाशित करते हैं जिसमें हम बताते हैं कि आनुवंशिक डेटा के साथ कैसे काम किया जाए। पहले और दूसरे कार्य पहले से ही प्रकाशित हैं: उन्हें हल किया जा सकता है और हमें जवाब भेज सकते हैं। हम आपको चेतावनी देते हैं कि यह कार्य बाकी की तुलना में अधिक समय लेता है।

मुख्य पुरस्कार पूर्ण जीनोम है ।



हमने पहले उपयोगी जानकारी और लिंक साझा किए जो जैव सूचना विज्ञान डेटा के साथ काम करने के लिए उपयोगी हो सकते हैं। हम अनुशंसा करते हैं कि आप पिछले लेखों को पहले पढ़ लें यदि आप उन्हें याद करते हैं:

पूर्ण जीनोम क्या है और इसकी आवश्यकता क्यों है
टास्क नंबर 1। लिंग और रिश्ते की डिग्री का पता लगाएं।
टास्क नंबर 2। जनसंख्या संरचना का निर्धारण

त्याग
आनुवंशिक डेटा के साथ काम यूनिक्स सिस्टम (लिनक्स, मैकओएस) पर किया जाता है, क्योंकि कुछ कमांड और सॉफ्टवेयर विंडोज पर उपलब्ध नहीं हैं। इसलिए, विंडोज उपयोगकर्ताओं के लिए, सबसे सरल समाधानों में से एक लिनक्स वर्चुअल मशीन किराए पर लेना है।

नीचे वर्णित सभी ऑपरेशन कमांड लाइन - टर्मिनल पर किए जाते हैं। शुरू करने से पहले, अपने ओएस को चलाने वाले टर्मिनल में काम करना सीखें और कमांड का उपयोग करें, क्योंकि उनमें से कुछ ओएस और आपके डेटा को संभावित रूप से नुकसान पहुंचा सकते हैं।

आवश्यक सॉफ्टवेयर

हमने Yandex.Cloud पर सभी आवश्यक सॉफ़्टवेयरों के साथ एक वर्चुअल मशीन (VM) की छवि एकत्र की है। VM को स्थापित करने और सॉफ़्टवेयर स्थापित करने के निर्देश पहले कार्य के साथ लेख में पाए जा सकते हैं। 31 दिसंबर, 2019 तक मुफ्त में इसका उपयोग करने के लिए मशीन को कैसे स्थापित किया जाए, इस पर एक निर्देश भी है।

इस कार्य में, आपको वीसीएफ प्रारूप से जीनोटाइपिंग डेटा को 23andMe प्रारूप में बदलने की जरूरत है, प्राप्त फाइलों को प्रोमेथेस सेवा में अपलोड करें और प्रत्येक नमूने के लिए रिपोर्ट की सामग्री से परिचित हों।

23andMe प्रारूप जीनोटाइपिंग डेटा संग्रहीत करने के लिए एक पाठ प्रारूप है और इसमें 4 फ़ील्ड टैब द्वारा अलग किए गए हैं। पहले क्षेत्र में भिन्नता पहचानकर्ता (उदाहरण के लिए, rsID) होता है, दूसरे में गुणसूत्र होता है (इस क्षेत्र के लिए मान्य मान 1-22, X, Y और MT हैं), तीसरे में गुणसूत्र पर स्थिति होती है, चौथे में जीनोटाइप (दो समरूप गुणसूत्रों की उपस्थिति में द्विगुणित), दूसरों में अगुणित होते हैं। मामले)। यह प्रारूप कई व्याख्या सेवाओं द्वारा समर्थित है, इसलिए कार्य में हम इसके साथ काम करेंगे।

कार्य को पूरा करने के लिए, आपको BCFtools सॉफ़्टवेयर पैकेज की आवश्यकता है। यदि आपने इसे अभी तक स्थापित नहीं किया है, तो पहले कार्य के साथ लेख पढ़ें। इसमें इंस्टॉलेशन निर्देश हैं। हम आपको याद दिलाते हैं कि नए साल की प्रतियोगिता 2019 में भाग लेने के लिए, सभी कार्यों को पूरा करना होगा।

BCFtools के अलावा, आपको create_23andme.sh फ़ाइल - एक bash स्क्रिप्ट का उपयोग करना होगा जिसका उपयोग 23andMe प्रारूप में डेटा उत्पन्न करने के लिए किया जाता है। यह फ़ाइल Yandex.Cloud पर /Technical निर्देशिका में और साथ ही डाउनलोड करने के लिए संग्रह में, लेख में लिंक के माध्यम से उपलब्ध है।

ध्यान दें

कई सेवाएं हैं जो जीनोटाइपिंग डेटा का विश्लेषण करती हैं: MyHeritage, Promethease, FamilyTreeDNA, DNA.LAND, GEDmatch। वे विभिन्न स्वरूपों में जीनोटाइपिंग डेटा की डाउनलोड प्रदान करते हैं, जो अक्सर एक विशेष जीनोटाइपिंग प्रदाता (Ancestry, 23andMe, MyHeritage, FamilyTreeDNA, GenesForGood और अन्य) के लिए विशिष्ट होते हैं। डेटा प्रारूप के लिए सबसे वफादार है Promethease: आप इस सेवा में VCF और 23andMe दोनों फ़ाइलों को डाउनलोड कर सकते हैं।

स्वरूपों और सेवाओं के बीच कई संगतता मुद्दे हैं:

1. विभिन्न कंपनियां आनुवंशिक भिन्नताओं को मैप करने के लिए जीनोम के विभिन्न संस्करणों का उपयोग करती हैं। यह समस्या तथाकथित भारोत्तोलन द्वारा हल की जाती है, जब स्रोत डेटा में आनुवांशिक विविधताओं की स्थिति को जीनोम के किसी अन्य संस्करण में संबंधित लोगों द्वारा प्रतिस्थापित किया जाता है। उदाहरण के लिए, एटलस GRCh38 जीनोम के संस्करण के लिए जीनोटाइपिंग डेटा प्रदान करता है, और GEDmatch GRCh37 जीनोम के पिछले संस्करण के लिए डेटा प्राप्त करता है। GRCh38 से GRCh37 तक आनुवंशिक विविधताओं के निर्देशांक के रूपांतरण को एलिवेटर कहा जाता है।
2. RsID के अलावा आनुवंशिक भिन्नताओं के लिए विशिष्ट पहचानकर्ताओं का उपयोग करना। ऐसी असंगतताओं को फ़ाइल से ऐसी प्रविष्टियों को छोड़कर या rsID असाइन करके उन्हें एनोटेट करके हल किया जाता है। दूसरा हमेशा संभव नहीं होता है।
3. सेवाएं आनुवंशिक विविधताओं के एक निश्चित सेट का उपयोग करती हैं। कभी-कभी डाउनलोड किए जाने वाले डेटा के कम से कम हिस्से का एक बेमेल लोडिंग त्रुटि में परिणाम करता है। यह समस्या प्रासंगिक है, उदाहरण के लिए, MyHeritage के लिए। यह आनुवंशिक विविधताओं के पहचानकर्ताओं के एक समूह को उजागर करके हल किया जा सकता है जो लोडिंग त्रुटि का कारण नहीं बनता है।

डेटा का इस्तेमाल किया

हम आपको याद दिलाते हैं कि यह मैनुअल 1000 जीनोम परियोजना से विशेष रूप से चयनित खुले डेटा का उपयोग करता है। विश्लेषण के लिए, हमने ~ 85 मिलियन विविधताओं के जीनोटाइप की जानकारी के साथ 10 नमूनों का चयन किया, जो कि GRCh37 जीनोम के संस्करण के साथ संरेखित NGS डेटा का विश्लेषण करके प्राप्त किए गए थे। इन नमूनों के पारिवारिक संबंध और आबादी चित्र 1 में दिखाए गए हैं।


चित्र 1 वीसीएफ में इस्तेमाल किए गए नमूनों की वंशावली (वर्ग पुरुष लिंग से मेल खाती है, महिला को चक्र)। धराशायी लाइन एक अनिर्धारित दूसरे क्रम के रिश्ते से मेल खाती है।

VCF रूपांतरण

नीचे वीसीएफ फ़ाइल को परिवर्तित करने और प्राप्त डेटा को प्रोमेथेस सेवा में अपलोड करने के निर्देश दिए गए हैं, जो हाल ही में मुक्त हो गए हैं। हमारा सुझाव है कि आप किसी भी नमूने पर प्राप्त प्रोमेथेस रिपोर्ट से खुद को परिचित करें। टास्क नंबर 1 में प्राप्त विविधताओं की सूची द्वारा फ़िल्टर की गई VCF फ़ाइल का उपयोग करें।

 #      bcftools query -s HG00731 -f '[%SAMPLE]\t%ID\t%CHROM\t%POS\t%REF\t%ALT\t[%GT]\n' -e '%ID=="."' CEI.1kg.2019.demo.subset.vcf.gz | create_23andme.sh > HG00731.subset.23andme.txt #      HG00731.subset.23andme.txt 

bcftools query कमांड आपको VCF फ़ाइल से -f ध्वज के बाद उपयोगकर्ता द्वारा निर्दिष्ट प्रारूप में किसी भी उपलब्ध जानकारी को निकालने की अनुमति देता है। -s ध्वज नमूना ( HG00731 ) के पहचानकर्ता को इंगित करता है जिसके लिए डेटा निकालना है। -E ध्वज का उपयोग अपवर्जन मानदंड को इंगित करने के लिए किया जाता है, इस स्थिति में '%ID=="."' प्रविष्टियों को बहिष्कृत करें जिनके पास rsID नहीं है। bcftools query से आउटपुट create_23andme.sh स्क्रिप्ट को पास किया जाता है, जो डेटा को 4 कॉलम (rsID, गुणसूत्र, स्थिति, जीनोटाइप) के साथ TSV प्रारूप में कनवर्ट करता है और उन्हें एक फाइल पर लिखता है। आप अपने पूर्ण-जीनोम अनुक्रमण डेटा के साथ काम करने के create_23andme.sh खुद को create_23andme.sh स्क्रिप्ट डाउनलोड और सहेज सकते हैं।

create_23andme.sh स्क्रिप्ट VCF फ़ाइल से निकाले गए create_23andme.sh का उपयोग आनुवंशिक भिन्नता के प्रकार (SNV के एकल-न्यूक्लियोटाइड भिन्नता, INS का विलोपन या DEL का विलोपन) को निर्धारित करने के लिए करती है और विशिष्ट प्रकार की भिन्नता (A, G, T) के अनुसार पहचानकर्ता rsID, गुणसूत्र, स्थिति और युग्मकों को stdout में लिखती है। और सी एसएनवी, I और D प्रकार के लिए मान्य एलील हैं और INS और DEL प्रकार के लिए मान्य एलील पदनाम हैं)।

ध्यान रखें कि रूपांतरण प्रक्रिया में बहुत समय लगता है: ~ 1 मिलियन विविधताओं वाले एक नमूने के लिए प्रति फ़ाइल लगभग 4 घंटे। Concurrency BCFtools समर्थित नहीं है।

Promethease.com पर जाएं और रजिस्टर करें। अपलोड कच्चा डेटा बटन (चित्र 2) पर क्लिक करें और फ़ाइल HG00731.subset.23andme.txt अपलोड करें। डाउनलोड पूरा होने के बाद, नि: शुल्क रिपोर्ट बनाएं बटन पर क्लिक करें और रिपोर्ट का वांछित नाम दर्ज करें जो आपके डेटा के अनुसार उत्पन्न होगा। रिपोर्ट तैयार करने के बाद, आपको ई-मेल द्वारा एक सूचना मिलेगी और आप रिपोर्ट की सामग्री से खुद को परिचित कर सकते हैं। प्रत्येक नमूने की रिपोर्ट में, AB0 / Rh सिस्टम (Rh - Rh फैक्टर) में Promethease व्याख्या प्रणाली द्वारा निर्धारित रक्त समूह का पता लगाएं। तालिका 1 के अनुपालन के लिए अपने परिणाम देखें।


तालिका 1 । रक्त समूह और आरएच कारक एक डेमो डेटासेट से नमूनों के प्रोमेथेस विश्लेषण से प्राप्त किया गया है

एटलस थ्रेसहोल्ड का उपयोग करता है जो प्रोमेथेस से अलग होता है जिसमें साक्ष्य के स्तर द्वारा व्याख्या में एक विशेष विशेषता शामिल होती है। साक्ष्य का स्तर आनुवांशिक भिन्नता और मानव शरीर की किसी भी विशेषता के बीच देखे गए प्रत्येक रिश्ते के महत्व के लिए सांख्यिकीय परीक्षणों और मानदंडों के परिणामों की समग्रता को संदर्भित करता है। प्रोमेथेस रिपोर्ट में पाए जाने वाले कई लक्षणों में निम्न स्तर के प्रमाण और / या उच्च स्तर पर आबादी का एक सीमित सेट है, उदाहरण के लिए, केवल एशियाई आबादी के प्रतिनिधियों के लिए।

ध्यान दें कि इस मैनुअल में उपयोग की जाने वाली फ़ाइलों में हमेशा एक भरा हुआ ALT फ़ील्ड (वैकल्पिक एलील) होता है, जिससे यह समझना संभव है कि प्रत्येक भिन्नता किस प्रकार की है (INS, DEL, SNV) और सही ढंग से 23andMe प्रारूप में एक प्रविष्टि बनाता है। एटलस में जीनोम-वाइड सीक्वेंसिंग डेटा में भरा हुआ एएलटी एलील केवल उन स्थानों पर होता है जहां यह एलील पाया गया था, अन्यथा वीसीएफ फ़ाइल उत्पन्न करते समय एएलटी फ़ील्ड भरने की जानकारी बस मौजूद नहीं होती है। समरूप संदर्भ स्थलों पर डेटा आउटपुट (जीनोम में स्थित स्थान जहां संदर्भ एलील नहीं पाया गया था) आवश्यक है, क्योंकि न्यूक्लियोटाइड अनुक्रम में न केवल पहचाने गए विविधताएं हैं, बल्कि उनकी अनुपस्थिति का नैदानिक ​​प्रभाव भी है।

जीनोम के ऐसे पदों पर ALT एलील की अनुपस्थिति हमें आनुवंशिक परिवर्तन के प्रकार को निर्धारित करने की अनुमति नहीं देती है जिसके लिए केवल संदर्भ (REF) एलील पाया गया था। ऐसे मामलों के लिए रिकॉर्डिंग जीनोटाइप इस विविधता के लिए संभावित एलील के बारे में जानकारी के स्रोत का उपयोग करने की आवश्यकता से जटिल है और इस गाइड द्वारा कवर नहीं किया गया है। यदि आप संभावित रूप से इस मैनुअल और create_23andme.sh स्क्रिप्ट का उपयोग कर एक वीसीएफ फ़ाइल को एटलस को जीनोम-वाइड अनुक्रमण के बाद प्राप्त करेंगे, तो परिवर्तित फ़ाइल में संदर्भ समरूप जीनोटाइप नहीं होंगे, क्योंकि create_23andme.sh स्क्रिप्ट स्पष्ट रूप से रिकॉर्ड बनाते समय त्रुटियों को खत्म करने के लिए ऐसे रिकॉर्ड को फ़िल्टर करती है। सम्मिलन और विलोपन के लिए।

create_23andme.sh स्क्रिप्ट को अभी भी संदर्भ समरूप जीनोटाइप बनाने के लिए, आपको इसमें 25-28 पंक्तियों की सामग्री को बदलना होगा

 ... if [ "$ALT" == "." ] || [[ "$ALT" == *"*"* ]] then continue fi ... 

पर

 ... if [[ "$ALT" == *"*"* ]] then continue fi if [ "$ALT" == "." ] then echo -e "$RSID\t$CHR\t$POS\t$REF$REF" fi ... 

यह प्रतिस्थापन होमोजीगस संदर्भ जीनोटाइप के साथ stdout प्रविष्टियों को प्रदर्शित करने की अनुमति देता है। यह ध्यान में रखना चाहिए कि सम्मिलन और विलोपन के लिए ऐसी प्रविष्टियां गलत होंगी, क्योंकि सम्मिलन और विलोपन के लिए उपयोग किए जाने वाले प्रारूप में मान्य एलील I और D हैं, और स्क्रिप्ट A, G, T, या C एलील्स का उपयोग करेगी। सम्मिलन और विलोपन, अग्रिम में यह जानना आवश्यक है कि किस प्रकार की भिन्नता जीनोम की दी गई स्थिति की विशेषता है जिसमें एएलटी एलील का पता नहीं लगाया गया था। यदि उपलब्ध हो (पहले से ही create_23andme.sh में लागू हो) या किसी बाहरी डेटाबेस का उपयोग कर, उदाहरण के लिए, dbSNP ( create_23andme.sh में नहीं) का उपयोग करके यह जानकारी प्राप्त की जा सकती है।

एटलस में पूर्ण जीनोम अनुक्रमण की एक पूर्ण वीसीएफ फ़ाइल पर एक प्रोमेथेस रिपोर्ट प्राप्त करने के लिए, आप वीसीएफ फ़ाइल को प्रोमेथेस में लोड कर सकते हैं, हालांकि, आपको यह ध्यान रखना होगा कि संकुचित एटलस वीसीएफ फ़ाइल का आकार लगभग 8 गीगाबाइट है, जबकि प्रोमेथेस आपको फ़ाइलों को अपलोड करने की अनुमति नहीं देता है। 4 गीगाबाइट। इस समस्या के समाधान का विवरण यहाँ उपलब्ध है । एक अन्य उपाय VCF फ़ाइल को कई भागों में विभाजित करना है (प्रत्येक में 4 गीगाबाइट से कम) और प्रत्येक को प्रोमेथेज़ डेटा डाउनलोड मेनू में एक अतिरिक्त फ़ाइल के रूप में लोड करना है।

प्रतियोगिता का तीसरा कार्य

टेस्ट डेटासेट के 12 नमूनों में से प्रत्येक का परिवर्तित डेटा डाउनलोड करें, जिसे आपने पहले कार्य में भिन्नताओं की सूची के अनुसार प्रोमिथेज़ में फ़िल्टर किया था और नमूना पहचानकर्ता के लिए पत्राचार की एक तालिका संकलित करें - प्रोमिथेज़ व्याख्या प्रणाली (आरएच - आरएच कारक) द्वारा परिभाषित रक्त समूह AB0 / Rh। रक्त समूहों ने संभावित रूप से पहचाना और उपसर्ग के बिना लिखी गई "प्रोथेथ" रिपोर्ट में उपसर्ग "प्रोब" के साथ दर्ज किया गया। अज्ञात के रूप में अपरिभाषित मूल्यों को रिकॉर्ड करें (अज्ञात रक्त समूहों के लिए रीसस कारक को अभी भी लिखा जाना चाहिए, यदि परिभाषित हो)। एक उदाहरण तालिका 1 में प्रस्तुत किया गया है।

प्रस्तावित कार्यान्वयन में उपर्युक्त प्रारूप में वीसीएफ को परिवर्तित करना बहुत सरल है, लेकिन इसके लिए महत्वपूर्ण मात्रा में समय की आवश्यकता होती है। अनुकूलन के लिए, आप एक लूप के साथ एक स्क्रिप्ट लिख सकते हैं जो स्वचालित रूप से इस डेटा को उत्पन्न करेगा, पहचानकर्ताओं के एक सेट पर पुनरावृत्ति करेगा। समानांतर निष्पादन के लिए नमूना पहचानकर्ताओं के विभिन्न सेटों को स्थानांतरित करने के लिए इस तरह की कई स्क्रिप्ट्स बनाना संभव है, हालांकि, समानांतर चलने वाली स्क्रिप्ट्स की संख्या आपके कंप्यूटर / वर्चुअल मशीन के सीपीयू की संख्या से अधिक नहीं होनी चाहिए। इस तरह के लूप बनाने का एक अच्छा विवरण यहां उपलब्ध है । Yandex.Cloud पर काम करते समय, यदि आवश्यक हो, तो आप अधिक वर्चुअल CPU के साथ एक और वर्चुअल मशीन बना सकते हैं, जो किसी कार्य को पूरा करने में लगने वाले समय को आनुपातिक रूप से कम कर देगा।

यह हमारे चक्र का अंतिम कार्य है। प्रतिक्रियाएँ 26 दिसंबर से 23:59 तक wgs@atlas.ru मेल पर भेजी जानी चाहिए । हम 28 दिसंबर को सही उत्तर और विजेताओं के नाम प्रकाशित करेंगे। विजेता पूर्ण जीनोम परीक्षण प्राप्त करेगा, और दूसरा और तीसरा स्थान एटलस आनुवंशिक परीक्षण प्राप्त करेगा। Yandex.Cloud से विशेष पुरस्कार भी होंगे। पूर्व और वर्तमान एटलस कर्मचारी प्रतियोगिता में भाग नहीं लेते हैं;)