फूट डालो और जीतो

डेटाबेस के साथ काम करते समय (विशेष रूप से PostgreSQL के साथ), मुझे समानांतर में एक तालिका से डेटा का चयन करने का विचार था (गो गोइंग का उपयोग करके)। और मैंने सोचा, "क्या व्यक्तिगत गोरोइन में नमूना लाइनों को स्कैन करना संभव है?"

जैसा कि यह निकला, फंक (* पंक्तियाँ) स्कैन को लौकी में एक साथ नहीं कहा जा सकता है। इस सीमा के आधार पर, मैंने स्कैनिंग पंक्तियों के साथ समानांतर में अन्य प्रक्रियाओं को करने का फैसला किया, विशेष रूप से, परिणामी डेटा की तैयारी।

क्योंकि बिंदु के अनुसार डेटा को स्कैन करता है, मैंने दो स्लाइस बनाने का फैसला किया (मैं समझाऊंगा कि दो बाद में क्यों), जिसके बीच में मैं स्कैन स्विच करूंगा, जबकि बाकी के लौकी पहले से चुने गए डेटा से निपटेंगे।

प्रारंभ में, मुझे नमूना स्तंभों की संख्या जानने की आवश्यकता है:

columns, err = rows.Columns() count := len(columns) 

इसके बाद, मैं मानों के साथ और इन मानों पर संकेत के साथ दो स्लाइस बनाता हूं (जहां मैं पंक्ति स्कैनिंग के दौरान डेटा जोड़ूंगा):

 values := make([]interface{}, count) valuesPtrs := make([]interface{}, count) values_ := make([]interface{}, count) valuesPtrs_ := make([]interface{}, count) for i := range columns { valuesPtrs[i] = &values;[i] valuesPtrs_[i] = &values;_[i] } 

इस उदाहरण में, मैं चयन का परिणाम मानचित्र [स्ट्रिंग] स्ट्रिंग में जोड़ दूंगा, जहां कॉलम नाम कुंजी होंगे। आप एक विशिष्ट संरचना का उपयोग कर सकते हैं जो कि प्रकारों को दर्शाते हैं, लेकिन चूंकि इस प्रकाशन का उद्देश्य यह अनुमान लगाना है कि प्रस्तावित दृष्टिकोण कितना व्यवहार्य है, आइए हम मानचित्र में चयन पर ध्यान दें।

अगला, मैं दो गोरोतों को अलग करता हूं, जिनमें से एक परिणामी नक्शा बनाएगा:

 func getData(deleteNullValues bool, check, finish chan bool, dbData chan interface{}, columns []string, data *[]map[string]string) { lnc := len(columns) for <-check { row := make(map[string]string) for i := 0; i < lnc; i++ { el := <-dbData b, ok := el.([]byte) if ok { row[columns[i]] = string(b) } else { if el == nil { if deleteNullValues == false { row[columns[i]] = "" } } else { row[columns[i]] = fmt.Sprint(el) } } } *data = append(*data, row) } finish <- true } 

और दूसरा स्लाइस द्वारा उत्पन्न मूल्यों के साथ दो स्लाइसों के बीच स्विच करेगा और उन्हें पिछले लौकी के लिए चैनल पर भेज देगा (जो परिणाम बनाता है):

 func transferData(values, values_ []interface{}, dbData chan interface{}, swtch, working, check chan bool) { for <-working { check <- true switch <-swtch { case false: for _, v := range values { dbData <- v } default: for _, v := range values_ { dbData <- v } } } } 

मुख्य प्रक्रिया पॉइंटर्स और स्लेक्ट डेटा के स्लाइस के बीच स्विच करेगी:

 for rows.Next() { switch chnl { case false: if err = rows.Scan(valuesPtrs...); err != nil { fmt.Printf("rows.Scan: %s\n%s\n%#v\n", err, query, args) return nil, nil, err } default: if err = rows.Scan(valuesPtrs_...); err != nil { fmt.Printf("rows.Scan: %s\n%s\n%#v\n", err, query, args) return nil, nil, err } } working <- true swtch <- chnl chnl = !chnl } 

डेटाबेस में, मैंने 32 स्तंभों के साथ एक तालिका बनाई और इसमें 100k पंक्तियों को जोड़ा।
परीक्षण के परिणामस्वरूप (जब डेटा का नमूना 50 बार किया जाता है), तो मुझे निम्नलिखित डेटा मिला:
समय व्यतीत: 1m8.022277124s - एकल स्लाइस का उपयोग करके परिणाम का नमूना लेना
समय व्यतीत: 1m7.806109441s - दो स्लाइस का उपयोग करके परिणाम का नमूना लेना

100 पुनरावृत्तियों की संख्या में वृद्धि के साथ:
समय व्यतीत: 2m15.973344023s - एक स्लाइस का उपयोग करके परिणाम का चयन
समय बिताया: 2m15.057413845s - दो स्लाइस का उपयोग करके परिणाम का नमूना

डेटा की बढ़ती मात्रा और तालिका में बढ़ते कॉलम के साथ अंतर बढ़ता है।
हालांकि, विपरीत परिणाम डेटा की मात्रा में कमी या तालिका के स्तंभों की संख्या में कमी के साथ देखा गया था, जो सिद्धांत रूप में, समझ में आता है, क्योंकि तैयारी के कदमों और पेटू विभाग के ओवरहेड "खाओ" कीमती समय और परिणाम समतल है।

दो स्लाइस और दो गोरोटिंस के रूप में: मैंने बड़ी संख्या में स्लाइस के साथ परीक्षण किया, लेकिन नमूना समय में वृद्धि हुई, क्योंकि, जाहिर है, गेटडाटा और ट्रांसफ़रडाटा फ़ंक्शंस डेटा को डेटाबेस से स्कैनिंग मानों की तुलना में तेजी से संसाधित करते हैं। इसलिए, यहां तक ​​कि बड़ी संख्या में कोर के साथ, यह स्कैन और अतिरिक्त गोरोइटिन (बहुत जंगली डेटा संस्करणों को छोड़कर) के लिए नए स्लाइस को जोड़ने का कोई मतलब नहीं है।

जीथब कोड में, मैं इस दृष्टिकोण का एक कार्यशील उदाहरण देता हूं। मेरे कार्य अन्य पैकेजों का भी उपयोग करते हैं, जिन्हें मैंने ऊपर से साफ किया था, लेकिन मुख्य विचार को इससे पीड़ित नहीं होना चाहिए।

सामान्य तौर पर, मैं इच्छुक समुदाय से रचनात्मक आलोचना की उम्मीद करता हूं। धन्यवाद!