1000-आयामी घन: क्या आज मानव स्मृति का कम्प्यूटेशनल मॉडल बनाना संभव है?

आज सुबह, बर्कले परिसर के रास्ते में, मैंने अपनी उंगलियों को एक सुगंधित झाड़ी के पत्तों के साथ चलाया, और फिर परिचित गंध को साँस लिया। मैं हर दिन ऐसा करता हूं, और हर दिन पहला शब्द जो मेरे सिर में उठता है और अभिवादन में उसका हाथ पकड़ता है, वह ऋषि है । लेकिन मुझे पता है कि यह पौधा ऋषि नहीं है, बल्कि दौनी है, इसलिए मैं ऋषि को शांत करने का आदेश देता हूं। लेकिन बहुत देर हो चुकी है। दौनी और ऋषि के बाद , मैं मंच पर अजमोद और थाइम की उपस्थिति को रोक नहीं सकता, जिसके बाद एल्बम के कवर पर राग और चेहरे के पहले नोट दिखाई देते हैं, और अब मैं 1960 के दशक के मध्य में शर्ट पहने हुए वापस आ गया था खीरे के साथ। इस बीच, रोज़मेरी रोज़ मैरी वुड्स की स्मृति में 13 मिनट का अंतर लाती है (हालांकि अब , सामूहिक मेमोरी के साथ परामर्श करने के बाद, मुझे पता है कि यह रोज़ मैरी वुड्स और एक 18 और एक आधा मिनट का स्थान होना चाहिए)। वाटरगेट से, मैं मुख्य पृष्ठ पर कहानियों के लिए कूदता हूं। फिर मैंने एक अच्छी तरह से रखे हुए बगीचे में शराबी ग्रे-हरे पत्तों के साथ एक और पौधा देखा। यह ऋषि भी नहीं है, लेकिन एक क्लीनर (भेड़ का बच्चा) है। हालांकि, ऋषि अंत में अपनी महिमा का क्षण प्राप्त करता है। घास से, मैं सेज गणित सॉफ्टवेयर पर आगे बढ़ता हूं, और फिर 1950 के दशक में वायु रक्षा प्रणाली जिसे एसएजीई कहा जाता है, अर्ध-स्वचालित ग्राउंड पर्यावरण, जिसे अब तक का सबसे बड़ा कंप्यूटर द्वारा प्रबंधित किया गया था।

मनोविज्ञान और साहित्य में, ऐसे मानसिक भटकन को चेतना की धारा कहा जाता है (इस रूपक के लेखक विलियम जेम्स हैं)। लेकिन मैं एक अलग रूपक चुनूंगा। मेरी चेतना, जहाँ तक मुझे लगता है, एक विषय से दूसरे विषय पर आसानी से नहीं बहती है, बल्कि विचारों के परिदृश्य में बहती है, एक नदी की तुलना में एक तितली की तरह, कभी एक फूल के लिए और फिर दूसरे से, कभी-कभी, कभी-कभी जाकर बार-बार वही जगह।

अपनी खुद की स्मृति की वास्तुकला का पता लगाने के लिए, मैंने स्वतंत्र संघों के साथ अधिक इत्मीनान से प्रयोग करने की कोशिश की। मैंने एक ही पुष्प नुस्खा के साथ शुरू किया - अजमोद, ऋषि, दौनी और अजवायन के फूल - लेकिन इस अभ्यास के लिए मैं बर्कले पहाड़ियों के बगीचों में टहल नहीं पाया; मैं टेबल पर बैठा और नोट्स लिया। नीचे दिए गए आरेख मेरे विचारों के पूर्ण पाठ्यक्रम के पुनर्निर्माण का सबसे अच्छा प्रयास है।


अजमोद, ऋषि, दौनी, थाइम - चार जड़ी बूटियों, साथ ही साइमन और गार्गुनसेल से एक पंक्ति।

साइमन और गारफंकल - 1960 और 70 के दशक की लोक रॉक शैली में गायकों की एक जोड़ी पॉल सिमोन और आर्ट गारफंकल।

श्रीमती रॉबिन्सन साइमन और गारफंकल का एक गीत है, साथ ही माइक निकोल्स की फिल्म "द ग्रेजुएट" का एक चरित्र भी है।

"तुम कहाँ चले गए, जो डायमगियो?" - श्रीमती से पूछा गया प्रश्न रॉबिन्सन। "

साइमन और शूस्टर एक प्रकाशन गृह है जिसकी स्थापना 1924 में रिचर्ड साइमन और मैक्स शूस्टर (मूल रूप से क्रॉसवर्ड प्रकाशित करने के लिए) द्वारा की गई थी।

जैकी रॉबिन्सन महान ब्रुकलिन डॉजर्स खिलाड़ी है।

रॉबिन्सन क्रूसो - डैनियल डिफ़े उपन्यास के बारे में (1719) शिपव्रेक।

स्विस रॉबिंसन परिवार - जोहान डेविड वीस ने शिपव्रेक्ड (1812) के बारे में उपन्यास लिखा।

जड़ी बूटी - सुगंधित पौधे

श्री जादूगर एक 1950 का शनिवार का विज्ञान शो है, जो डॉन हर्बर्ट द्वारा होस्ट किए गए बच्चों के लिए है।

Alpert - ट्रम्पेटर Alpert के हथियारों का कोट।

प्लास्टिक द ग्रेजुएट द्वारा सुझाई गई कैरियर सलाह है।

Coo-coo-ca-choo - श्रीमती से पंक्ति रॉबिन्सन। "

फ्रैंक रॉबिन्सन 1970 के दशक में बाल्टीमोर ओरिएल्स में एक आउटफिल्डर है।

1970 के दशक में ग्रीग नेटल्स न्यूयॉर्क के तीसरे बेसबॉल खिलाड़ी हैं।

डस्टिन हॉफमैन एक अभिनेता है जो द ग्रेजुएट में खेला है।

एबी हॉफमैन - "यिपी!"

लेमिनस्टर मैसाचुसेट्स में एक शहर है जो संयुक्त राज्य अमेरिका में प्लास्टिक निर्माण का पालना बन गया है।

ब्रूक्स रॉबिन्सन 1970 के दशक में बाल्टीमोर ओरिएल्स का तीसरा बेसबॉल खिलाड़ी है।

पैपिलॉन ("द मोथ") - 1973 की एक फिल्म जिसमें डस्टिन हॉफमैन ने एक माध्यमिक भूमिका निभाई; फ्रेंच में "पैपिलॉन", "तितली।"

नाबोकोव - व्लादिमीर नाबोकोव, एक रूसी-जन्म लेखक और तितलियों का अध्ययन करने वाला एक एंटोमोलॉजिस्ट है।

तितली, शिमेटेरलिंग, मारिपोसा, फरफला - अंग्रेजी, जर्मन, स्पेनिश और इतालवी में "तितली"; ऐसा लगता है कि उनमें से सभी (और फ्रांसीसी शब्द भी) स्वतंत्र मूल के हैं।

तितली को रूसी में क्या कहा जाता है - मुझे नहीं पता। या पता नहीं कब यह सवाल खड़ा हो गया।

"मैं वालरस हूं" एक 1967 का बीटल्स गीत है जिसमें वाक्यांश "कोओ-को-को-चो" भी है।

कार्ली साइमन एक गायक है। पॉल साइमन के साथ कोई संबंध नहीं है, लेकिन रिचर्ड साइमन की बेटी है।

"तुम बहुत व्यर्थ हो" कार्ली साइमन का एक गीत है।

टॉप-डाउन ग्राफ उस क्रम में विषयों का प्रतिनिधित्व करता है जो वे मस्तिष्क में पॉप अप करते हैं, लेकिन नोड्स के बीच कनेक्शन एक भी रैखिक अनुक्रम नहीं बनाते हैं। संरचना एक पेड़ से मिलती-जुलती है, जो लगातार संघों की छोटी श्रृंखलाओं से मिलती है, जो पहले वाले नोड पर एक तेज वापसी के साथ समाप्त होती है, जैसे कि मुझे एक खींचे गए रबर बैंड द्वारा वापस खींच लिया गया था। इस तरह के रुकावट चार्ट पर हरे तीर के साथ चिह्नित हैं; नीचे लाल एक्स वह जगह है जहां मैंने प्रयोग पूरा करने का फैसला किया है।

मैं 1990 के बाद पैदा हुए लोगों से माफी मांगता हूं, जिन विषयों का उल्लेख किया गया है उनमें से कई आपको पुराने या रहस्यमय लग सकते हैं। स्पष्टीकरण ग्राफ के नीचे प्रस्तुत किए जाते हैं, लेकिन मुझे नहीं लगता कि वे संघों को अधिक स्पष्ट करेंगे। अंत में, यादें व्यक्तिगत हैं, वे सिर के अंदर रहते हैं। यदि आप अपने स्वयं के अनुभव के लिए प्रासंगिक विचारों का एक संग्रह एकत्र करना चाहते हैं, तो आपको बस अपने स्वयं के स्वतंत्र संघों की अनुसूची बनाने की आवश्यकता है। मैं इसे करने की अत्यधिक सलाह देता हूं: आप पा सकते हैं कि आप नहीं जानते थे कि आप किसी भी चीज को जानते हैं।

---

बर्कले में मेरी रोज की सैर का लक्ष्य सिमंस इंस्टीट्यूट और कम्प्यूटेशनल थ्योरी कोर्स है, जिसमें मैं मस्तिष्क और अभिकलन पर एक सेमेस्टर-लंबी कार्यक्रम में भाग लेता हूं। इस तरह के माहौल से विचारों का विकास होता है। मैंने प्रतिबिंबित करना शुरू किया: हम नि: शुल्क संघ की प्रक्रिया का एक कम्प्यूटेशनल मॉडल कैसे बना सकते हैं? कृत्रिम बुद्धिमत्ता द्वारा हल करने के लिए प्रस्तावित विभिन्न कार्यों में, यह काफी सरल है। गहरी युक्तिकरण की कोई आवश्यकता नहीं है; हम सभी को अनुकरण करने की जरूरत है, यह केवल दिवास्वप्न है और बादलों में भटकना है - यह वही है जब मस्तिष्क लोड नहीं होता है। ऐसा लगता है कि इस तरह के कार्य को हल करना आसान है, है ना?

इस तरह के कम्प्यूटेशनल मॉडल की वास्तुकला के बारे में पहला विचार जो मेरे सिर पर (कम से कम मेरे सिर पर) आता है, गणितीय ग्राफ या नेटवर्क के साथ यादृच्छिक आंदोलन है। नेटवर्क नोड्स मेमोरी में संग्रहीत तत्व हैं - विचार, तथ्य, घटनाएं - और संचार उनके बीच विभिन्न प्रकार के संघ हैं। उदाहरण के लिए, एक तितली नोड एक कीट, एक कैटरपिलर, एक सम्राट और एक मोती की मां के साथ जोड़ा जा सकता है , साथ ही साथ मेरी अनुसूची में उल्लिखित संक्रमण के साथ, और संभवतः कम स्पष्ट कनेक्शन हैं, उदाहरण के लिए , ऑस्ट्रेलियाई क्रॉल "," झींगा "," मोहम्मद अली "," पेलग्रा "," चोक " और " स्टेज डर " । मेजबान डेटा संरचना में इन सभी संबंधित मेजबानों के संकेत की एक सूची होगी। पॉइंटर्स को 1 से n तक गिना जा सकता है; कार्यक्रम इस अंतराल में एक छद्म यादृच्छिक संख्या उत्पन्न करेगा और संबंधित नोड पर जाएगा, जिसमें पूरी प्रक्रिया फिर से शुरू होगी।

यह एल्गोरिदम मुक्त संघों की कुछ बुनियादी विशेषताओं को दर्शाता है, लेकिन उनमें से कई को ध्यान में नहीं रखा गया है। मॉडल मानता है कि सभी लक्ष्य नोड्स समान रूप से संभावित हैं, जो देखने में असंभव है। संभावनाओं में अंतर को ध्यान में रखने के लिए, हम प्रत्येक किनारे से पूछ सकते हैं $$$मैं$ भार $$$w_i$ , और फिर संभावनाओं को भार के समानुपाती बनाते हैं।

इससे भी अधिक जटिल तथ्य यह है कि वज़न संदर्भ पर निर्भर करता है - मानव मानसिक गतिविधि के हाल के इतिहास पर। यदि मेरे पास श्रीमती का संयोजन नहीं है रॉबिन्सन और जैकी रॉबिन्सन, क्या मैं जो डि मैगियो के बारे में सोचूंगा? और अब, जब मैं इसे लिखता हूं, जोल्टिन जो (उपनाम डी मैगियो) मर्लिन मुनरो और उसके बाद आर्थर मिलर को याद करता है, और फिर मैं विचार की ट्रेन को नहीं रोक सकता। कंप्यूटर मॉडल में इस प्रभाव को पुन: उत्पन्न करने के लिए, नोड्स की संपूर्ण श्रेणियों की संभावनाओं के गतिशील विनियमन का कुछ तंत्र जिसके आधार पर हाल ही में अन्य नोड्स का दौरा किया गया है, की आवश्यकता होगी।

आपको एक अलग तरह की नवीनता के प्रभावों पर भी विचार करना चाहिए। एक रबर बैंड को मॉडल में पाया जाना चाहिए, लगातार मुझे साइमन और गैफंकेल और श्रीमती के पास वापस खींच रहा है। रॉबिन्सन। संभवतः, हाल ही में देखी गई प्रत्येक साइट को लक्ष्य विकल्पों की सूची में जोड़ा जाना चाहिए, भले ही वह वर्तमान साइट के साथ किसी भी तरह से जुड़ा न हो। दूसरी ओर, लत भी एक संभावना है: बहुत बार याद किए जाने वाले विचार उबाऊ हो जाते हैं, इसलिए उन्हें मॉडल में दबा दिया जाना चाहिए।

एक और अंतिम परीक्षण: कुछ यादें अलग-अलग तथ्य या विचार नहीं हैं, लेकिन कहानी के कुछ हिस्से हैं। कालानुक्रमिक क्रम में सामने आने वाली घटनाओं के साथ उनके पास एक कथात्मक संरचना है। इस तरह के एपिसोडिक यादों के नोड्स के लिए, अगले किनारे, और संभवतः पिछले , की आवश्यकता होती है। पसलियों की ऐसी श्रृंखला हमारे पूरे जीवन को एकजुट करती है, जिसमें वह सब कुछ शामिल है जो आपको याद है।

---

क्या एक समान कम्प्यूटेशनल मॉडल मेरे मानसिक भटकने को पुन: उत्पन्न कर सकता है? इस तरह के एक मॉडल के लिए डेटा एकत्र करना एक लंबी प्रक्रिया होगी, और यह आश्चर्य की बात नहीं है, क्योंकि मुझे जड़ी-बूटियों, कोट्स ऑफ आर्म्स, सिमंस, रॉबिन्सन और हॉफमैन के इंटरव्यू के साथ मेरी खोपड़ी को भरने में जीवन भर लगा। डेटा की मात्रा से बहुत अधिक, मैं ग्राफ ट्रैवर्सल एल्गोरिथ्म के श्रमसाध्यता की परवाह करता हूं। यह कहना बहुत आसान है: "भारित संभावनाओं के सेट के अनुसार एक नोड चुनें", लेकिन जब मैं इस कार्रवाई के कार्यान्वयन के गंदे विवरणों को देखता हूं, तो मैं शायद ही सोच सकता हूं कि मस्तिष्क में ऐसा कुछ होता है।

यहाँ सबसे सरल एल्गोरिथ्म है जिसे मैं यादृच्छिक भारित चयन के लिए जानता हूं। (यह इन एल्गोरिदम में सबसे अधिक कुशल नहीं है, लेकिन विधियां और भी अधिक अराजक हैं। कीथ श्वार्ट्ज ने इस विषय पर एक उत्कृष्ट ट्यूटोरियल और समीक्षा लिखी है।) मान लीजिए कि नेटवर्क नोड का अनुकरण करने वाले डेटा संरचना में अन्य नोड्स के लिंक की सूची और वजन की इसी सूची शामिल है। । जैसा कि नीचे दिए गए चित्र में दिखाया गया है, कार्यक्रम कई संचित भार उत्पन्न करता है: $$$0, w_1, w_1 + w_2, w_1 + w_2 + w_3, \ dots$ । अगला चरण वजन की कुल राशि से प्रत्येक संख्या को विभाजित करके इस श्रृंखला को सामान्य करना है। अब हमारे पास संख्याओं की एक श्रृंखला है $$$p_i$ एकात्मकता शून्य से एकता की ओर बढ़ रही है। अगला, प्रोग्राम एक यादृच्छिक वास्तविक संख्या का चयन करता है $$$x$ अंतराल से $$$[0, 1)$ ; $$$x$ सामान्यीकृत अंतराल में से एक में होना चाहिए $$$p_i$ , और यह मान $$$मैं$ अगले चुनिंदा नोड को परिभाषित करता है।


जूलिया प्रोग्रामिंग भाषा कोड में , नोड चयन प्रक्रिया इस तरह दिखती है:

function select_next(links, weights) total = sum(weights) cum_weights = cumsum(weights) probabilities = cum_weights / total x = rand() for i in 1:length(probabilities) if probabilities[i] >= x return i end end end 

मैं संचित sums और छद्म यादृच्छिक संख्याओं के इन उबाऊ विवरणों का वर्णन इतनी धीरे-धीरे इस तरह से जोर देने के लिए करता हूं कि यह ग्राफ़ ट्रैवर्सल एल्गोरिथ्म उतना सरल नहीं है जितना पहली नज़र में लगता है। और हमने अभी भी मक्खी पर संभावनाओं को बदलने के विषय पर विचार नहीं किया है, हालांकि हमारा ध्यान विषय से विषय पर तैरता है।

सीखने की प्रक्रिया को समझना और भी मुश्किल है - नेटवर्क में नए नोड्स और किनारों को जोड़ना। मैंने स्वतंत्र संघों के अपने सत्र को समाप्त कर दिया जब मुझे एक सवाल आया जिसका मैं जवाब नहीं दे सकता था: रूसी में एक तितली का नाम क्या है? लेकिन अब मैं उसका जवाब दे सकता हूं। अगली बार जब मैं यह खेल खेलूंगा, तो मैं सूची में बबचका शब्द जोड़ दूंगा। एक कम्प्यूटेशनल मॉडल में, बबोचका शब्द के लिए एक नोड सम्मिलित करना एक काफी सरल कार्य है, लेकिन हमारे नए नोड को सभी मौजूदा तितली नोड्स से भी जोड़ा जाना चाहिए। इसके अलावा, बाबोचका खुद नई पसलियों को जोड़ता है। वह मेरे शब्दकोष में कई रूसी शब्दों में से एक - बाबूष्का (दादी) के करीब है। प्रत्यय -चोका कम है, इसलिए इसे फ्रेंच- पैलेट और इटालियन -नी के साथ जोड़ा जाना चाहिए। बाबोचका शब्द का शाब्दिक अर्थ है "छोटी आत्मा", जिसका अर्थ है संघों की एक बड़ी संख्या। आखिरकार, एक ही नए शब्द को सीखने के लिए पूरे ज्ञान के पेड़ की पूरी तरह से पुन: खोज की आवश्यकता हो सकती है।

---

चलिए एक और तरीका आजमाते हैं। बिंदुओं से नोड्स तक अपनी स्पेगेटी के साथ एक नेटवर्क को बेतरतीब ढंग से ट्रेस करने के बारे में भूल जाओ। इसके बजाय, चलो पड़ोस में सभी समान सामान स्टोर करें। डिजिटल कंप्यूटर मेमोरी बैंकों के दृष्टिकोण से, इसका मतलब है कि पड़ोसी के पते पर इसी तरह की चीजें संग्रहीत की जाएंगी। यहाँ कुत्ते की अवधारणा पर केंद्रित एक काल्पनिक स्मृति खंड है। पड़ोसी स्थानों को दूसरे शब्दों, अवधारणाओं और श्रेणियों में कब्जा कर लिया जाता है जो कुत्ते ( कुत्ते ) के विचार के कारण सबसे अधिक होने की संभावना है: स्पष्ट बिल्ली (बिल्ली) और पिल्ला (पिल्ला), विभिन्न नस्लों के कुत्ते और कई विशिष्ट कुत्ते (स्किप्पी हमारे परिवार का कुत्ता है, जो था) मेरे बचपन में), साथ ही, संभवतः, अधिक जटिल संघ। प्रत्येक आइटम का एक डिजिटल पता होता है। पते का कोई गहरा अर्थ नहीं है, लेकिन यह महत्वपूर्ण है कि सभी मेमोरी सेल क्रम में क्रमांकित हों।

पता	सामग्री
19216805	देवता
19216806	कुत्ता जो रात में भौंकता नहीं था
19216807	स्किप्पि
19216808	लैसी
19216809	कुत्ते का
19216810	बिल्ली
19216811	कुत्ता
19216812	पिल्ला
19216813	भेड़िया
19216814	गुफा की गुफा
19216815	बासेट हाउंड
19216816	Weimaraner
19216817	कट्टर

स्मृति में इस सरणी के आसपास इत्मीनान से भटकने का कार्य काफी सरल हो सकता है। यह बेतरतीब ढंग से स्मृति पतों को पार कर सकता है, लेकिन इसका फायदा छोटे चरणों को दिया जाएगा। उदाहरण के लिए, अगला दौरा किया गया पता वर्तमान स्थान पर केंद्रित एक सामान्य वितरण से नमूना द्वारा निर्धारित किया जा सकता है। यहाँ जूलिया के लिए कोड है। ( randn() फ़ंक्शन औसत मान के साथ सामान्य वितरण से प्राप्त एक यादृच्छिक वास्तविक संख्या देता है $$$\ _मु = ०$ और मानक विचलन $$$\ _ सिग्मा = 1$ )।

 function gaussian_ramble(addr, sigma) r = randn() * sigma return addr + round(Int, r) end 

ऐसी योजना में आकर्षक विशेषताएं हैं। उनमें से किसी एक को चुनने से पहले सभी संभावित लक्ष्य नोड्स को सारणीबद्ध करने की आवश्यकता नहीं है। संभावनाओं को संख्या के रूप में संग्रहीत नहीं किया जाता है, लेकिन सरणी में स्थिति से एन्कोड किया गया है, और पैरामीटर द्वारा भी संशोधित किया गया है $$$\ _ सिग्मा$ , जो निर्धारित करता है कि सरणी में कितनी दूर ले जाना चाहता है। यद्यपि यह कार्यक्रम अभी भी सामान्य वितरण से नमूना करने के लिए अंकगणित करता है, इस तरह के एक समारोह में एक सरल समाधान होने की संभावना है।

लेकिन फिर भी, इस प्रक्रिया में एक भयानक दोष है। अपने सभी प्रत्यक्ष संघों के साथ कुत्ते को घेरने के बाद, हमने उनके संघों के लिए कोई जगह नहीं छोड़ी। कुत्ते के संदर्भ अपने स्वयं के संदर्भ में अच्छे हैं, लेकिन सूची से बिल्ली के बारे में क्या? हम बिल्ली का बच्चा , बाघ , नौ जीवन और फेलिक्स को कहां रखते हैं? एक आयामी सरणी में, प्रत्येक मेमोरी तत्व को उपयुक्त वातावरण में एम्बेड करने का कोई तरीका नहीं है।

तो चलो दो आयामों में चलते हैं! पतों को दो घटकों में विभाजित करते हुए, हम दो ऑर्थोगोनल कुल्हाड़ियों को परिभाषित करते हैं। प्रत्येक पते की पहली छमाही समन्वय बन जाती है $$$य$ और दूसरा समन्वय $$$x$ । अब कुत्ते और बिल्ली अभी भी करीबी पड़ोसी हैं, लेकिन उनके पास व्यक्तिगत स्थान भी हैं जिसमें वे अपने स्वयं के "दोस्तों" के साथ खेल सकते हैं।


हालांकि, दो माप भी पर्याप्त नहीं हैं। अगर हम द कैट इन द हाट से संबंधित सभी तत्वों को भरने की कोशिश करते हैं, तो वे अनिवार्य रूप से कुत्ते के संबंधित तत्वों के साथ टकराव और संघर्ष करना शुरू कर देंगे जो रात में नहीं भौंकते थे । जाहिर है, हमें और अधिक आयामों की आवश्यकता है - बहुत अधिक।

---

अब यह स्वीकार करने का सही समय है - मैं यह सोचने वाला पहला व्यक्ति नहीं हूं कि कैसे यादों को यादों में व्यवस्थित किया जा सकता है। मेरे पूर्ववर्तियों की सूची प्लेटो के साथ शुरू की जा सकती है, जिन्होंने एक पक्षी के साथ स्मृति की तुलना की; हम यादों को उनके आलूबुखारे से पहचानते हैं, लेकिन कभी-कभी हमारे लिए उन्हें हासिल करना मुश्किल हो जाता है अगर वे हमारी खोपड़ी की कोठरी में झपटना शुरू कर दें। 16 वीं सदी के जेसुइट माटेयो रिक्की ने "स्मृति के महल" के बारे में लिखा था जिसमें हम अतीत के खजाने की तलाश में विभिन्न कमरों और गलियारों से गुजरते हैं। स्मृति के आधुनिक सिद्धांत आमतौर पर कम कल्पनाशील होते हैं, लेकिन रूपक से तंत्र तक के संक्रमण पर अधिक विस्तृत और लक्षित होते हैं। व्यक्तिगत रूप से, जो मुझे सबसे ज्यादा पसंद है, वह है 1980 के दशक में पेंटी कैनर्वा द्वारा प्राप्त गणितीय मॉडल, जो अब यहां बर्कले में रेडवुड सेंटर फॉर थियोरेटिकल न्यूरोसाइंस में काम करता है। वह विरल वितरित स्मृति के विचार के साथ आया था, जिसे मैं एसडीएम कहूंगा। यह उच्च-आयामी स्थानों के अद्भुत ज्यामिति को सफलतापूर्वक लागू करता है।

तीन आयामों में एक घन की कल्पना करो। यदि हम मानते हैं कि पक्ष की लंबाई माप की इकाई के बराबर है, तो तीन बाइनरी अंकों के वैक्टर द्वारा आठ वैक्टर को निरूपित किया जा सकता है, जिसके साथ शुरू होता है $$$000$ और अंत $$$111$ । किसी भी शीर्ष पर, वेक्टर के एक बिट को बदलने से हमें उस शीर्ष पर लाया जाता है जो निकटतम पड़ोसी है। दो बिट्स को बदलना हमें अगले निकटतम पड़ोसी तक ले जाता है, और सभी तीन बिट्स को बदलने के लिए क्यूब के विपरीत कोने की ओर जाता है - सबसे दूर के शीर्ष पर।


एक चार-आयामी घन एक समान तरीके से काम करता है - $$$16$ वर्टिकल द्विआधारी अंकों के सभी संयोजनों वाले वैक्टर द्वारा इंगित किए जाते हैं, शुरू होते हैं $$$0000$ और अंत $$$1111$ । यह विवरण वास्तव में सामान्यीकृत है $$$एन$ आयाम जहां प्रत्येक शीर्ष है $$$एन$ बिट समन्वय वेक्टर। यदि हम मैनहट्टन मीट्रिक के अनुसार दूरी को मापते हैं - हमेशा घन के किनारों के साथ घूमना और तिरछे के साथ कभी नहीं काटना - तो किसी भी दो वैक्टर के बीच की दूरी उन पदों की संख्या होगी जिसमें दो समन्वित वैक्टर अलग होते हैं (इसे हैमिंग दूरी के रूप में भी जाना जाता है)। (अनन्य OR के लिए, प्रतीक, जिसे कभी-कभी एक बन्स कहा जाता है, आमतौर पर उपयोग किया जाता है। यह XOR ऑपरेशन को द्विआधारी जोड़ मोडुलो के रूप में प्रदर्शित करता है। 2. कन्वेरा इस आधार पर in या the पसंद करता है कि उच्च आयामी कंप्यूटिंग में XOR की भूमिका गुणा से अधिक पसंद है। .मैंने प्रतीक & वेबर का उपयोग करके इस विरोधाभास से छुटकारा पाने का फैसला किया; - XOR लिखने का एक वैकल्पिक तरीका, तर्कवादियों के बीच परिचित। यह OR - OR सहित प्रतीक का एक संशोधन है। यह सुविधाजनक है कि यह जूलिया कार्यक्रमों में एक XOR प्रतीक भी है।) इस प्रकार, इकाई। दूरी माप एक बिट है, और दूरी की गणना द्विआधारी अनन्य OR ऑपरेटर (XOR, और वेबर) के लिए एक कार्य है, जो हमें विभिन्न बिट्स के लिए एक मूल्य देता है; $$$1$ , और समान जोड़े के लिए - मूल्य $$$0$ :

 0 ⊻ 0 = 0 0 ⊻ 1 = 1 1 ⊻ 0 = 1 1 ⊻ 1 = 0 

कोने के बीच की दूरी को मापने के लिए जूलिया पर समारोह दो समन्वयक वैक्टर के लिए XOR फ़ंक्शन को लागू करता है और परिणाम के रूप में मात्रा लौटाता है $$$1$ ।

 function distance(u, v) w = u ⊻ v return count_ones(w) end 

जब $$$एन$ काफी बड़ा हो रहा है, कुछ उत्सुक गुण दिखाई देते हैं $$$एन$ -cube। विचार करना $$$1000$ -डिमेटिक क्यूब होना $$$2 ^ {1000}$ कोने। यदि हम बेतरतीब ढंग से इसके दो सिरों का चयन करते हैं, तो उनके बीच अपेक्षित दूरी क्या होगी? यद्यपि यह दूरी के बारे में एक प्रश्न है, लेकिन हम इसे बिना ज्यामिति में जाने का उत्तर दे सकते हैं - यह केवल उन पदों की गणना करने का कार्य है जिन पर दो बाइनरी वैक्टर प्रतिष्ठित हैं। यादृच्छिक वैक्टर के लिए, प्रत्येक बिट समान रूप से समान होने की संभावना हो सकती है $$$0$ या $$$1$ इसलिए, यह उम्मीद की जाती है कि वैक्टर आधे से थोड़ा सा पदों में भिन्न होंगे। के मामले में $$$1000$ बिट वेक्टर मानक दूरी है $$$500$ बिट्स। यह परिणाम हमें आश्चर्यचकित नहीं करता है। हालांकि, यह ध्यान देने योग्य है कि वैक्टर के बीच की सभी दूरियां 500 के औसत मूल्य के आसपास बारीकी से जमा होती हैं।


के मामले में $$$1000$ -वेट वैक्टर लगभग सभी बेतरतीब ढंग से चयनित जोड़े से दूरी पर हैं $$$450$ को $$$550$ बिट। एक सौ मिलियन यादृच्छिक जोड़े के नमूने में (ऊपर ग्राफ देखें), उनमें से कोई भी करीब नहीं है $$$400$ से थोड़ा या अधिक $$$600$ बिट। कम-रिज़ॉल्यूशन वाले स्थान में हमारे जीवन में कुछ भी नहीं था, औसत दूरी में संभावनाओं के ऐसे संचय के लिए हमें तैयार किया। यहाँ पृथ्वी पर, हम एक जगह पा सकते हैं जहाँ हम पूरी तरह से अकेले होंगे, जब लगभग सभी हमारे साथ कुछ हज़ार किलोमीटर के भीतर होंगे; हालांकि, ग्रह की आबादी को फिर से विभाजित करने का कोई तरीका नहीं है ताकि हर कोई एक ही समय में ऐसी स्थिति में हो। लेकिन में $$$1000$ -डिमेटिक स्पेस की स्थिति बस इतनी ही है।

कहने की जरूरत नहीं है, यह कल्पना करना मुश्किल है $$$1000$ -डिमेटिक क्यूब, लेकिन हम ज्यामिति की थोड़ी सहज समझ प्राप्त कर सकते हैं, कम से कम पांच आयामों के उदाहरण के लिए। नीचे इकाई बिंदु के पांच आयामी घन में कोने के सभी निर्देशांक की एक तालिका है, जो शुरुआती बिंदु से हैमिंग दूरी के अनुसार व्यवस्थित है $$$00,000$ । अधिकांश चोटियाँ (32 में से 20) मध्यम दूरी पर हैं - दो या तीन बिट्स। प्रारंभिक बिंदु के रूप में लिए गए किसी अन्य शीर्ष पर तालिका का आकार समान होगा।


इन सभी चर्चाओं पर एक गंभीर आपत्ति। $$$1000$ -डिमेटिक क्यूब्स यह है कि हम कभी भी ऐसा कुछ नहीं बना सकते हैं; ब्रह्मांड में संरचना के लिए पर्याप्त परमाणु नहीं हैं $$$2 ^ {1000}$ भागों। लेकिन कंवरवा बताते हैं कि हमें उन तत्वों को संग्रहीत करने के लिए रिक्त स्थान की आवश्यकता है जिन्हें हम संग्रहीत करना चाहते हैं। हम यादृच्छिक नमूने के लिए उपकरण डिजाइन कर सकते हैं, उदाहरण के लिए $$$10 ^ 8$ कोने (जिनमें से प्रत्येक में है $$$1000$ -बिट एड्रेस) और बाकी के क्यूब को भूतिया, अधूरे इन्फ्रास्ट्रक्चर के साथ छोड़ दें। कन्वेरा ऐसे वर्सेट्स के सबसेट को कहते हैं जो "हार्डवेयर" हार्ड सेल्स (हार्ड लोकेशन) में मौजूद होते हैं । बहुत से $$$10 ^ 8$ यादृच्छिक ठोस कोशिकाएं अभी भी एक पूर्ण घन के रूप में समान संकुचित दूरी वितरण का प्रदर्शन करेंगी; यह वही है जो ऊपर दिए गए चार्ट में दिखाया गया है।

उच्च-आकार के क्यूब में प्रत्येक शीर्ष के सापेक्ष अलगाव से हमें विरल वितरित मेमोरी के एक संभावित लाभ का संकेत मिलता है: संग्रहीत तत्व में पर्याप्त जगह होती है और अपने पड़ोसियों को परेशान किए बिना एक विशाल क्षेत्र में वितरित किया जा सकता है। यह वास्तव में एसडीएम की एक उत्कृष्ट विशेषता है, लेकिन कुछ और है।

---

पारंपरिक कंप्यूटर मेमोरी में, पते और संग्रहीत डेटा तत्व एक से एक मैप किए जाते हैं। पते एक निश्चित सीमा के क्रमिक पूर्णांक हैं, आइए बताते हैं $$$[0, 2 ^ {64})$ । इस सीमा में प्रत्येक पूर्णांक मेमोरी में एक अलग स्थान को परिभाषित करता है, और प्रत्येक स्थान बिल्कुल एक पते से जुड़ा होता है। इसके अलावा, प्रत्येक स्थान पर एक समय में केवल एक मूल्य संग्रहीत किया जाता है; एक नया मान लिखते समय, पुराना एक ओवरराइट किया जाता है।

एसडीएम इन सभी नियमों का उल्लंघन करता है। इसका एक विशाल पता स्थान है - कोई कम नहीं $$$2 ^ {1000}$ - लेकिन इन स्थानों का केवल एक छोटा, यादृच्छिक अंश भौतिक संस्थाओं के रूप में मौजूद है; इसलिए स्मृति को विरल कहा जाता है। स्मृति में केवल एक जगह पर जानकारी का एक टुकड़ा संग्रहीत नहीं किया जाता है; कई प्रतियां क्षेत्र में वितरित की जाती हैं - इसलिए इसे वितरित किया जाता है । इसके अलावा, प्रत्येक अलग पते में एक ही समय में कई डेटा तत्व संग्रहीत किए जा सकते हैं। यही है, जानकारी एक विस्तृत क्षेत्र में फैली हुई है, और एक बिंदु में निचोड़ा हुआ है। यह वास्तुकला स्मृति पते और स्मृति सामग्री के बीच अंतर को भी धुंधला करता है; कई मामलों में, संग्रहीत बिट पैटर्न का उपयोग अपने स्वयं के पते के रूप में किया जाता है। अंत में, स्मृति एक आंशिक या अनुमानित पते पर प्रतिक्रिया दे सकती है और सही आइटम ढूंढने की संभावना है। जबकि पारंपरिक मेमोरी "सटीक मिलान तंत्र" है, एसडीएम "सबसे अच्छा मैच तंत्र" है जो तत्व को अनुरोध किए गए समान के समान देता है।

अपनी 1988 की पुस्तक में, कंवरवा ने विरल वितरित स्मृति का एक विस्तृत मात्रात्मक विश्लेषण प्रदान किया है $$$1000$ माप और $$$1,000,00$ ठोस कोशिकाएं। ठोस कोशिकाओं को पूरे स्थान से अनियमित रूप से चुना जाता है। $$$2 ^ {1000}$ संभव पता वैक्टर। प्रत्येक ठोस सेल में कई के लिए भंडारण स्थान होता है $$$1000$ थोड़ा वैक्टर। एक पूरे के रूप में स्मृति कम से कम भंडारण के लिए डिज़ाइन की गई है $$$10,000$ अद्वितीय पैटर्न। नीचे मैं इस मेमोरी को एक विहित एसडीएम-मॉडल के रूप में मानूंगा, इस तथ्य के बावजूद कि स्तनधारियों के मानकों के अनुसार यह पर्याप्त नहीं है, और एक नए काम में, कंवरवा ने कम से कम वैक्टर पर जोर दिया $$$10,000$ माप।

यह है कि स्मृति एक साधारण कंप्यूटर कार्यान्वयन में कैसे काम करती है। store(X) कमांड मेमोरी के लिए एक वेक्टर लिखता है $$$X$ , यह एक पते और सामग्री दोनों पर विचार कर रहा है। मूल्य $$$X$ एक निश्चित दूरी के भीतर सभी ठोस कोशिकाओं में संग्रहीत $$$X$ । विहित मॉडल में, यह दूरी 451 बिट्स है। यह अपने आप में लगभग एकजुट होने के इरादे से एक "पहुंच के दायरे" को परिभाषित करता है $$$1000$ ठोस कोशिकाएं; दूसरे शब्दों में, प्रत्येक वेक्टर लगभग में संग्रहीत होता है $$$1/1000$ एक लाख ठोस कोशिकाओं में से एक।

यह भी ध्यान रखना महत्वपूर्ण है कि संग्रहीत आइटम $$$X$ जरूरी नहीं कि से चुनें $$$1,000,00$ बाइनरी वैक्टर जो ठोस कोशिकाओं के पते हैं। इसके विपरीत। $$$X$ किसी भी हो सकता है $$$2 ^ {1000}$ संभव बाइनरी पैटर्न।

मान लीजिए एसडीएम को एक हजार प्रतियां पहले ही लिख दी गई हैं $$$X$ जिसके बाद एक नया तत्व आता है $$$य$ , जिसे हजारों ठोस कोशिकाओं के अपने सेट में संग्रहीत करने की आवश्यकता होती है। इन दो सेटों के बीच एक चौराहा हो सकता है - जिन स्थानों में $$$X$ , और $$$य$ । नया मान पिछले एक को अधिलेखित या प्रतिस्थापित नहीं करता है; दोनों मान सहेजे गए हैं। जब मेमोरी अपनी क्षमता से भर जाती है $$$10,000$ उनमें से प्रत्येक बच गया है $$$1000$ समय, और एक विशिष्ट हार्ड सेल में संग्रहीत किया जाएगा $$$10$ अद्वितीय पैटर्न।

अब सवाल यह है: हम इस मिश्रित स्मृति का उपयोग कैसे करते हैं? विशेष रूप से, हम सही मूल्य कैसे प्राप्त करते हैं $$$X$ बिना प्रभावित हुए $$$य$ और भंडारण के एक स्थान पर जमा हुए सभी अन्य सामान?

रीडिंग एल्गोरिथ्म एक उच्च-आयामी अंतरिक्ष में दूरियों के उत्सुक वितरण की संपत्ति का उपयोग करेगा। भले ही $$$X$ और $$$य$ से निकटतम पड़ोसी हैं $$$10,000$ संग्रहीत पैटर्न, वे संभवतः 420 या 430 बिट्स से भिन्न होंगे; इसलिए, ठोस कोशिकाओं की संख्या जिसमें दोनों मान संग्रहीत हैं, वे काफी छोटे हैं - आमतौर पर चार, पांच या छह। यही बात अन्य सभी पैटर्न के साथ लागू होती है $$$X$ । उनमें से हजारों हैं, लेकिन प्रभावशाली पैटर्न में से एक भी एक्सेस के सर्कल के भीतर कुछ प्रतियों से अधिक में मौजूद नहीं है $$$X$ ।

fetch(X) कमांड को store(X) कमांड द्वारा पहले से लिखे गए मूल्य को वापस करना चाहिए। मान के पुनर्निर्माण में पहला कदम 451-बिट एक्सेस सर्कल के अंदर संग्रहीत सभी सूचनाओं को एकत्रित करना है $$$X$ । जैसे $$$X$ पहले इन सभी स्थानों में दर्ज किया गया था, हम यह सुनिश्चित कर सकते हैं कि हम प्राप्त करेंगे $$$1000$ उसकी प्रतियां। हम भी मिलेंगे $$$10,000$ उन स्थानों पर संग्रहीत अन्य वैक्टर की प्रतियां जहां पहुंच मंडलियों को मंडलियों के साथ प्रतिच्छेद करती है $$$X$ । लेकिन चौराहे छोटे होने के कारण, इनमें से प्रत्येक वैक्टर केवल कुछ प्रतियों में मौजूद है। फिर आम तौर पर उनमें से प्रत्येक $$$1000$ थोड़ा समान रूप से होने की संभावना है $$$0$ या $$$1$ । यदि हम प्रत्येक बिट स्थिति पर एकत्रित सभी डेटा के लिए बहुमत सिद्धांत फ़ंक्शन को लागू करते हैं, तो परिणाम का प्रभुत्व होगा $$$1000$ प्रतियां $$$X$ । से अलग होने की संभावना $$$X$ परिणाम लगभग बराबर है $$$10 ^ {- 19}$ ।

बहुमत सिद्धांत प्रक्रिया को 20 बिट्स के पांच डेटा वैक्टर के एक छोटे से उदाहरण पर नीचे और अधिक विस्तार से दिखाया गया है। आउटपुट एक अलग वेक्टर होगा, जिसमें से प्रत्येक बिट डेटा वैक्टर में अधिकांश संबंधित बिट्स को दर्शाता है। (यदि डेटा वैक्टर की संख्या सम है, तो "ड्रॉ" को यादृच्छिक चयन द्वारा अनुमति दी जाती है $$$0$ या $$$1$ ।) वैकल्पिक लेखन और रीडिंग स्कीम को नीचे दर्शाया गया है कि सभी पैटर्न को व्यक्तिगत रूप से संग्रहीत करने से मना कर दिया जाए इसके बजाय, यह बिट्स की कुल संख्या को संग्रहीत करता है। $$$0$ और $$$1$ हर स्थिति में। सॉलिड सेल है $$$1000$ सभी शून्य द्वारा शुरू किया गया -bit काउंटर। जब एक पैटर्न जगह में लिखा जाता है, तो प्रत्येक बिट काउंटर के लिए वेतन वृद्धि होती है $$$1$ या के लिए घट जाती है $$$0$ । रीडआउट एल्गोरिदम बस प्रत्येक बिट काउंटर के संकेत को देखता है, वापस लौटता है $$$1$ एक सकारात्मक मूल्य के लिए, $$$0$ काउंटर बिट के बराबर होने पर नकारात्मक और यादृच्छिक मान के लिए $$$0$ ।


ये दो संग्रहण योजनाएं समान परिणाम देती हैं।

---

कंप्यूटिंग के संदर्भ में, विरल वितरित स्मृति का यह संस्करण एक सावधानीपूर्वक सोचा-समझा मजाक जैसा लगता है। याद करना $$$10,000$ तत्वों को हमें एक लाख ठोस कोशिकाओं की आवश्यकता होती है, जिसमें हम प्रत्येक पैटर्न की एक हजार निरर्थक प्रतियां संग्रहीत करेंगे। स्मृति से सिर्फ एक आइटम को पुनः प्राप्त करने के लिए, हम डेटा एकत्र करते हैं $$$11,000$ बचाया पैटर्न और बहुमत सिद्धांत तंत्र लागू करने के लिए उन्हें सुलझाना। और यह सब एक्रोबैटिक युद्धाभ्यास के एक समूह की मदद से किया जाता है, केवल उस वेक्टर को प्राप्त करने के लिए जो हमारे पास पहले से है। पारंपरिक मेमोरी बहुत कम बेतरतीब ढंग से काम करती है: दोनों एक ही स्थान पर लिखते और पढ़ते हैं।

लेकिन एसडीएम वह कर सकता है जो पारंपरिक स्मृति में अक्षम है। विशेष रूप से, यह आंशिक या अनुमानित डेटा के आधार पर जानकारी निकाल सकता है। चलो एक वेक्टर कहते हैं $$$Z$ एक क्षतिग्रस्त संस्करण है $$$X$ जिसमें बदलाव आया है $$$100$ से $$$1000$ वैक्टर। चूंकि दोनों वैक्टर समान हैं, इसलिए fetch(Z) कमांड कई उन्हीं स्थानों पर जाएगा जहां यह संग्रहित है $$$X$ । 100 की हेमिंग दूरी के साथ, हम यह उम्मीद कर सकते हैं $$$X$ और $$Z लगभग 300 ठोस कोशिकाओं द्वारा साझा किया जाएगा। इस बड़े चौराहे के लिए धन्यवाद, वेक्टर वापस लौट आया(चलो इसे कॉल करें$Z$fetch(Z)$$जेड ' ) के करीब हो जाएगा$Z^{\prime}$$$X क्या है$X$$$$Z$ ।अब हम इस प्रक्रिया को एक टीम के साथ दोहरा सकते fetch(Z′)हैं जो परिणाम लौटाएगी$$Z ′ ′ , और भी करीब$Z^{\prime\prime}$$$$X$ । बस कुछ पुनरावृत्तियों में, प्रक्रिया तक पहुंच जाएगी $$$X$ ।

कन्वेरा ने दिखाया कि पुनरावर्ती पढ़ने के संचालन का एक अभिन्न अनुक्रम लगभग पूर्ण निश्चितता के साथ सफल होगा यदि प्रारंभिक पैटर्न लक्ष्य से बहुत दूर नहीं है। दूसरे शब्दों में, एक महत्वपूर्ण त्रिज्या है: किसी भी मेमोरी चेक, क्रिटिकल सर्कल के अंदर एक जगह से शुरू होकर, लगभग बिल्कुल केंद्र में परिवर्तित हो जाएगा, और यह बहुत जल्दी कर देगा। महत्वपूर्ण सर्कल के बाहर संग्रहीत तत्व को पुनर्स्थापित करने का प्रयास विफल हो जाएगा, क्योंकि पुनरावर्ती रिकॉल की प्रक्रिया एक औसत दूरी पर चली जाएगी। कानर्व के विश्लेषण से पता चलता है कि विहित एसडीएम के लिए, महत्वपूर्ण त्रिज्या 209 बिट्स है। दूसरे शब्दों में, यदि हम 80 प्रतिशत बिट्स के बारे में जानते हैं, तो हम पूरे पैटर्न को फिर से बना सकते हैं।

नीचे दिया गया चित्रण लक्ष्य के अलावा स्रोत संकेतों के साथ पुनरावर्ती यादों के अनुक्रम के विकास को ट्रैक करता है। $$एक्स पर$X$$$$0, 5, 10, 15 \dots 1000$ । इस प्रयोग में, सभी क्रम दूरी से शुरू होते हैं $$205 या उससे कम में अभिसरण$205$$$एक्स के लिए$X$$$10 या उससे कम पुनरावृत्तियों(नीले निशान)। एक बड़े प्रारंभिक दूरी पर शुरू होने वाले सभी अनुक्रम विशाल खाली स्थानों के माध्यम से लक्ष्यहीन रूप से भटकते हैं$10$$$1000- आयामी घन, कहीं से भी लगभग 500 बिट्स शेष।$1000$


डायवर्जिंग पथों में परिवर्तित करने से संक्रमण पूरी तरह से स्पष्ट नहीं है, और यह नीचे दिखाए गए टेम्पर ग्राफ में ध्यान देने योग्य है। यहाँ हम ऑफसेट के साथ शुरू होने वाले प्रक्षेपवक्र के भाग्य को देखने के लिए जूम किया$$175 , 176 , 177 , ... 225 बिट्स। लक्ष्य के 209 बिट्स के भीतर सभी शुरुआती बिंदु नीले रंग में इंगित किए गए हैं; लंबी दूरी पर शुरू होने वाले संतरे हैं। अधिकांश नीले रंग के रास्ते अभिसरण होते हैं, जल्दी से शून्य दूरी की ओर बढ़ते हैं, जबकि अधिकांश नारंगी पथ नहीं होते हैं। हालांकि, महत्वपूर्ण दूरी के करीब, कई अपवाद हैं।$175, 176, 177, \dots 225$


नीचे दिया गया ग्राफ़ एक और नज़र दिखाता है कि लक्ष्य से प्रारंभिक दूरी कैसे सही स्मृति पते पर अभिसरण की संभावना को प्रभावित करती है। की दूरी पर$$170 बिट लगभग सभी प्रयासों में सफल होते हैं; पर$170$$$240 लगभग सभी असफल हैं। ऐसा लगता है कि प्रतिच्छेदन बिंदु (जिस पर सफलता और विफलता समान रूप से संभावित है) लगभग निहित है$240$$$203 बिट्स, कंवरवा के परिणाम से थोड़ा नीचे, के बराबर$203$$$$209$ । (इस विसंगति में कुछ भी रहस्यमय नहीं है। कंवर की गणना में, एक्सेस सर्कल को ठीक सीमा तक माना जाता है $$1000 ठोस कोशिकाएँ। दूरी के भीतर सभी ठोस कोशिकाओं को मेरे प्रयोगों में शामिल किया गया है।$1000$$$आर ≤ 451 ; औसतन वहाँ$r \le 451$$$1070 ऐसी जगहें।)$1070$

---

आंशिक जानकारी से यादों को फिर से बनाने की क्षमता मानव जीवन का एक परिचित तत्व है। आप एक टेलीविजन शो में एक अभिनेता को नोटिस करते हैं, और आप समझते हैं कि आपने उसे पहले देखा था, लेकिन याद नहीं है कि कहां है। कुछ ही मिनटों के बाद यह आप पर हावी हो जाता है: यह डाउनटॉन एबे के मिस्टर बेट्स हैं , लेकिन बटलर की पोशाक के बिना। हाई स्कूल स्नातक बैठक: कमरे के दूसरी तरफ एक तंग गंजे हुए सज्जन को देखकर, क्या आप उसे एक ऐसे दोस्त के रूप में पहचान सकते हैं, जिसे आप केवल खेल के मैदान में एक किशोर के रूप में जानते थे? कभी-कभी अंतराल में भरने के लिए बहुत प्रयास करना पड़ता है। मैंने पहले से ही बढ़ती व्याधियों की याद में अपने खुद के अकथनीय "अंधे स्थान" के बारे में लिखा था , जिसे मैं केवल नकली गंधों की एक सूची के माध्यम से धैर्यपूर्वक नाम देने के बाद ही नाम दे सकता था: हाइड्रेंजिया, वर्बेना, और फॉरस्विथिया।

क्या उच्च-गति वाले वैक्टरों को याद करने की पुनरावर्ती प्रक्रिया की तरह अपूर्ण या शोर इनपुट से यादों को पुनर्प्राप्त करने की हमारी क्षमता काम कर सकती है? यह एक आकर्षक परिकल्पना होगी, लेकिन इससे सावधान रहने के कारण हैं। उदाहरण के लिए, मस्तिष्क बहुत अधिक संकेत संकेतों से अर्थ निकालने में सक्षम प्रतीत होता है। मुझे इसकी पहचान करने के लिए "पांचवीं सिम्फनी" के चार पन्नों को सुनने की जरूरत नहीं है, पहले चार नोट पर्याप्त हैं। पेड़ों में टिमटिमाता रंग तुरंत आपको पक्षियों की संबंधित प्रजातियों - कार्डिनल, ब्लू जे, कार्डुएलिस को याद करता है। चाक धूल की गंध के साथ थोड़ी सी सांस मुझे एक नींद भरी भरी कक्षा में वापस ले जाती है, जिसमें मैंने आधे दिन तक अपनी मेज पर पेंट किया। इस तरह की यादें उन सूचनाओं के छोटे अंशों से उत्पन्न होती हैं जो उन्हें प्रतिनिधित्व करती हैं, 80 प्रतिशत से कम।

कंवरवा में अभी तक मानव मेमोरी की एक और विशेषता का उल्लेख है जिसे एसडीएम का उपयोग करके मॉडलिंग की जा सकती है: "जीभ की नोक पर स्पिन" घटना, जिसका सार यह है कि आप जानते हैं कि आप कुछ जानते हैं, हालांकि आप तुरंत इसे कॉल नहीं कर सकते। यह भावना बल्कि रहस्यमयी है: यदि आप वह नहीं खोज पाए जो आप खोज रहे थे, तो आप कैसे जान सकते हैं कि यह सब मस्तिष्क में संग्रहीत है? एसडीएम से रिकर्सिव रिकॉल प्रक्रिया हमें एक संभावित उत्तर प्रदान करती है। जब मेमोरी से प्राप्त लगातार पैटर्न एक-दूसरे के करीब हो जाते हैं, तो हम यथोचित रूप से सुनिश्चित हो सकते हैं कि पहुंचने से पहले ही वे लक्ष्य तक पहुंच जाएंगे।

स्मृति से एक जिद्दी तथ्य निकालने के प्रयासों में, कई लोग पाते हैं कि एक ही दरवाजे पर लगातार दस्तक देना एक बुद्धिमान रणनीति नहीं है। तत्काल जवाब मांगने के बजाय - अपने मस्तिष्क को आज्ञा देने के लिए - कार्य को अलग रखने के लिए अक्सर बेहतर होता है, टहलना, शायद झपकी लेना; उत्तर आ सकता है जैसे कि वह बिन बुलाए किया गया हो। क्या इस अवलोकन को एसडीएम मॉडल द्वारा समझाया जा सकता है? शायद कम से कम आंशिक रूप से। यदि स्मरण किए गए पैटर्न का क्रम अभिसरित नहीं होता है, तो इसका आगे का अध्ययन फलदायी साबित हो सकता है। यदि आप मेमोरी स्पेस में पड़ोसी बिंदु से फिर से शुरू करते हैं, तो आप बेहतर परिणाम पर आ सकते हैं। लेकिन यहां एक रहस्य है: बेहतर संभावनाओं के साथ एक नया शुरुआती बिंदु कैसे खोजें? आप सोच सकते हैं कि इनपुट पैटर्न और आशा में कुछ बिट्स को बेतरतीब ढंग से बदलने के लिए यह काफी सरल हैपरिणामस्वरूप, वह लक्ष्य के करीब होगा, लेकिन इस बात की संभावना कम है। यदि वेक्टर में है$$तब लक्ष्य से 250 बिट्स$250$$$750 बिट्स पहले से ही सत्य हैं (लेकिन हम नहीं जानते किइनमेंसेकौन साहै$750$$$750 बिट); किसी भी यादृच्छिक परिवर्तन के साथ, हमारे पास एक संभावना है$750$$$3 / 4 पास आते हैं और आगे भी चले जाओ। प्रगति करने के लिए, आपको यह जानना होगा कि किस दिशा में बढ़ना है, और किस दिशा में जाना है$3/4$$$1000- आयामी स्थान एक कठिन प्रश्न है।$1000$

एसडीएम वास्तुकला का एक पहलू यह है कि यह स्मृति में दोहराए जाने या सुनने के प्रभाव के अनुरूप है। यदि आप कविता को कई बार दोहराते हैं या संगीत का एक टुकड़ा बजाने का अभ्यास करते हैं, तो आप उम्मीद कर सकते हैं कि भविष्य में आप इसे और आसानी से याद करेंगे। कम्प्यूटेशनल मॉडल को एक समान प्रशिक्षण प्रभाव प्रदर्शित करना चाहिए। लेकिन पारंपरिक कंप्यूटर मेमोरी में यह संभव नहीं है: एक ही पते पर कई बार एक ही मूल्य को फिर से लिखने के कोई फायदे नहीं हैं। एसडीएम में, दूसरी ओर, पैटर्न का प्रत्येक दोहराव पैटर्न के एक्सेस सर्कल के भीतर सभी ठोस कोशिकाओं में एक और कॉपी जोड़ता है। नतीजतन, प्रतिच्छेदन पैटर्न से कम प्रभाव होता है, और महत्वपूर्ण रिकॉल त्रिज्या बढ़ जाती है। प्रभाव का महत्वपूर्ण प्रभाव पड़ता है:पैटर्न की एक प्रति की स्मृति में लिखते समय, महत्वपूर्ण त्रिज्या लगभग बढ़ जाती है$$से अधिक 200 बिट्स$200$$$$300$ ।

इसी तरह, एक पैटर्न खेलना बाकी को बहाल करना मुश्किल बना सकता है। यह भूलने की याद दिलाता है जब एक सक्रिय रूप से अंकित पैटर्न अपने पड़ोसियों को भरता है और अपने क्षेत्र के हिस्से को पकड़ता है। यह प्रभाव एसडीएम को भी महत्वपूर्ण रूप से प्रभावित करता है, इतना है कि यह भी अवास्तविक लगता है। ऐसा लगता है कि एक वेक्टर आठ या दस बार संग्रहीत स्मृति के अधिकांश पर एकाधिकार करता है; वह एक जुनून बन जाता है, सभी सवालों का जवाब।

वितरित विरल स्मृति का एक महत्वपूर्ण लाभ इसकी हार्डवेयर विफलताओं या त्रुटियों का प्रतिरोध है। मैं परेशान हो जाऊंगा अगर मेरे दिमाग में एक भी न्यूरॉन के खोने से मेरी याद में छेद हो गया और मैं अक्षर जी को पहचान नहीं पायाया याद रखें कि फावड़ियों को कैसे बाँधें। एसडीएम इस नाजुकता से ग्रस्त नहीं है। जब प्रत्येक संग्रहीत पैटर्न में एक हजार प्रतियां होती हैं, तो एक भी स्थान महत्वपूर्ण नहीं होता है। और वास्तव में, आप 60 प्रतिशत ठोस कोशिकाओं में संग्रहीत सभी जानकारी को मिटा सकते हैं, और अभी भी सही याद है$$$10000$ , अगर हम मान लेते हैं कि हम सिग्नल के रूप में एक बिल्कुल सटीक पते को प्रेषित कर रहे हैं। आंशिक संकेतों के साथ, खोए हुए धब्बे बढ़ने के साथ महत्वपूर्ण त्रिज्या सिकुड़ जाती है। 60 प्रतिशत साइटों को नष्ट करने के बाद, महत्वपूर्ण त्रिज्या के साथ संपीड़ित किया जाता है$$$200+$ बिट्स लगभग$$150 बिट। 80 प्रतिशत स्थानों के विनाश के बाद, स्मृति गंभीर रूप से क्षतिग्रस्त है, लेकिन नष्ट नहीं हुई है।बादलों में तैरने के बारे में क्या? क्या हम एक विरल वितरित स्मृति के माध्यम से भटक सकते हैं, एक संग्रहीत पैटर्न से दूसरे में भाग्य द्वारा कूदते हैं? मैं इस सवाल पर लौटूंगा।$150$

---

अधिकांश उपरोक्त कुछ सप्ताह पहले लिखे गए हैं। उस समय, मैंने स्मृति के विभिन्न प्रतिस्पर्धी सिद्धांतों के बारे में पढ़ा और सिमंस इंस्टीट्यूट के सहयोगियों के साथ उनकी खूबियों पर चर्चा की। मैंने इस विषय पर अपने विचारों को लिखा, लेकिन लगातार शंकाओं के कारण उनके प्रकाशन को स्थगित कर दिया: क्या मैंने विरल गणित को सही ढंग से याद किया? अब मुझे खुशी है कि मैं जल्दी में नहीं था।

मस्तिष्क और कम्प्यूटिंग कार्यक्रम मई में समाप्त हो गया। इसके प्रतिभागियों ने छोड़ दिया: मैं न्यू इंग्लैंड लौट आया, जहां ऋषि और मेंहदी छोटे-छोटे गड्ढे वाले पौधे हैं, न कि रास्ते में लटकी हुई झाड़ियों। मेरी सुबह बर्कले परिसर में चली गई, स्मृति और सीखने की प्रकृति को प्रतिबिंबित करने के लिए दैनिक अवसर, मेरे सिर में कहीं संग्रहीत "एनग्राम" बन गए (हालांकि, मुझे अभी भी नहीं पता है कि उन्हें कहां देखना है)।

हालाँकि, मैंने अपनी खोज नहीं छोड़ी। बर्कले छोड़ने के बाद, मैंने स्मृति के सिद्धांतों के बारे में पढ़ना जारी रखा। मैंने पेंटी कैनेरा की विरल वितरित स्मृति और इसके "हाइपर्सस्पेस कंप्यूटिंग" के अधिक व्यापक विचारों का अध्ययन करने के लिए कार्यक्रम भी लिखे। भले ही यह परियोजना मुझे मानव स्मृति के रहस्यों को प्रकट करने में विफल हो, लेकिन यह निश्चित रूप से मुझे उच्च-आयामी स्थानों में नेविगेशन की गणितीय और कम्प्यूटेशनल कला के बारे में कुछ सिखाएगा।

नीचे दिए गए आरेख एसडीएम को लागू करने का "सही" तरीका दिखाता है, जैसा कि मैं इसे समझता हूं। मुख्य तत्व एक क्रॉस मैट्रिक्स है, जिसमें पंक्तियाँ ठोस मेमोरी कोशिकाओं के अनुरूप होती हैं, और कॉलम उन संकेतों को ले जाते हैं जो इनपुट वेक्टर के व्यक्तिगत बिट्स का अनुकरण करते हैं। कैनोनिकल मेमोरी में एक लाख लाइनें हैं, जिनमें से प्रत्येक को यादृच्छिक रूप से सौंपा गया है$$1000 बिट पता, और$1000$$$1000 कॉलम इस डेमो संस्करण में 20 पंक्तियाँ और 8 कॉलम हैं।$1000$


आरेख में सचित्र प्रक्रिया में एक इनपुट वेक्टर को खाली मेमोरी में संग्रहीत करना शामिल है। ठोस कोशिकाओं के सभी 20 पतों के साथ आठ इनपुट बिट्स एक साथ हैं। जब इनपुट बिट और पता बिट मेल खाता है - शून्य के साथ शून्य या एक के साथ एक - हम कॉलम और पंक्ति के चौराहे पर एक डॉट लगाते हैं। फिर हम प्रत्येक पंक्ति में अंकों की संख्या की गणना करते हैं, और यदि संख्या थ्रेशोल्ड मान के बराबर या उससे अधिक है, तो हम इस लाइन (नीले क्षेत्रों) से जुड़े रजिस्टर में इनपुट वेक्टर लिखते हैं । हमारे उदाहरण में, थ्रेसहोल्ड मान 5 है, और 20 में से 8 पतों में कम से कम 5 मैच हैं। $$1000- बिट मेमोरी थ्रेशोल्ड वैल्यू बराबर होगी$1000$$$$451$ , और सभी रजिस्टरों में से केवल एक हजारवां हिस्सा चुना जाएगा।

इस वास्तुकला का जादू यह है कि सभी बिट तुलना - और कैनोनिकल मॉडल में उनमें से एक अरब हैं - एक साथ होते हैं। इसलिए, पढ़ने और लिखने का उपयोग समय ठोस कोशिकाओं की संख्या पर निर्भर नहीं करता है और बहुत छोटा हो सकता है। इस सामान्य प्रकार की व्यवस्था, जिसे साहचर्य या कंटेंट-एड्रेसिंग मेमोरी के रूप में जाना जाता है, का उपयोग कुछ कंप्यूटिंग क्षेत्रों में किया जाता है, जैसे कि लार्ज हेड्रॉन कोलाइडर में कण डिटेक्टरों को सक्षम करना और इंटरनेट पर राउटर के माध्यम से पैकेट को प्रसारित करना। और सर्किट आरेख मस्तिष्क की कुछ संरचनाओं से जुड़ा हो सकता है। कन्वेरा इंगित करता है कि सेरिबैलम ऐसे मैट्रिक्स के समान है। पंक्तियाँ सपाट, पंखे के आकार की पर्किनजे कोशिकाएँ हैं, जिन्हें किसी पुस्तक के पन्नों की तरह इकट्ठा किया गया है; स्तंभ समानांतर फाइबर होते हैं जो सभी पर्किनजे कोशिकाओं में फैलते हैं। (हालांकि, सेरिबैलम स्तनधारियों के मस्तिष्क का क्षेत्र नहीं है,जहां संज्ञानात्मक स्मृति को स्थित माना जाता है।)

इस क्रॉस-आर्किटेक्चर के आधार पर एसडीएम सिमुलेशन का निर्माण करना बहुत अच्छा होगा; दुर्भाग्य से, मुझे नहीं पता कि इसे अपने निपटान में कंप्यूटर उपकरणों पर कैसे लागू किया जाए। पारंपरिक प्रोसेसर में, हार्ड सेल बिट्स के साथ सभी इनपुट बिट्स की तुलना करने के लिए कोई तरीका नहीं है। इसके बजाय, मुझे अनुक्रम में एक लाख ठोस कोशिकाओं से गुजरना होगा, और प्रत्येक स्थान पर हजारों बिट्स की तुलना करना होगा। यह स्मृति से संग्रहीत या पुनर्प्राप्त किए गए प्रत्येक तत्व के लिए एक लाख बिट तुलना के लिए है। एक लाख बिट्स (हजारों प्रतियां) लिखने या पढ़ने के लिए इस समय में जोड़ें$$1000- बिट वेक्टर), और आपको एक धीमी प्रक्रिया मिलती है। यहाँ वेक्टर को बचाने के लिए कोड है:$1000$

 function store(v::BitVector) for loc in SDM if hamming_distance(v, loc.address) <= r write_to_register!(loc.register, v) end end end 

यह क्रियान्वयन मेमोरी को इनवेंटरी में लगभग एक घंटे का समय लेता है $$10,000 याद किए गए पैटर्न। (Jupyter नोटबुक के रूप में पूरा कार्यक्रमGitHub परउपलब्धहै।)क्या नियमित हार्डवेयर पर SDM का अनुकरण करने के लिए एक बेहतर एल्गोरिदम है? संभावित रणनीतियों में से एक किसी दिए गए वेक्टर के एक्सेस सर्कल के भीतर ठोस कोशिकाओं के एक सेट के लिए बार-बार खोज से बचने की अनुमति देता है; इसके बजाय, जब एक वेक्टर को पहली बार मेमोरी में लिखा जाता है, तो प्रोग्राम हजार या तो प्रत्येक स्थान पर एक पॉइंटर को संग्रहीत करता है जिसमें यह संग्रहीत होता है। भविष्य में, उसी वेक्टर के किसी भी संदर्भ के साथ, कार्यक्रम का पालन कर सकते हैं$10000$

$$1000 सहेजे गए पॉइंटर्स, और एक लाख ठोस कोशिकाओं के पूरे सरणी को स्कैन नहीं करते हैं। इस कैशिंग योजना की कीमत इन सभी बिंदुओं को स्टोर करने की आवश्यकता है - अपने विहित एसडीएम में$1000$$$10 मिलियन। यह काफी वास्तविक है, और इसके लायक हो सकता है यदि आप केवल सटीक, ज्ञात मूल्यों को संग्रहीत और पुनर्प्राप्त करना चाहते हैं। लेकिन इस बारे में सोचें कि पुनरावर्ती याद के साथ एक अनुमानित स्मृति अनुरोध के जवाब में क्या होता है$10$$$$Z^{\prime}$ और $$$Z^{\prime\prime}$ और $$$Z^{\prime\prime\prime}$ , और इसी तरह।इन मध्यवर्ती मूल्यों में से कोई भी कैश में नहीं मिलेगा, इसलिए सभी ठोस कोशिकाओं के पूर्ण स्कैन की आवश्यकता होगी।

शायद रास्ता काटने के लिए एक पेचीदा तरीका है। अलेक्जेंडर एंडोनी, पीटर इंडीक और इलिया रेज़ेंस्टीन द्वारा हाल के समीक्षा लेख, " अनुमानित निकटतम पड़ोसी खोज में उच्च आयाम " में, एक पेचीदा तकनीक को स्थानीय संवेदनशील संवेदनशील हैशिंग (स्थानीयता पर आधारित हैशिंग) कहा जाता है, लेकिन अभी तक मुझे समझ में नहीं आया कि इसे एसडीएम कार्य के लिए कैसे अनुकूलित किया जाए।

---

आंशिक संकेतों से यादों को पुनर्प्राप्त करने की क्षमता दर्दनाक रूप से कम्प्यूटेशनल मॉडल की एक मानवीय विशेषता है। शायद यह मन के हॉल के चारों ओर घूमते हुए निष्क्रिय की एक प्रशंसनीय व्यवस्था प्रदान करने के लिए विस्तारित किया जा सकता है, जिसमें एक विचार अगले की ओर जाता है।

पहले तो मैंने सोचा कि मुझे पता है कि यह कैसे काम कर सकता है। एसडीएम संग्रहीत पैटर्न$$$X$ अपने चारों ओर आकर्षण का एक क्षेत्र बनाता है जिसमें एक महत्वपूर्ण त्रिज्या से शुरू होने वाली स्मृति का कोई पुनरावर्ती अध्ययन में परिवर्तित होता है$$$X$ । पर $$इन आकर्षित करने वालों में से 10,000 , मैं कल्पना कर सकता हूं कि वे मेमोरी स्पेस को उच्च-आकार के साबुन के बुलबुले फोम जैसे व्यक्तिगत मॉड्यूल के मैट्रिक्स में कैसे विभाजित करते हैं। प्रत्येक संग्रहित तत्व का क्षेत्र अलग-अलग मात्रा में है, जो आस-पास के क्षेत्रों के बीच स्पष्ट सीमाओं के साथ, अन्य क्षेत्रों द्वारा चारों ओर से घिरा हुआ है और उनके खिलाफ है। इस प्रस्ताव के समर्थन में, मैं देख सकता हूं कि आकर्षण के क्षेत्र की औसत त्रिज्या, जब मेमोरी में नई सामग्री जोड़ी जाती है, तो संकुचित होती है, जैसे कि भीड़ के कारण बुलबुले संकुचित थे।$10000$

एसडीएम के अंदर प्रक्रियाओं की ऐसी दृष्टि एक डोमेन से दूसरे डोमेन में जाने का एक सरल तरीका सुझाती है: आपको वर्तमान आकर्षण से पड़ोसी के पास स्थानांतरित करने के लिए वेक्टर की पर्याप्त संख्या को यादृच्छिक रूप से स्विच करने की आवश्यकता होती है, और फिर पुनरावर्ती स्मरण एल्गोरिथ्म लागू करें। इस प्रक्रिया को दोहराने से मेमोरी में संग्रहीत कई विषयों का एक यादृच्छिक ट्रैवर्स उत्पन्न होगा।

एकमात्र समस्या यह है कि यह दृष्टिकोण काम नहीं करता है। यदि आप इसे जांचते हैं, तो यह वास्तव में लक्ष्यहीन रूप से भटक जाएगा$$1000 आयामी ग्रिड, लेकिन हमें वहां कुछ भी संग्रहीत नहीं मिलेगा। पूरी योजना एसडीएम ज्यामिति की एक गलत सहज समझ पर आधारित है। उनके आकर्षण के क्षेत्रों के साथ संग्रहीत वैक्टरसाबुन के बुलबुले की तरह कसकर पैकनहींकिएजाते हैं; इसके विपरीत, वे एक विशाल और मुक्त ब्रह्मांड में लटकी हुई आकाशगंगाओं को अलग-थलग कर देते हैं, जो उनके बीच खाली जगह के विशाल पथ द्वारा अलग हो जाते हैं। संक्षिप्त गणना हमें स्थिति की वास्तविक प्रकृति दिखाती है। विहित मॉडल में, आकर्षण के क्षेत्र का निर्धारण करने वाला महत्वपूर्ण त्रिज्या लगभग बराबर है$1000$$$$200$ । एक भी क्षेत्र की मात्रा, अंदर वैक्टर की संख्या के रूप में मापा जाता है

$$

$$sum_{k = 1}^{200} \binom{1000}{k}$$

जो लगभग बराबर है $$$10^{216}$ । इसलिए सभी $$$10000$ क्षेत्रों की मात्रा पर कब्जा है $$$10^{220}$ । यह एक बड़ी संख्या है, लेकिन यह अभी भी एक छोटा अंश है $$$1000$-डिमेटिक क्यूब। घन के सभी कोने के बीच, केवल$$$1$ से $$$10^{80}$सहेजे गए पैटर्न के 200 बिट्स के भीतर स्थित है। आप इनमें से किसी भी क्षेत्र में ठोकर खाए बिना हमेशा के लिए भटक सकते हैं।

(हमेशा के लिए? ओह, हाँ, हाँ, यह हमेशा के लिए नहीं हो सकता है। चूंकि एक हाइपरक्यूब एक परिमित संरचना है, इसके माध्यम से किसी भी तरह से जल्दी या बाद में आवधिक हो जाना चाहिए, या एक निश्चित बिंदु में गिरना चाहिए जहां से यह कभी नहीं निकलता है, या एक दोहराव चक्र में खो जाता है। संग्रहीत वैक्टर निश्चित बिंदु हैं, इसके अलावा, कई अन्य निश्चित बिंदु हैं जो किसी भी महत्वपूर्ण पैटर्न के अनुरूप नहीं हैं। ऐसा हो कि एसडीएम कार्यक्रमों के साथ मेरे सभी प्रयोगों में मैं "गलती से" कभी भी सहेजे गए पैट में शामिल न हो सकूं। ब्लेकसोर्न।)

इस बुरे विचार को बचाने की कोशिश करते हुए, मैंने कई और प्रयोग किए। एक मामले में, मैंने मनमाने ढंग से पड़ोसी के पते ("पड़ोसी", यानी
200 या 300 बिट्स के भीतर) से संबंधित कई अवधारणाओं को बचाया है । शायद इस क्लस्टर के भीतर, मैं बिंदु से बिंदु तक सुरक्षित रूप से कूद सकता हूं। लेकिन वास्तव में, पूरे क्लस्टर को केंद्रीय पैटर्न के लिए आकर्षण के एक बड़े क्षेत्र में संघनित किया जाता है, जो एक ब्लैक होल बन जाता है जो अपने सभी साथियों में बेकार हो जाता है। मैंने भी मूल्य के साथ खेलने की कोशिश की$$$r$(सभी पढ़ने और लिखने के संचालन के लिए पहुंच के दायरे का दायरा)। विहित मॉडल में$$$r = 451$ ।मैंने सोचा था कि एक छोटे से सर्कल में लिखना या थोड़ा बड़े सर्कल से पढ़ना परिणामों में यादृच्छिकता के लिए पर्याप्त जगह छोड़ देगा, लेकिन यह आशा भी नहीं हुई।

ये सभी प्रयास उच्च-आयामी वेक्टर रिक्त स्थान की गलतफहमी पर आधारित थे। हाइपरक्यूब में पड़ोसी मूल्यों के समूहों को खोजने का प्रयास निराशाजनक है; संग्रहीत पैटर्न बहुत मात्रा में रखे गए हैं। घने समूहों का मनमाना निर्माण भी व्यर्थ है, क्योंकि यह बहुत ही संपत्ति को नष्ट कर देता है जो सिस्टम को दिलचस्प बनाता है - आकर्षण के आसपास के क्षेत्र में कहीं से भी एक संग्रहीत तत्व में परिवर्तित करने की क्षमता। अगर हम एसडीएम के लिए क्लाउड-वैंडरिंग एल्गोरिदम बनाना चाहते हैं, तो हमें कुछ अन्य तरीकों के साथ आने की जरूरत है।

---

चेतना के प्रवाह के एक वैकल्पिक तंत्र की तलाश में, आप विरल वितरित स्मृति की दुनिया में थोड़ा ग्राफ सिद्धांत जोड़ने की कोशिश कर सकते हैं। फिर हम एक ग्राफ या नेटवर्क के चारों ओर एक यादृच्छिक चलने के रूप में मानसिक भटकने के मूल विचार पर एक कदम पीछे ले जा सकते हैं। एसडीएम में इस तरह के ग्राफ को एम्बेड करने का मुख्य तत्व हमारे लिए एक परिचित उपकरण है: एक विशेष या ऑपरेटर।

जैसा कि ऊपर उल्लेख किया गया है, दो वैक्टरों के बीच हैमिंग दूरी की गणना उनके बिटवाइज़ XOR द्वारा की जाती है और परिणामी इकाइयों की गिनती की जाती है। लेकिन एक्सओआर ऑपरेशन न केवल दो वैक्टर के बीच की दूरी, बल्कि अन्य जानकारी भी देता है; यह उन्हें जोड़ने वाली रेखा के अभिविन्यास या दिशा को भी निर्धारित करता है। विशेष रूप से, ऑपरेशन$$$u \veebar v$ एक वेक्टर को बिट्स की सूची देता है जिसे बदलने के लिए बदलने की आवश्यकता होती है $$$u$ में $$$v$और इसके विपरीत। भी माना जा सकता है$$$1$ और $$$0$ XOR वेक्टर उन दिशाओं के अनुक्रम के रूप में है जिनसे आपको पथ को ट्रैक करने के लिए अनुसरण करने की आवश्यकता है $$$u$ को $$$v$ ।

XOR हमेशा से मेरे सभी बूलियन फंक्शन्स का पसंदीदा रहा है। यह एक अंतर ऑपरेटर है, लेकिन घटाव के विपरीत, XOR सममित है:$$$u \veebar v = v \veebar u$ ।इसके अलावा, XOR का अपना उलटा कार्य है। इस अवधारणा को एक ही तर्क के साथ कार्यों को समझना आसान है:$$$च (x)$ अगर इसका अपना उलटा कार्य है $$$f(f(x)) = x$, अर्थात्, दो बार फ़ंक्शन को लागू करने के बाद, हम उस स्थान पर लौट सकते हैं जहां हमने शुरू किया था। एक्सओआर जैसे दो तर्कों वाले फ़ंक्शन के लिए, स्थिति अधिक जटिल है, लेकिन यह अभी भी सच है कि एक ही क्रिया का प्रदर्शन दो बार मूल स्थिति को पुनर्स्थापित करता है। विशेष रूप से, यदि$$$u \veebar v = w$ तो $$$u \veebar w = v$ और $$$v \veebar w = u$ । तीन वैक्टर - $$$u$ । $$$v$ और $$$w$- एक छोटे से बंद ब्रह्मांड बनाएँ। आप XOR ऑपरेटर को उनमें से किसी भी जोड़ी पर लागू कर सकते हैं और सेट का तीसरा तत्व प्राप्त कर सकते हैं। इस विचार को स्पष्ट करने का प्रयास निम्नलिखित है। प्रत्येक वर्ग नकल करता है$$$10000$बिट वेक्टर प्रकाश और अंधेरे पिक्सल के 100 x 100 टेबल के रूप में पंक्तिबद्ध है। तीन पैटर्न यादृच्छिक और स्वतंत्र लगते हैं, लेकिन वास्तव में, प्रत्येक पैनल अन्य दो का XOR है। उदाहरण के लिए, सबसे बाएं वर्ग में, प्रत्येक लाल पिक्सेल हरे या नीले रंग से मेल खाता है, लेकिन दोनों के लिए कभी नहीं।


आत्म-अक्षमता संपत्ति हमें एसडीएम में जानकारी व्यवस्थित करने का एक नया तरीका बताती है। मान लीजिए कि तितली शब्द और इसके फ्रांसीसी समकक्ष पेपिलोन को मनमाने ढंग से, यादृच्छिक वैक्टर में संग्रहित किया गया है। वे एक दूसरे के करीब नहीं होंगे; उनके बीच की दूरी लगभग 500 बिट्स होने की संभावना है। अब हम इन तितली वैक्टरों के एक्सओआर की गणना करते हैं $$$\veebar$ पैपिलॉन ; परिणाम एक और वेक्टर है जिसे एसडीएम में भी बचाया जा सकता है। यह नया वेक्टर अंग्रेजी-फ्रेंच कनेक्शन को एन्कोड करता है । अब हमारे पास एक अनुवाद उपकरण है। तितली के लिए एक वेक्टर होने के बाद , हम वेक्टर अंग्रेजी-फ्रेंच के साथ इसके लिए एक XOR प्रदर्शन करते हैं और पेपिलॉन प्राप्त करते हैं । एक ही चाल विपरीत दिशा में काम करती है।

शब्दों की यह जोड़ी और उनके बीच का संबंध अर्थ नेटवर्क का मूल है। इसे थोड़ा बढ़ाएं। हम एक मनमाने पते में कैटरपिलर शब्द को बचा सकते हैं , और फिर तितली की गणना कर सकते हैं $$$\veebar$ कैटरपिलर और इस नए वयस्क-युवा रिश्ते को बुलाओ । कैटरपिलर को फ्रेंच में क्या कहा जाता है ? फ्रेंच में कैटरपिलर सेनील है । हम इस तथ्य को कैटरपिलर में सेनील को स्टोर करके नेटवर्क में जोड़ते हैं $$$\veebar$ अंग्रेजी-फ्रेंच । अब जादू के लिए समय है: अगर हम पेपिलोन लेते हैं $$$\veebar$ सेनील , हम सीखते हैं कि ये शब्द एक वयस्क-युवा संबंध से संबंधित हैं , भले ही उन्होंने स्पष्ट रूप से यह संकेत नहीं दिया हो। यह सीमा संरचना के ज्यामिति द्वारा ही लगाई जाती है।


अधिक अंग्रेजी-फ्रेंच से संबंधित शब्दों ( डॉग-चिएन, हॉर्स-चीवल ) या अधिक वयस्क-युवा जोड़े: ( डॉग-पपी, ट्री-सैपलिंग ) को जोड़कर ग्राफ को और अधिक विस्तारित किया जा सकता है । आप कई अन्य रिश्तों का भी पता लगा सकते हैं: पर्यायवाची, विलोम, भाई-बहन, कारण-प्रभाव, शिकारी-शिकार, और इसी तरह। नोड के पूर्ववर्ती और उत्तराधिकारी के पतों पर केवल एक्सओआर प्रदर्शन करके एक कालानुक्रमिक अनुक्रम में कई घटनाओं में शामिल होने का एक शानदार तरीका है।

अवधारणाओं को जोड़ने का XOR का तरीका ज्यामिति और ग्राफ सिद्धांत का एक संकर है। साधारण रेखांकन के गणितीय सिद्धांत में, दूरी और दिशाएं महत्वपूर्ण नहीं हैं; केवल एक चीज जो नोड्स के बीच किनारों को जोड़ने की उपस्थिति या अनुपस्थिति है। एसडीएम में, दूसरी तरफ, नोड्स के बीच संबंध का प्रतिनिधित्व करने वाला एक किनारा परिमित लंबाई और प्रत्यक्षता का एक वेक्टर है$$$1000$-डिमेटिक स्पेस। किसी दिए गए नोड और लिंक के लिए, XOR ऑपरेशन इस नोड को हाइपरक्यूब में कहीं और एक विशिष्ट स्थिति में "बाइंड" करता है। परिणामस्वरूप संरचना बिल्कुल कठोर है - हम सभी कनेक्शनों को बदलने के बिना नोड को स्थानांतरित नहीं कर सकते हैं जिसमें यह भाग लेता है। तितलियों और कैटरपिलर के मामले में, चार समुद्री मील का एक विन्यास अनिवार्य रूप से एक समानांतर चतुर्भुज बन जाता है, जहां विपरीत पक्षों पर जोड़े की लंबाई और दिशा समान होती है।

एक एक्सओआर ऑपरेशन से जुड़े ग्राफ की एक और अनूठी विशेषता यह है कि नोड्स और किनारों का बिल्कुल समान प्रतिनिधित्व है। ग्राफ सिद्धांत से विचारों के अधिकांश कंप्यूटर कार्यान्वयन में, दोनों संस्थाएं बहुत अलग हैं; एक नोड विशेषताओं की एक सूची हो सकती है, और एक किनारे इसके द्वारा जुड़े नोड्स के लिए एक बिंदु हो सकता है। एसडीएम में, दोनों नोड्स और किनारे केवल उच्च-आयामी वैक्टर हैं जो एक ही प्रारूप में संग्रहीत किए जा सकते हैं।

जब मानव स्मृति के एक मॉडल के रूप में उपयोग किया जाता है, तो XOR बाइंडिंग हमें किसी भी कनेक्शन के माध्यम से किसी भी दो अवधारणाओं को जोड़ने की क्षमता देता है जो हम सोच सकते हैं। वास्तविक दुनिया में कई कनेक्शन विषम हैं; उनके पास X- के पास स्व-इन्वर्टिबिलिटी प्रॉपर्टी नहीं है। XOR वेक्टर यह घोषणा कर सकता है कि एडवर्ड और विक्टोरिया माता-पिता और बच्चे हैं, लेकिन यह नहीं बताता कि उनमें से कौन है। इससे भी बदतर, XOR वेक्टर बिल्कुल दो नोड्स को जोड़ता है और फिर कभी नहीं, इसलिए कई बच्चों के माता-पिता हमें अप्रिय स्थिति में डालते हैं। एक और कठिनाई एक दूसरे के साथ एक बड़े ग्राफ की सभी शाखाओं की अखंडता को बनाए रखना है। हम केवल मनमाने ढंग से नोड्स और किनारों को जोड़ नहीं सकते हैं; उन्हें सही क्रम में ग्राफ से जोड़ा जाना चाहिए। एक तितली और एक कैटरपिलर के बीच एक पुतली चरण को सम्मिलित करने के लिए अधिकांश पैटर्न को फिर से लिखना होगा;आपको हाइपरक्यूब के अंदर नई जगहों पर कई नोड्स को स्थानांतरित करना होगा और उन्हें जोड़ने वाले वैक्टर को पुनर्गणना करना होगा, जबकि यह सुनिश्चित करना होगा कि अंग्रेजी भाषा के पक्ष में प्रत्येक परिवर्तन सही ढंग से फ्रेंच पर प्रतिबिंबित करता है।

इनमें से कुछ समस्याओं को एक अन्य XOR- आधारित तकनीक में हल किया जाता है जिसे कानवेरा बंडल कहते हैं। विशेषता-मूल्य जोड़े को संग्रहीत करने के लिए किसी प्रकार का डेटाबेस बनाने का विचार है। पुस्तक प्रविष्टि में लेखक , शीर्षक और प्रकाशक जैसे गुण हो सकते हैं, जिनमें से प्रत्येक को संबंधित मूल्य के साथ रखा गया है। डेटा बंडलिंग का पहला चरण प्रत्येक विशेषता-मूल्य जोड़ी का एक अलग XOR है। फिर इन ऑपरेशनों से प्राप्त वैक्टरों को एक ही एसडीएम सेल में कई वैक्टरों को संग्रहीत करने के लिए ऊपर वर्णित एक ही एल्गोरिदम का उपयोग करके एक एकल सारांश वेक्टर बनाने के लिए संयुक्त किया जाता है। इस संयुक्त वेक्टर के साथ विशेषता नाम के XOR का प्रदर्शन करते हुए, हम पुनरावर्ती रिकॉल विधि द्वारा इसे निर्धारित करने के लिए पर्याप्त रूप से संबंधित संगत मान प्राप्त करते हैं। विहित मॉडल के साथ प्रयोगों में, मैंने पाया कि$$$1000$ एक बिट वेक्टर भ्रम के बहुत जोखिम के बिना छह या सात विशेषता-मूल्य जोड़े को संग्रहीत कर सकता है।

बंधन और बंडलिंग का उल्लेख 1988 के कनावे पुस्तक में नहीं है, लेकिन वह उनके बारे में नए लेखों में विस्तार से बात करता है। (नीचे "अतिरिक्त पठन" अनुभाग देखें) यह इंगित करता है कि इन दो ऑपरेटरों के साथ, कई उच्च-आयामी वैक्टर एक बीजीय क्षेत्र की संरचना पर ले जाते हैं, या कम से कम एक क्षेत्र के लिए सन्निकटन। एक क्षेत्र का एक विहित उदाहरण इसके अतिरिक्त और बहुक्रिया के संचालन के साथ-साथ उनके अदृश्य ऑपरेटरों के बजाय वास्तविक संख्याओं का एक समूह है। वास्तविक संख्याएं इन परिचालनों के तहत एक बंद सेट बनाती हैं: इसके अलावा, घटाव, गुणन या किसी दो वास्तविक संख्याओं का विभाजन एक और वास्तविक संख्या देता है (विभाजन को शून्य के अपवाद के साथ, जो हमेशा डेक में एक जोकर होता है)। इसी तरह, बाइनरी वैक्टर का सेट लिंकिंग और बंडल के लिए बंद है, सिवायकभी-कभी, एक सेट के एक सदस्य को पुनर्स्थापित करने के लिए, बैंडिंग वेक्टर से निकाले गए परिणाम को पुनरावर्ती रिकॉल प्रक्रिया द्वारा "साफ़" किया जाना चाहिए।

---

क्या लिंकिंग और बंडलिंग हमें क्लाउड-वंडरिंग एल्गोरिदम प्राप्त करने में मदद कर सकते हैं? वे हमें बेतरतीब रेखांकन करने के लिए बुनियादी उपकरण देते हैं, जिसमें यादृच्छिक ट्रैवर्स करने की क्षमता भी शामिल है। कनेक्टेड XOR ग्राफ में किसी भी नोड से शुरू होकर, यादृच्छिक ट्रैवर्सल एल्गोरिथ्म इस स्टिंग में उपलब्ध सभी लिंक के बीच चयन करता है। नोड वेक्टर के साथ इस वेक्टर के संचार वेक्टर और XOR निष्पादन का एक यादृच्छिक विकल्प हमें दूसरे नोड में ले जाता है जहां प्रक्रिया को दोहराया जा सकता है। इसी तरह, बंडल के "विशेषता-मूल्य" जोड़े में, एक बेतरतीब ढंग से चयनित विशेषता संबंधित मूल्य को कॉल करती है, जो जांच के तहत अगला नोड बन जाता है।

लेकिन एक एल्गोरिथ्म कैसे जानता है कि कौन से रिश्ते या कौन से एल्गोरिदम चयन के लिए उपलब्ध हैं? रिश्ते और विशेषताओं को वैक्टर के रूप में दर्शाया जाता है और किसी भी अन्य वस्तुओं की तरह स्मृति में संग्रहीत किया जाता है, इसलिए इन वैक्टर को प्राप्त करने के लिए कोई स्पष्ट तरीके नहीं हैं जब तक कि आप नहीं जानते कि वे वास्तव में क्या हैं। हम "मुझे सभी कनेक्शन दिखाएं" की स्मृति नहीं बता सकते। हम केवल पैटर्न दिखा सकते हैं और पूछ सकते हैं कि “क्या ऐसा कोई सदिश है? क्या आपने ऐसा कुछ देखा है? "

पारंपरिक कंप्यूटर मेमोरी में, हम एक मेमोरी डंप प्राप्त कर सकते हैं: सभी पते पर जाएं और प्रत्येक स्थान पर पाए गए मूल्य को प्रदर्शित करें। लेकिन वितरित मेमोरी के लिए ऐसी कोई प्रक्रिया नहीं है। यह निराशाजनक तथ्य मुझे कठिनाई से दिया गया था। एसडीएम कम्प्यूटेशनल मॉडल का निर्माण करते समय, मैं अपनी मेमोरी में कई हजार यादृच्छिक रूप से उत्पन्न पैटर्न को स्टोर करने की क्षमता प्राप्त करने में काफी हद तक सफल रहा। लेकिन मैं उन्हें नहीं निकाल सकता था क्योंकि मुझे नहीं पता था कि क्या अनुरोध करना है। इसका समाधान खुद एसडीएम के बाहर एक अलग सूची बनाना था, जिसमें जो कुछ भी मैं सहेजता हूं वह लिखा जाएगा। लेकिन यह धारणा कि मस्तिष्क ने स्मृति को बनाए रखा होगा और इस स्मृति का सूचकांक दूर की कौड़ी लगता है। सिर्फ एक सूचकांक का उपयोग क्यों न करें, क्योंकि यह इतना आसान है?

इस सीमा के कारण, ऐसा लगता है कि विरल वितरित स्मृति इंद्रियों की सेवा करने के लिए सुसज्जित है, लेकिन कल्पना नहीं। यह परिचित पैटर्न को पहचान सकता है और नए लोगों को बचा सकता है जिन्हें भविष्य की बैठकों में आंशिक या क्षतिग्रस्त संकेतों से भी पहचाना जाएगा। लिंकिंग या बंडलिंग के लिए धन्यवाद, मेमोरी संग्रहीत वस्तुओं के जोड़े के बीच लिंक को भी ट्रैक कर सकती है। लेकिन सब कुछ जो स्मृति में लिखा गया है, केवल एक उपयुक्त संकेत प्रेषित करके प्राप्त किया जा सकता है।


जब मैं ग्रेजुएट पोस्टर को देखता हूं, तो मैं डस्टिन हॉफमैन को स्टॉकिंग में ऐनी बैनक्रॉफ्ट के पैर को देखता हूं। यह दृश्य उत्तेजना सेरेब्रल कॉर्टेक्स में न्यूरॉन्स के सबसेट को उत्तेजित करता है, जो अभिनेताओं, पात्रों, कथानक, साउंडट्रैक और 1967 की मेरी यादों के अनुरूप है। इस मस्तिष्क गतिविधि के सभी को एसडीएम मेमोरी आर्किटेक्चर द्वारा समझाया जा सकता है, अगर हम मानते हैं कि न्यूरॉन्स के सबसेट को कुछ सार रूप में लंबे यादृच्छिक बाइनरी वैक्टर के रूप में दर्शाया जा सकता है। लेकिन कोई भी इस तथ्य को आसानी से समझा नहीं सकता है कि मैं इस तस्वीर को देखे बिना मस्तिष्क में सभी समान संवेदनाओं का कारण बन सकता हूं। मैं विशेष रूप से वैक्टर के एक विशाल इंटरव्यूविंग से इन लंबे यादृच्छिक अनुक्रमों को कैसे निकालता हूं, यह नहीं जानते हुए कि वे वास्तव में कहां हैं?

---

यह मेरी लंबी यात्रा का समापन है - संदेह और निराशा का एक नोट। यह शायद ही आपको आश्चर्य हो कि मैंने बहुत सार को प्राप्त करने का प्रबंधन नहीं किया। यह एक बहुत ही जटिल विषय है।

सिमंस इंस्टीट्यूट में ब्रेन एंड कम्प्यूटिंग कार्यक्रम के पहले दिन, चूहों के मस्तिष्क में सर्किटरी का पता लगाने का काम करने वाले जेफ लिक्टमैन ने सवाल पूछा: क्या न्यूरोसाइंस पहले से ही वाटसन-क्रिक क्षण तक पहुंच चुके हैं? आणविक आनुवंशिकी में, हम उस बिंदु पर पहुंच गए हैं, जिस पर हम एक जीवित कोशिका से एक डीएनए स्ट्रैंड को हटाने में सक्षम थे और इसमें कई संदेश पढ़े थे। हम अपने संदेश भी रिकॉर्ड कर सकते हैं और उन्हें वापस शरीर में डाल सकते हैं। तंत्रिका विज्ञान में एक समान क्षमता मस्तिष्क के ऊतकों का अध्ययन करना और उसमें संग्रहीत जानकारी को पढ़ना होगा - ज्ञान, यादें, विश्व साक्षात्कार। शायद हम जानकारी को सीधे मस्तिष्क तक भी लिख सकते थे।

विज्ञान भी इस लक्ष्य को प्राप्त करने के करीब नहीं आया, बहुतों की खुशी के लिए। मुझे शामिल करना: मैं नहीं चाहता कि मेरे विचारों को इलेक्ट्रोड या विंदुक के माध्यम से मेरे सिर से चूसा जाए और #fakenews द्वारा प्रतिस्थापित किया जाए। हालांकि, मैं वास्तव में जानना चाहता हूं कि मस्तिष्क कैसे काम करता है।

सीमन्स इंस्टीट्यूट कार्यक्रम ने मुझे तंत्रिका विज्ञान की हालिया सफलता से अंधा कर दिया है, लेकिन इसने मुझे यह एहसास भी कराया है कि सबसे गंभीर प्रश्नों में से एक अनुत्तरित है। लिक्टमैन और अन्य की कनेक्टिविटी परियोजनाएं लाखों न्यूरॉन्स और उनके कनेक्शन का विस्तृत नक्शा बनाती हैं। नई रिकॉर्डिंग तकनीक हमें व्यक्तिगत न्यूरोकाइट्स द्वारा उत्सर्जित संकेतों को सुनने और मस्तिष्क के व्यापक क्षेत्रों में उत्तेजना की तरंगों का पालन करने की अनुमति देती है। हमारे पास न्यूरॉन्स के प्रकारों की काफी व्यापक सूची है और हम उनके शरीर विज्ञान और जैव रसायन के बारे में बहुत कुछ जानते हैं। यह सब प्रभावशाली है, लेकिन अभी भी पहेलियाँ हैं। हम तंत्रिका संकेतों को रिकॉर्ड कर सकते हैं, लेकिन अधिकांश भाग के लिए हम नहीं जानते कि उनका क्या मतलब है। हमें नहीं पता कि जानकारी कैसे एन्कोड की गई है और मस्तिष्क में संग्रहीत है। यह बाइनरी अंकगणितीय और बूलियन तर्क के ज्ञान के बिना एक डिजिटल कंप्यूटर के सर्किट आरेख को समझने की कोशिश करने के समान है।

पेंटी कैनेर्वा के विरल वितरित मेमोरी मॉडल में से कुछ अंतराल को भरने का एक प्रयास है। यह एकमात्र ऐसा प्रयास नहीं है। एक बेहतर ज्ञात विकल्प जॉन हॉपफील्ड का दृष्टिकोण है - एक गतिशील प्रणाली के रूप में एक तंत्रिका नेटवर्क की अवधारणा, ऊर्जा को कम करने वाले अट्रैक्टर का रूप लेना। इन दो विचारों में सामान्य बुनियादी सिद्धांत हैं: जानकारी बड़ी संख्या में न्यूरॉन्स पर बिखरी हुई है और एक ऐसे रूप में एन्कोडेड है जो बाहरी पर्यवेक्षक के लिए स्पष्ट नहीं है, यहां तक ​​कि वह सभी न्यूरॉन्स और उनके माध्यम से गुजरने वाले संकेतों तक पहुंच प्राप्त करेगा। इसी तरह की योजनाएं, जो अनिवार्य रूप से गणितीय और कम्प्यूटेशनल हैं, वैचारिक रूप से उच्च-स्तरीय मनोविज्ञान और निम्न-स्तरीय तंत्रिका इंजीनियरिंग के बीच में स्थित हैं। इस परत में मान होता है।

Plate, Tony. 1995. Holographic reduced representations. IEEE Transactions on Neural Networks 6(3):623–641. PDF

Plate, Tony A. 2003. Holographic Reduced Representation: Distributed Representation of Cognitive Structure . Stanford, CA: CSLI Publications.