مكعب بحجم 1000: هل من الممكن إنشاء نموذج حسابي للذاكرة البشرية اليوم؟

هذا الصباح ، في طريقي إلى حرم بيركلي ، ركضت أصابعي على طول أوراق شجيرة عطرة ، ثم استنشقت الرائحة المألوفة. أفعل هذا كل يوم ، وكل يوم الكلمة الأولى التي تظهر في رأسي وتلوح بيدها في التحية هي حكيم . لكنني أعلم أن هذا النبات ليس حكيمًا ، ولكنه إكليل الجبل ، لذلك أطلب حكيمًا لتهدئة. لكن بعد فوات الأوان. بعد إكليل الجبل والمريمية ، لا يمكنني التوقف عن ظهور البقدونس والزعتر على المسرح ، وبعد ذلك تظهر النغمات الأولى من اللحن والوجه على غلاف الألبوم ، والآن عدت في منتصف الستينيات ، مرتديًا قميصًا بالخيار. وفي الوقت نفسه ، فإن إكليل الجبل يجلب فجوة مدتها 13 دقيقة في ذاكرة روز ماري وودز (على الرغم من الآن ، بعد التشاور مع الذاكرة الجماعية ، أعلم أنه يجب أن تكون روز ماري وودز ومساحة 18 دقيقة ونصف ). من ووترغيت ، أقفز إلى القصص على الصفحة الرئيسية. ثم لاحظت في حديقة معتنى بها جيدًا نباتًا آخر بأوراق خضراء رمادية زغبية. هذا أيضًا ليس حكيمًا ، ولكنه منظف (أذن الحمل). ومع ذلك ، فإن المريمية تحصل أخيرًا على لحظة مجدها. من الأعشاب ، أنتقل إلى برنامج Sage للرياضيات ، ثم إلى نظام الدفاع الجوي في الخمسينيات المسمى SAGE ، البيئة الأرضية شبه الأوتوماتيكية ، والتي تمت إدارتها بواسطة أكبر كمبيوتر تم بناؤه على الإطلاق.

في علم النفس والأدب ، يُطلق على مثل هذه التجوال العقلي تيار الوعي (مؤلف هذه الاستعارة وليام جيمس). لكنني سأختار استعارة مختلفة. وعقلي ، بقدر ما أشعر ، لا يتدفق بسلاسة من موضوع إلى آخر ، بل يرفرف عبر المناظر الطبيعية للأفكار ، مثل الفراشة أكثر من النهر ، أحيانًا مسمرًا على زهرة واحدة ثم بعد ذلك إلى أخرى ، أحيانًا تحملها العواصف ، وأحيانًا تزور نفس المكان مرارا وتكرارا.

لاستكشاف بنية ذاكرتي الخاصة ، حاولت إجراء تجربة أكثر راحة مع الجمعيات الحرة. لقد بدأت بنفس الوصفة الزهرية - البقدونس والمريمية وإكليل الجبل والزعتر - ولكن في هذا التمرين لم أتجول في حدائق تلال بيركلي. جلست على الطاولة وأخذت ملاحظات. الرسم البياني أدناه هو أفضل محاولة لإعادة بناء المسار الكامل لأفكاري.


البقدونس والمريمية وإكليل الجبل والزعتر - أربعة أعشاب ، بالإضافة إلى خط من أغنية Simon and Garfunkel.

Simon and Garfunkel - Paul Simon and Art Garfunkel ، دويتو من المطربين في نوع موسيقى الروك الشعبية في الستينيات والسبعينيات.

السيدة Robinson هي أغنية من إنتاج Simon and Garfunkel ، بالإضافة إلى شخصية من فيلم Mike Nichols "The Graduate".

"أين ذهبت ، جو ديماجيو؟" - السؤال في "السيدة روبنسون ".

سيمون وشوستر هي دار نشر أسسها ريتشارد سيمون وماكس شوستر في عام 1924 (في الأصل لنشر الكلمات المتقاطعة).

جاكي روبنسون هو لاعب بروكلين دودجرز الأسطوري.

روبنسون كروزو - رواية دانيال ديفو عن حطام السفينة (1719).

عائلة روبنسون السويسرية - رواية يوهان ديفيد فايس عن حطام السفن (1812).

أعشاب - نباتات عطرية

السيد Wizard هو عرض علمي يوم السبت من خمسينيات القرن الماضي للأطفال يستضيفه Don Herbert.

ألبرت - عازف البوق لأذرع البيرت.

البلاستيك هو النصيحة المهنية التي اقترحها الخريج.

coo-coo-ca-choo - سطر من "السيدة روبنسون ".

فرانك روبنسون لاعب في بالتيمور أوريولز في السبعينيات.

Greig Nettles هو ثالث لاعب بيسبول في نيويورك يانكيز في السبعينيات.

داستن هوفمان هو ممثل لعب في The Graduate.

آبي هوفمان - "يبي!"

ليومينستر هي مدينة في ماساتشوستس أصبحت مهد تصنيع البلاستيك في الولايات المتحدة.

بروكس روبنسون هو ثالث لاعب بيسبول في بالتيمور أوريولز في السبعينيات.

بابيلون ("العثة") - فيلم 1973 لعب فيه داستن هوفمان دورًا ثانويًا ؛ "Papillon" بالفرنسية "فراشة".

نابوكوف - فلاديمير نابوكوف ، كاتب روسي المولد وعلم الحشرات يدرس الفراشات.

الفراشة ، Schmetterling ، mariposa ، farfalla - "الفراشة" باللغة الإنجليزية والألمانية والإسبانية والإيطالية ؛ يبدو أن جميعهم (والكلمة الفرنسية أيضًا) هم من أصل مستقل.

ما يسمى الفراشة بالروسية - لا أعرف. أو لم يعرف متى نشأ هذا السؤال.

"أنا الفظ" هي أغنية فريق البيتلز لعام 1967 والتي تحتوي أيضًا على عبارة "coo-coo-ca-choo".

كارلي سيمون مغنية. لا علاقة مع بول سيمون ، لكنها ابنة ريتشارد سيمون.

أغنية "أنت هادئ جدًا" هي أغنية لكارلي سيمون.

يمثل الرسم البياني من أعلى لأسفل الموضوعات بالترتيب الذي تنبثق فيه في الدماغ ، لكن الروابط بين العقد لا تنشئ تسلسلًا خطيًا واحدًا. يشبه الهيكل شجرة ذات سلاسل قصيرة من الارتباطات المتتالية ، وتنتهي بعودة حادة إلى عقدة سابقة ، كما لو كنت قد سحبت من شريط مطاطي ممدود. يتم وضع علامة على هذه الانقطاعات على الرسم البياني مع الأسهم الخضراء ؛ علامة X الحمراء أدناه هي المكان الذي قررت فيه إكمال التجربة.

أعتذر لأولئك الذين ولدوا بعد عام 1990 ، قد يبدو لك العديد من الموضوعات المذكورة عتيقة أو غامضة بالنسبة لك. يتم تقديم التفسيرات أسفل الرسم البياني ، ولكن لا أعتقد أنها ستجعل الارتباطات أكثر وضوحًا. في النهاية ، الذكريات شخصية ، تعيش داخل الرأس. إذا كنت ترغب في جمع مجموعة من الأفكار ذات الصلة بتجربتك الخاصة ، فأنت تحتاج فقط إلى إنشاء جدولك الخاص من الجمعيات المجانية. أوصي بشدة بهذا: قد تجد أنك لا تعرف أنك تعرف أي شيء.

---

الهدف من نزولي اليومي إلى أسفل التل في بيركلي هو معهد سيمونز ودورة النظرية الحاسوبية ، حيث أشارك في برنامج لمدة فصل دراسي واحد عن الدماغ والحساب. مثل هذه البيئة تثير أفكار الأفكار. بدأت أفكر: كيف يمكننا بناء نموذج حسابي لعملية الارتباط الحر؟ من بين المهام المختلفة المقترحة لحلها بواسطة الذكاء الاصطناعي ، تبدو هذه المهمة بسيطة للغاية. ليست هناك حاجة لترشيد عميق. كل ما نحتاج لمحاكاة هو مجرد أحلام اليقظة والتجول في الغيوم - هذا ما يفعله الدماغ عندما لا يتم تحميله. يبدو أن مثل هذه المهمة سهلة الحل ، أليس كذلك؟

الفكرة الأولى التي تأتي إلى رأسي (على الأقل إلى رأسي) فيما يتعلق ببنية هذا النموذج الحسابي هي الحركة العشوائية على طول الرسم البياني الرياضي أو الشبكة. عقد الشبكة هي عناصر مخزنة في الذاكرة - الأفكار والحقائق والأحداث - والاتصالات هي أنواع مختلفة من الارتباطات بينها. على سبيل المثال ، يمكن توصيل عقدة الفراشة بعثة ، كاتربيلر ، عاهل وأم لؤلؤة ، وكذلك مع التحولات المذكورة في الجدول الزمني الخاص بي ، وربما يكون لها اتصالات أقل وضوحًا ، على سبيل المثال ، الزحف الأسترالي "،" جمبري "،" محمد علي "،" بلاجرا "،" خنق " و " خوف المرحلة " . ستحتوي بنية بيانات المضيف على قائمة بالمؤشرات لجميع هذه المضيفات ذات الصلة. يمكن ترقيم المؤشرات من 1 إلى n ؛ سيقوم البرنامج بإنشاء رقم عشوائي زائف في هذا الفاصل الزمني والانتقال إلى العقدة المقابلة ، حيث سيبدأ الإجراء بأكمله مرة أخرى.

تعكس هذه الخوارزمية بعض الخصائص الأساسية للارتباطات الحرة ، ولكن الكثير منها لا يؤخذ في الاعتبار. يفترض النموذج أن جميع العقد المستهدفة محتملة بنفس القدر ، وهو ما يبدو غير قابل للتصديق. لمراعاة الاختلاف في الاحتمالات ، يمكننا أن نسأل كل حافة $$$i$ الوزن $$$w_i$ ، ثم اجعل الاحتمالات متناسبة مع الأوزان.

والأكثر تعقيدًا هو حقيقة أن الأوزان تعتمد على السياق - على التاريخ الحديث للنشاط العقلي البشري. إذا لم يكن لدي مزيج من السيدة روبنسون وجاكي روبنسون ، هل أفكر في جو دي ماجيو؟ والآن ، عندما أكتب هذا ، يتذكر Joltin 'Joe (الاسم المستعار Di Maggio) مارلين مونرو ، ثم Arthur Miller ، ومرة ​​أخرى لا يمكنني إيقاف قطار الفكر. لاستنساخ هذا التأثير في نموذج الكمبيوتر ، ستكون هناك حاجة إلى بعض آلية التنظيم الديناميكي لاحتمالات فئات كاملة من العقد اعتمادًا على العقد الأخرى التي تمت زيارتها مؤخرًا.

يجب عليك أيضًا مراعاة تأثيرات الحداثة من نوع مختلف. يجب العثور على شريط مطاطي في النموذج ، مما يسحبني باستمرار إلى Simon and Garfunkel و Ms. روبنسون ربما ، يجب إضافة كل موقع تمت زيارته مؤخرًا إلى قائمة خيارات الهدف ، حتى إذا لم يكن متصلاً بأي شكل من الأشكال بالموقع الحالي. من ناحية أخرى ، الإدمان هو أيضًا احتمال: في كثير من الأحيان تصبح الأفكار التي تم تذكرها مملة ، لذلك يجب قمعها في النموذج.

اختبار أخير آخر: بعض الذكريات ليست حقائق أو أفكارًا معزولة ، بل أجزاء من القصة. لديهم بنية سردية تتكشف الأحداث حسب الترتيب الزمني. بالنسبة لعقد مثل هذه الذكريات العرضية ، تكون الحافة التالية ، وربما السابقة ، مطلوبة. هذه السلسلة من الأضلاع توحد حياتنا كلها ، بما في ذلك كل ما تتذكره.

---

هل يمكن لنموذج حسابي مماثل إعادة إنتاج تجولي الذهني؟ سيكون جمع البيانات لمثل هذا النموذج عملية طويلة إلى حد ما ، وهذا ليس مفاجئًا ، لأنني استغرقت عمري لملء جمجمتي بتداخل الأعشاب ومعاطف الأسلحة وسيمونز وروبنسونز وهوفمانز. أكثر بكثير من كمية البيانات ، أنا أهتم بجدية خوارزمية اجتياز الرسم البياني. من السهل جدًا أن تقول: "اختر عقدة وفقًا لمجموعة الاحتمالات المرجحة" ، ولكن عندما أنظر إلى التفاصيل القذرة لتنفيذ هذا الإجراء ، لا يمكنني أن أتخيل أن شيئًا كهذا يحدث في الدماغ.

فيما يلي أبسط خوارزمية أعرفها للاختيار الموزون العشوائي. (هذه ليست الطريقة الأكثر كفاءة لهذه الخوارزميات ، ولكن الطرق أكثر فوضوية. كتب كيث شوارتز تعليماً ومراجعة ممتازين حول هذا الموضوع.) لنفترض أن بنية البيانات التي تحاكي عقدة الشبكة تتضمن قائمة من الروابط إلى العقد الأخرى وقائمة الأوزان المقابلة . كما هو موضح في الشكل أدناه ، يقوم البرنامج بتوليد عدد من الأوزان المتراكمة: $$ . الخطوة التالية هي تطبيع هذه السلسلة بقسمة كل رقم على مجموع الأوزان. الآن لدينا سلسلة من الأرقام $$$p_i$ تزداد رتابة من صفر إلى وحدة. بعد ذلك ، يقوم البرنامج بتحديد رقم حقيقي عشوائي $$$x$ من الفاصل الزمني $$$[0، 1)$ ؛ $$$x$ يجب أن يكون في أحد الفواصل الزمنية المقيسة $$$p_i$ وهذه القيمة $$$i$ يحدد العقدة التالية القابلة للتحديد.


في رمز لغة برمجة جوليا ، يبدو إجراء اختيار العقدة كما يلي:

function select_next(links, weights) total = sum(weights) cum_weights = cumsum(weights) probabilities = cum_weights / total x = rand() for i in 1:length(probabilities) if probabilities[i] >= x return i end end end 

أصف هذه التفاصيل المملة للمبالغ المتراكمة والأرقام العشوائية الزائفة ببطء شديد للتأكيد بهذه الطريقة بحيث لا تكون خوارزمية اجتياز الرسم البياني بهذه البساطة كما تبدو للوهلة الأولى. وما زلنا لم نفكر حتى الآن في موضوع تغير الاحتمالات بسرعة ، على الرغم من أن انتباهنا يتحول من موضوع إلى آخر.

من الأصعب فهم عملية التعلم - إضافة عقد وحواف جديدة إلى الشبكة. أنهيت جلسة جمعياتي الحرة عندما جئت إلى سؤال لا أستطيع الإجابة عليه: ما اسم الفراشة بالروسية؟ ولكن الآن يمكنني الإجابة عليه. في المرة التالية التي ألعب فيها هذه اللعبة ، سأضيف كلمة babochka إلى القائمة. في نموذج حسابي ، يعد إدراج عقدة لكلمة babochka مهمة بسيطة إلى حد ما ، ولكن يجب أيضًا توصيل العقدة الجديدة بجميع عقد الفراشة الموجودة. علاوة على ذلك ، تضيف بابوشكا نفسها أضلاعًا جديدة. وهي قريبة صوتياً من بابوشكا (الجدة) - إحدى الكلمات الروسية العديدة في القاموس. اللاحقة -ochka صغيرة جدًا ، لذلك يجب أن ترتبط بالفرنسية -ette والإيطالية -ini . المعنى الحرفي لكلمة بابوشكا هو "الروح الصغيرة" ، مما يعني ضمناً وجود عدد أكبر من الجمعيات. بعد كل شيء ، قد يتطلب تعلم كلمة جديدة واحدة إعادة فهرسة كاملة لشجرة المعرفة بأكملها.

---

لنجرب طريقة أخرى. نسيان اجتياز شبكة بشكل عشوائي مع السباغيتي من المؤشرات إلى العقد. بدلاً من ذلك ، دعنا نخزن جميع الأشياء المماثلة في الحي. من وجهة نظر بنوك ذاكرة الكمبيوتر الرقمية ، هذا يعني أنه سيتم تخزين أشياء مماثلة في العناوين المجاورة. هنا جزء من الذاكرة الافتراضية تتمحور حول مفهوم الكلب . الأماكن المجاورة مشغولة بعبارة أخرى ، المفاهيم والفئات التي من المرجح أن يكون سببها فكرة كلب ( كلب ): قطة واضحة (قطة) وجرو (جرو) ، سلالات مختلفة من الكلاب والعديد من الكلاب المحددة (سكيبي هو كلب عائلتنا ، والذي كان في طفولتي) ، وربما جمعيات أكثر تعقيدًا. يحتوي كل عنصر على عنوان رقمي. العنوان ليس له أي معنى عميق ، ولكن من المهم أن يتم ترقيم جميع خلايا الذاكرة بالترتيب.

العنوان	المحتويات
19216805	إله
19216806	الكلب الذي لم ينبح في الليل
19216807	سكيبي
19216808	لاسي
19216809	الكلاب
19216810	قطة
19216811	كلب
19216812	جرو
19216813	الذئب
19216814	الكهف canem
19216815	كلب الباسط
19216816	فايمرانر
19216817	عقائدي

يمكن أن تكون مهمة التجول بسهولة حول هذه المجموعة في الذاكرة بسيطة للغاية. قد يجتاز عناوين الذاكرة بشكل عشوائي ، ولكن سيتم منح الميزة لخطوات صغيرة. على سبيل المثال ، يمكن تحديد العنوان التالي الذي تمت زيارته عن طريق أخذ العينات من توزيع عادي يتمحور حول الموقع الحالي. هنا هو رمز جوليا. ( randn() بإرجاع رقم حقيقي عشوائي تم الحصول عليه من توزيع عادي بقيمة متوسط $$$\ mu = 0$ والانحراف المعياري $$$\ sigma = 1$ .)

 function gaussian_ramble(addr, sigma) r = randn() * sigma return addr + round(Int, r) end 

مثل هذا المخطط له ميزات جذابة. ليست هناك حاجة لجدولة جميع العقد المستهدفة المحتملة قبل اختيار واحدة منها. لا يتم تخزين الاحتمالات كأرقام ، ولكن يتم ترميزها حسب الموضع في الصفيف ، ويتم تعديلها أيضًا بواسطة المعلمة $$$\ سيجما$ ، الذي يحدد إلى أي مدى يريد الإجراء التحرك في الصفيف. على الرغم من أن البرنامج لا يزال يؤدي العمليات الحسابية لأخذ عينات من التوزيع الطبيعي ، فمن المرجح أن تكون هذه الوظيفة حلاً أبسط.

ولكن مع ذلك ، فإن هذا الإجراء له عيب مرعب. بعد أن أحاط الكلب بكل جمعياته المباشرة ، لم نترك مجالًا لجمعياتهم. مصطلحات الكلاب جيدة في سياقها الخاص ، ولكن ماذا عن القط من القائمة؟ أين نضع هريرة ونمر وتسعة أرواح وفيليكس ؟ في صفيف أحادي البعد ، لا توجد طريقة لتضمين كل عنصر ذاكرة في بيئة مناسبة.

لذلك دعونا ننتقل إلى بعدين! بتقسيم العناوين إلى مكونين ، نحدد محورين متعامدين. يصبح النصف الأول من كل عنوان الإحداثي $$$y$ والإحداثية الثانية $$$x$ . لا يزال الكلب والقط جيران قريبين ، ولكن لديهم أيضًا مساحات شخصية يمكنهم اللعب فيها مع "أصدقائهم".


ومع ذلك ، لا يكفي قياسين أيضًا. إذا حاولنا ملء جميع العناصر المتعلقة بالقطة في القبعة ، فستبدأ حتمًا في الاصطدام والتضارب مع العناصر ذات الصلة من الكلب التي لم تنبح في الليل . من الواضح أننا بحاجة إلى المزيد من الأبعاد - أكثر من ذلك بكثير.

---

الآن هي اللحظة المناسبة للاعتراف - لست أول من يفكر في كيفية ترتيب الذكريات في الذاكرة. يمكن أن تبدأ قائمة أسلافي مع أفلاطون ، الذي قارن الذاكرة مع طائر. نحن نتعرف على الذكريات من ريشها ، ولكن في بعض الأحيان يكون من الصعب علينا الحصول عليها إذا بدأت ترفرف في زنزانة جمجمتنا. كتب اليسوعي ماتيو ريتشي في القرن السادس عشر عن "قصر الذاكرة" الذي نتجول فيه عبر الغرف والممرات المختلفة بحثًا عن كنوز الماضي. عادة ما تكون النظريات الحديثة للذاكرة أقل تخيلًا ، ولكنها أكثر تفصيلاً وتهدف إلى الانتقال من الاستعارة إلى الآلية. أنا شخصياً أكثر ما يعجبني هو النموذج الرياضي الذي حصل عليه بينتي كانيرفا في الثمانينيات ، والذي يعمل الآن في مركز ريدوود لعلم الأعصاب النظري هنا في بيركلي. توصل إلى فكرة الذاكرة الموزعة المتفرقة ، والتي سأطلق عليها SDM. يطبق بنجاح الهندسة المذهلة للمساحات عالية الأبعاد.

تخيل مكعب في ثلاثة أبعاد. إذا افترضنا أن طول الضلع يساوي وحدة القياس ، عندئذ يمكن الإشارة إلى ثمانية نواقل بواسطة نواقل من ثلاثة أرقام ثنائية ، بدءًا من $$$000$ وتنتهي $$ . في أي قمة ، يؤدي تغيير جزء واحد من المتجه إلى نقلنا إلى القمة التي هي أقرب جار. يؤدي تغيير وحدتين من البتات إلى نقلنا إلى أقرب جار قريب ، ويؤدي استبدال كل البتات الثلاثة إلى الزاوية المقابلة للمكعب - إلى أقصى مسافة بعيدة.


يعمل المكعب رباعي الأبعاد بطريقة مماثلة - $$ تتم الإشارة إلى القمم بواسطة المتجهات التي تحتوي على جميع مجموعات الأرقام الثنائية ، بدءًا $$ وتنتهي $$ . هذا الوصف معمم بالفعل $$$N$ أبعاد حيث كل رأس $$$N$ بت تنسيق ناقلات. إذا قمنا بقياس المسافة وفقًا لمقياس مانهاتن - تتحرك دائمًا على طول حواف المكعب ولا تقطع قطًا على طول القطر - فستكون المسافة بين أي متجهين هي عدد المواضع التي يختلف فيها متجهان للإحداثيات (تُعرف أيضًا باسم مسافة هامينج). (بالنسبة إلى OR الحصري ، عادة ما يُستخدم رمز ، الذي يُسمى أحيانًا كعكة . وهو يعرض عملية XOR كعملية إضافة ثنائية 2. تفضل Kanerva ∗ أو ⊗ على أساس أن دور XOR في العمليات الحسابية عالية الأبعاد يشبه الضرب أكثر من الإضافة . قررت التخلص من هذا التناقض باستخدام الرمز & veebar ؛ - طريقة بديلة لكتابة XOR ، مألوفة بين المنطقيين. هذا تعديل للرمز ∨ - بما في ذلك OR. ومن المريح أنه أيضًا رمز XOR في برامج Julia.) وبالتالي ، الوحدة قياس المسافة هو بت واحد ، وحساب المسافة هو مهمة لمشغل OR الحصري الثنائي (XOR ، & veebar؛) ، مما يمنحنا قيمة للبتات مختلفة $$$1$ ، وللأزواج المتطابقة - القيمة $$$0$ :

 0 ⊻ 0 = 0 0 ⊻ 1 = 1 1 ⊻ 0 = 1 1 ⊻ 1 = 0 

تطبق دالة جوليا لقياس المسافة بين القمم وظيفة XOR على متجهي إحداثيات وترجع الكمية كنتيجة لذلك. $$$1$ .

 function distance(u, v) w = u ⊻ v return count_ones(w) end 

متى $$$N$ تكبر بعض الخصائص الغريبة $$$N$ -مكعب. تأمل $$ المكعب الأبعاد $$$2 ^ {1000}$ القمم. إذا اخترنا رأسيه عشوائياً ، فما هي المسافة المتوقعة بينهما؟ على الرغم من أن هذا سؤال يتعلق بالمسافة ، ولكن يمكننا الإجابة عليه دون الخوض في الهندسة - هذه مجرد مهمة لحساب المواضع التي يتم فيها تمييز متجهين ثنائيين. بالنسبة للمتجهات العشوائية ، من المحتمل أن تكون كل بتة متساوية $$$0$ أو $$$1$ لذلك ، من المتوقع أن تختلف المتجهات في نصف مواضع البتات. في حالة $$ المسافة القياسية ناقلات بت هو $$ بت. هذه النتيجة لا تفاجئنا. ومع ذلك ، تجدر الإشارة إلى أن جميع المسافات بين المتجهات متراكمة بشكل وثيق حول متوسط ​​القيمة 500.


في حالة $$ -bit المتجهات تقريبا جميع أزواج مختارة عشوائيا على مسافة من $$ من قبل $$ قليلا. في عينة من مائة مليون زوج عشوائي (انظر الرسم البياني أعلاه) ، لا يوجد أحد منهم أقرب من $$ قليلا أو أبعد من $$ قليلا. لا شيء في حياتنا في مساحة منخفضة الدقة أعدنا لمثل هذا التراكم في الاحتمالات في متوسط ​​المسافة. هنا على الأرض ، يمكننا العثور على مكان سنكون فيه وحدنا تمامًا ، عندما يكون جميعهم تقريبًا على بعد بضعة آلاف من الكيلومترات ؛ ومع ذلك ، لا توجد طريقة لإعادة توزيع سكان الكوكب بحيث يكون الجميع في نفس الوقت في مثل هذه الحالة. ولكن في $$ الفضاء الأبعاد ، الوضع هو فقط.

وغني عن القول أنه من الصعب أن نتخيل $$ المكعب ثلاثي الأبعاد ، ولكن يمكننا الحصول على القليل من الفهم الحدسي للهندسة ، على سبيل المثال ، خمسة أبعاد. يوجد أدناه جدول لجميع إحداثيات القمم في مكعب ثلاثي الأبعاد لأبعاد الوحدة ، مرتبة وفقًا لمسافة هامينغ من نقطة البداية $$$00،000$ . تقع معظم القمم (20 من أصل 32) على مسافات متوسطة - بتان أو ثلاث بتات. سيكون للجدول نفس الشكل في أي قمة أخرى يتم أخذها كنقطة بداية.


اعتراض خطير على كل هذه المناقشات. $$ المكعبات الأبعاد هي أنه لا يمكننا أبدًا بناء شيء كهذا ؛ في الكون لا توجد ذرات كافية لبنية $$$2 ^ {1000}$ أجزاء. لكن Kanerva يشير إلى أننا بحاجة إلى مساحات لتخزين العناصر التي نريد تخزينها فقط. يمكننا تصميم معدات لأخذ عينات عشوائية ، على سبيل المثال $$$10 ^ 8$ القمم (كل منها له $$ عنوان بت) وترك بقية المكعب مع بنية تحتية شبحية غير مكتملة. يدعو Kanerva مجموعة فرعية من القمم الموجودة في الخلايا الصلبة "الأجهزة" (المواقع الصعبة) . كثير من $$$10 ^ 8$ ستظل الخلايا الصلبة العشوائية تظهر نفس توزيع المسافة المضغوطة مثل المكعب الكامل ؛ هذا هو بالضبط ما هو موضح في الرسم البياني أعلاه.

يعطينا العزلة النسبية لكل قمة في مكعب عالي الحجم تلميحًا بميزة واحدة محتملة للذاكرة الموزعة المتفرقة: العنصر المخزن لديه مساحة كافية ويمكن توزيعه على مساحة شاسعة دون إزعاج جيرانه. هذه حقا ميزة مميزة لـ SDM ، ولكن هناك شيء آخر.

---

في ذاكرة الكمبيوتر التقليدية ، يتم تعيين العناوين وعناصر البيانات المخزنة 1-1. العناوين هي أعداد صحيحة ترتيبية لنطاق ثابت ، دعنا نقول $$$[0، 2 ^ {64})$ . يحدد كل عدد صحيح في هذا النطاق مكانًا منفصلاً في الذاكرة ، ويرتبط كل مكان بعنوان واحد بالضبط. بالإضافة إلى ذلك ، يتم تخزين قيمة واحدة فقط في كل مكان ؛ عند كتابة قيمة جديدة ، يتم استبدال القيمة القديمة.

SDM تنتهك كل هذه القواعد. لديها مساحة عنوان ضخمة - ليس أقل $$$2 ^ {1000}$ - ولكن لا يوجد سوى جزء صغير وعشوائي من هذه الأماكن ككيانات مادية ؛ هذا هو السبب في أن الذاكرة تسمى متفرقة . لا يتم تخزين جزء واحد من المعلومات في مكان واحد فقط في الذاكرة ؛ يتم توزيع العديد من النسخ على المنطقة - وبالتالي يتم توزيعها . علاوة على ذلك ، في كل عنوان منفصل يمكن تخزين العديد من عناصر البيانات في نفس الوقت. أي أن المعلومات تنتشر على مساحة واسعة ، وتضغط في نقطة واحدة. هذا الهيكل أيضا يطمس التمييز بين عناوين الذاكرة ومحتويات الذاكرة. في كثير من الحالات ، يتم استخدام نمط البت المخزن كعنوان خاص به. أخيرًا ، يمكن للذاكرة الاستجابة لعنوان جزئي أو تقريبي ومن المرجح جدًا العثور على العنصر الصحيح. في حين أن الذاكرة التقليدية هي "آلية المطابقة التامة" ، فإن SDM هي "أفضل آلية مطابقة" تُرجع العنصر الأكثر تشابهًا مع العنصر المطلوب.

في كتابها عام 1988 ، تقدم Kanerva تحليلاً كميًا مفصلاً للذاكرة الموزعة المتفرقة مع $$ القياسات و $$ الخلايا الصلبة. يتم تحديد الخلايا الصلبة بشكل عشوائي من المساحة بأكملها. $$$2 ^ {1000}$ ناقلات العناوين الممكنة. تحتوي كل خلية صلبة على مساحة تخزين متعددة $$ ناقلات بت. تم تصميم الذاكرة ككل لتخزين على الأقل $$ أنماط فريدة. أدناه سوف أعتبر هذه الذاكرة كنموذج SDM الكنسي ، على الرغم من حقيقة أنه بمعايير الثدييات ليست كافية ، وفي عمله الجديد ، أكد كانيرفا على المتجهات مع على الأقل $$ القياسات.

هذه هي الطريقة التي تعمل بها الذاكرة في تطبيق كمبيوتر بسيط. يكتب الأمر store(X) متجهًا إلى الذاكرة $$$X$ ، معتبرا أنه عنوان ومحتوى. القيمة $$$X$ مخزنة في جميع الخلايا الصلبة على مسافة معينة $$$X$ . في النموذج القانوني ، تبلغ هذه المسافة 451 بت. وهي تحدد "دائرة الوصول" التي تهدف إلى التوحد في حد ذاتها تقريبًا $$ الخلايا الصلبة وبعبارة أخرى ، يتم تخزين كل متجه تقريبًا $$$1/1000$ واحدة من مليون خلية صلبة.

من المهم أيضًا ملاحظة أن العنصر المخزن $$$X$ لا تختار بالضرورة من $$ نواقل ثنائية عناوين الخلايا الصلبة. على العكس. $$$X$ قد يكون أي من $$$2 ^ {1000}$ الأنماط الثنائية الممكنة.

افترض أن ألف نسخة مكتوبة بالفعل إلى SDM $$$X$ ، وبعد ذلك يصل عنصر جديد $$$Y$ ، والتي تحتاج أيضًا إلى تخزينها في مجموعتها الخاصة من آلاف الخلايا الصلبة. بين هاتين المجموعتين قد يكون هناك تقاطع - الأماكن التي $$$X$ و $$$Y$ . لا تحل القيمة الجديدة محل القيمة السابقة أو تحل محلها ؛ يتم حفظ كلتا القيمتين. عندما تكون الذاكرة ممتلئة بسعتها $$ يتم حفظ كل واحد منهم $$ مرات ، وفي تخزين الخلايا الصلبة النموذجية سيتم تخزينها $$ أنماط فريدة.

السؤال الآن: كيف نستخدم هذه الذاكرة المختلطة؟ على وجه الخصوص ، كيف نحصل على القيمة الصحيحة $$$X$ دون التأثير $$$Y$ وجميع العناصر الأخرى التي تراكمت في مكان واحد للتخزين؟

ستستخدم خوارزمية القراءة خاصية التوزيع الغريب للمسافات في مساحة عالية الأبعاد. حتى لو $$$X$ و $$$Y$ هم أقرب الجيران من $$ الأنماط المخزنة ، ستختلف على الأرجح بمقدار 420 أو 430 بت ؛ لذلك ، فإن عدد الخلايا الصلبة التي يتم فيها تخزين كلتا القيمتين صغير جدًا - عادةً ما يكون أربعة أو خمسة أو ستة. الأمر نفسه ينطبق على جميع الأنماط الأخرى التي تتقاطع مع $$$X$ . هناك الآلاف منهم ، ولكن لا يوجد أحد الأنماط المؤثرة في أكثر من بضع نسخ داخل دائرة الوصول $$$X$ .

يجب أن يُرجع الأمر fetch(X) القيمة المكتوبة مسبقًا بواسطة الأمر store(X) . الخطوة الأولى في إعادة بناء القيمة هي جمع كل المعلومات المخزنة داخل دائرة الوصول 451 بت التي تتمحور حول $$$X$ . منذ ذلك الحين $$$X$ تم تسجيله مسبقًا في جميع هذه الأماكن ، يمكننا التأكد من أننا سنستقبل $$ نسخه. سنتحدث أيضا $$ نسخ من ناقلات أخرى مخزنة في أماكن تتقاطع فيها دوائر الوصول مع الدوائر $$$X$ . ولكن بما أن التقاطعات صغيرة ، فإن كل من هذه المتجهات موجودة في نسخ قليلة فقط. ثم بشكل عام كل منهم $$ من المرجح أن يكون $$$0$ أو $$$1$ . إذا قمنا بتطبيق دالة مبدأ الأغلبية على جميع البيانات التي تم جمعها في كل موضع بت ، فستكون النتيجة مسيطرة على النتيجة $$ نسخ $$$X$ . احتمالية الاختلاف عن $$$X$ تكون النتيجة متساوية تقريبًا $$$10 ^ {- 19}$ .

يتم عرض إجراء مبدأ الأغلبية بمزيد من التفصيل أدناه على مثال صغير لخمس ناقلات بيانات كل منها 20 بت. سيكون الناتج متجهًا مختلفًا ، يعكس كل جزء منه معظم البتات المقابلة في ناقلات البيانات. (إذا كان عدد نواقل البيانات متساوٍ ، فإن "السحوبات" مسموح بها عن طريق الاختيار العشوائي $$$0$ أو $$$1$ .) يرفض نظام الكتابة والقراءة البديل الموضح أدناه تخزين جميع الأنماط بشكل فردي. بدلاً من ذلك ، يقوم بتخزين العدد الإجمالي للبتات. $$$0$ و $$$1$ في كل موقف. الخلية الصلبة لها $$ بت عداد تمت تهيئته بواسطة كافة الأصفار. عند كتابة نموذج في مكانه ، تزداد قيمة كل عداد بت $$$1$ أو نقصان $$$0$ . تنظر خوارزمية القراءة ببساطة إلى علامة كل عداد بت ، وهي تعود $$$1$ لقيمة موجبة ، $$$0$ للقيمة السالبة والعشوائية عندما تكون بت العداد متساوية $$$0$ .


مخططات التخزين هذه تعطي نتائج متطابقة.

---

من حيث الحوسبة ، يبدو هذا الإصدار من الذاكرة الموزعة المتفرقة مثل نكتة مدروسة بعناية. لنتذكر $$ العناصر التي نحتاجها مليون خلية صلبة ، حيث سنقوم بتخزين ألف نسخة زائدة عن الحاجة من كل نمط. لاسترداد عنصر واحد فقط من الذاكرة ، نقوم بجمع البيانات حسب $$ حفظ أنماط وتطبيق آلية مبدأ الأغلبية لكشفها. ويتم كل هذا بمساعدة مجموعة من المناورات البهلوانية فقط للحصول على الناقل الذي لدينا بالفعل. الذاكرة التقليدية تعمل بشكل عشوائي أقل بكثير: كل من الكتابة والقراءة في مكان واحد.

لكن SDM يمكنها أن تفعل ما تعجز عنه الذاكرة التقليدية. على وجه الخصوص ، يمكنه استخراج المعلومات بناءً على بيانات جزئية أو تقريبية. دعنا نقول متجه $$$Z$ هو نسخة تالفة $$$X$ التي تغيرت $$ من $$ ناقلات.نظرًا لأن المتجهين متشابهان ، fetch(Z)سيزور الفريق العديد من الأماكن نفسها حيث يتم تخزينها$$$X$ . بمسافة هامينج 100 ، يمكننا أن نتوقع ذلك $$$X$ و $$ستتم مشاركة Z بواسطة حوالي 300 خلية صلبة. بفضل هذا التقاطع الكبير ، عاد المتجه(دعنا نسميه$Z$fetch(Z)$$Z ′ ) ستكون أقرب إلى$Z^{\prime}$$$X ما هو$X$$$$Z$ .الآن يمكننا تكرار هذه العملية مع فريق fetch(Z′)سيعيد النتيجة$$Z ′ ′ ، أقرب إلى$Z^{\prime\prime}$$$$X$ . في عدد قليل من التكرارات ، سيصل الإجراء $$$X$ .

أظهر Kanerva أن التسلسل المتقارب لعمليات القراءة العودية سينجح بشكل شبه مؤكد إذا لم يكن النمط الأولي بعيدًا جدًا عن الهدف. بمعنى آخر ، هناك نصف قطر نقدي: أي فحص للذاكرة ، بدءًا من مكان داخل الدائرة الحرجة ، سوف يتقارب تمامًا إلى المركز ، وسيفعل ذلك بسرعة كبيرة. ستفشل محاولة استعادة عنصر مخزّن خارج الدائرة الحرجة ، لأن عملية الاسترجاع العودية ستنتقل بعيدًا إلى متوسط ​​المسافة. يوضح تحليل Kanerv أنه بالنسبة لـ SDM الكنسي ، يبلغ نصف القطر الحرج 209 بت. بعبارة أخرى ، إذا كنا نعرف حوالي 80 بالمائة من البتات ، فيمكننا إعادة إنشاء النمط بأكمله.

يتتبع الرسم التوضيحي أدناه تطور تسلسل الذكريات العودية بإشارات المصدر بخلاف الهدف. $$$X$ على $$$0, 5, 10, 15 \dots 1000$ . في هذه التجربة ، تبدأ جميع التسلسلات بالمسافة $$205 أو أقل تتلاقى$205$$$X لـ$X$$$10 أو أقل من التكرارات(آثار زرقاء). تتجول جميع التسلسلات التي تبدأ على مسافة أولية أكبر بلا هدف عبر مساحات شاسعة فارغة$10$$$مكعب بحجم 1000 ، يتبقى حوالي 500 بت من أي مكان.$1000$


إن الانتقال من المسارات المتقاربة إلى المسارات المتباينة غير واضح تمامًا ، وهذا ملحوظ في الرسم البياني الممزق الموضح أدناه. هنا قمنا بالتكبير لإلقاء نظرة على مصير المسارات التي تبدأ بالتعويضات$$175 ، 176 ، 177 ، ... 225 بت. يشار إلى جميع نقاط البداية ضمن 209 بت من الهدف باللون الأزرق ؛ بدءًا من مسافة أطول باللون البرتقالي. تتقارب معظم المسارات الزرقاء ، وتتحرك بسرعة إلى مسافة صفر ، بينما لا تتجاور معظم المسارات البرتقالية. ومع ذلك ، على مقربة من المسافة الحرجة ، هناك العديد من الاستثناءات.$175, 176, 177, \dots 225$


يوضح الرسم البياني أدناه نظرة أخرى على كيفية تأثير المسافة الأولية من الهدف على احتمالية التقارب مع عنوان الذاكرة الصحيح. على مسافة$$ينجح 170 بت في كل المحاولات تقريبًا ؛ في$170$$$240 جميعهم تقريبًا فاشلون. يبدو أن نقطة التقاطع (التي يكون فيها النجاح والفشل محتملين بنفس القدر) تقع تقريبًا$240$$$203 بت ، أقل بقليل من نتيجة كانيرفا ، تساوي$203$$$$209$ . (لا يوجد شيء غامض في هذا التناقض. في حسابات Kanerv ، من المفترض أن تحد دائرة الوصول تمامًا $$1000 خلية صلبة. يتم تضمين جميع الخلايا الصلبة في المسافة في تجربتي.$1000$$$ص ≤ 451 ؛ في المتوسط ​​هناك$r \le 451$$$1070 مثل هذه الأماكن.)$1070$

---

إن القدرة على إعادة تكوين الذكريات من المعلومات الجزئية هي عنصر مألوف في حياة الإنسان. لاحظت ممثلاً في برنامج تلفزيوني ، وتفهم أنك رأيته من قبل ، لكنك لا تتذكر أين. بعد بضع دقائق ، يظهر الفجر عليك: هذا هو السيد بيتس من Downton Abbey ، ولكن بدون زي خادم. اجتماع خريجي المدرسة الثانوية: النظر إلى رجل أصلع ضيق على الجانب الآخر من الغرفة ، هل يمكنك التعرف عليه كصديق كنت تعرفه فقط كمراهق في السراويل الرياضية؟ في بعض الأحيان يتطلب الأمر الكثير من الجهد لملء الفجوات. لقد كتبت بالفعل عن "البقعة العمياء" الخاصة بي التي لا يمكن تفسيرها في ذكرى الوستارية المتنامية ، والتي لم أتمكن من تسميتها إلا بعد تصفح بصبر من خلال كتالوج من الروائح المزيفة: الكوبية ، لويزة ، فورسيثيا.

هل يمكن لقدرتنا على استعادة الذكريات من الإدخال غير المكتمل أو الصاخب أن تعمل مثل عملية متكررة لتذكر المتجهات عالية الأبعاد؟ قد تكون هذه فرضية جذابة ، ولكن هناك أسبابًا للقلق منها. على سبيل المثال ، يبدو أن الدماغ قادر على استخراج المعنى من إشارات أكثر هشاشة. لست بحاجة للاستماع إلى أربعة أخماس "السيمفونية الخامسة" للتعرف عليها ، الملاحظات الأربعة الأولى كافية. وميض اللون في الأشجار على الفور يجعلك تتذكر الأنواع المقابلة من الطيور - الكاردينال ، والأزرق ، والكاردويلز. أعيد أنفاسي برائحة غبار الطباشير تعيدني إلى فصل دراسي خانق نعسان ، رسمت فيه لمدة نصف يوم في مكتبي. يتم تشغيل هذه الذكريات بواسطة أجزاء صغيرة من المعلومات التي تمثلها ، أقل بكثير من 80 في المائة.

يذكر Kanerva ميزة أخرى للذاكرة البشرية يمكن نمذجتها باستخدام SDM: ظاهرة "تدور عند طرف اللسان" ، وجوهرها أنك تعرف أنك تعرف شيئًا ، على الرغم من أنه لا يمكنك تسميته على الفور. هذا الشعور غامض نوعًا ما: إذا لم تتمكن من العثور على ما كنت تبحث عنه ، فكيف يمكنك أن تعرف أنه مخزّن في الدماغ؟ تقدم لنا عملية الاسترجاع العودية من SDM إجابة محتملة. عندما تصبح الأنماط المتتالية التي يتم استرجاعها من الذاكرة أقرب إلى بعضها البعض باستمرار ، يمكننا أن نتأكد بشكل معقول من أنها ستلتقي إلى الهدف حتى قبل أن تصل إليه.

في محاولات استخلاص حقيقة عنيدة من الذاكرة ، يجد الكثير من الناس أن الطرق المستمرة على نفس الباب ليست استراتيجية حكيمة. بدلاً من طلب إجابات فورية - لقيادة دماغك - غالبًا ما يكون من الأفضل وضع المهمة جانبًا ، أو المشي ، أو أخذ قيلولة قد تأتي الإجابة كما لو أنها غير مدعوة. هل يمكن تفسير هذه الملاحظة من خلال نموذج SDM؟ ربما جزئيا على الأقل. إذا لم يتقارب تسلسل الأنماط المستدعاة ، فقد تثبت دراستها الإضافية أنها غير مثمرة. إذا بدأت مرة أخرى من نقطة مجاورة في مساحة الذاكرة ، يمكنك الوصول إلى نتيجة أفضل. ولكن هناك لغز هنا: كيف يمكن إيجاد نقطة انطلاق جديدة ذات آفاق أفضل؟ قد تعتقد أنه من السهل جدًا استبدال أجزاء قليلة عشوائيًا في نمط الإدخال والأملأنه نتيجة لذلك ، سيكون أقرب إلى الهدف ، لكن احتمال ذلك ضئيل. إذا كان المتجه في$$250 بت من الهدف$250$$$750 بت صحيحة بالفعل (لكننا لا نعرفأيمنها$750$$$750 بت) ؛ مع أي تغيير عشوائي ، لدينا احتمال$750$$$3 / 4 تقترب والذهاب بعيدا إلى أبعد من ذلك. لإحراز تقدم ، تحتاج إلى معرفة الاتجاه الذي يجب التحرك فيه$3/4$$$1000 مساحة الأبعاد هو مسألة معقدة.$1000$

أحد جوانب بنية SDM هو أنه يبدو أنه يتوافق مع تأثير تكرار أو الاستماع إلى الذاكرة. إذا كررت القصيدة عدة مرات أو مارست العزف على مقطوعة موسيقية ، يمكنك توقع أن تتذكرها في المستقبل بسهولة أكبر. يجب أن يُظهر النموذج الحسابي تأثير تدريب مماثل. ولكن هذا غير ممكن في ذاكرة الكمبيوتر التقليدية: لا توجد مزايا لإعادة كتابة نفس القيمة عدة مرات على نفس العنوان. في SDM ، من ناحية أخرى ، يضيف كل تكرار لنمط نسخة أخرى إلى جميع الخلايا الصلبة داخل دائرة الوصول للنمط. ونتيجة لذلك ، يحدث تأثير أقل من الأنماط المتقاطعة ، ويزداد نصف قطر الاستدعاء النقدي. التأثير له تأثير كبير:عند الكتابة إلى ذاكرة نسخة واحدة من النمط ، يزداد نصف القطر الحرج من تقريبًا$$200 بت إلى أكثر من$200$$$$300$ .

وبالمثل ، فإن لعب نمط واحد يمكن أن يجعل من الصعب استعادة الباقي. هذا يذكرنا بالنسيان عندما يملأ نمط مطبوع بنشاط جيرانه ويأسر جزءًا من أراضيهم. يؤثر هذا التأثير أيضًا بشكل كبير على SDM ، لدرجة أنه يبدو غير واقعي. يبدو أن ناقلات مخزنة ثمانية أو عشر مرات تحتكر معظم الذاكرة. يصبح هاجسا ، الإجابة على جميع الأسئلة.

ميزة هامة للذاكرة الموزعة المتفرقة هي مقاومتها لفشل أو أخطاء الأجهزة. سأكون منزعجا إذا ترك فقدان عصبون واحد في دماغي فجوة في ذاكرتي ولم أستطع التعرف على الحرف gأو تذكر كيفية ربط أربطة الحذاء. لا يعاني SDM من هذه الهشاشة. عندما يحتوي كل نمط مخزّن على ألف نسخة ، فلا يهم مكان واحد. وفي الواقع ، يمكنك محو جميع المعلومات المخزنة في 60 في المائة من الخلايا الصلبة ، ولا يزال لديك الاستدعاء المثالي$$10000 ، إذا افترضنا أننا نرسل عنوانًا دقيقًا تمامًا كإشارة. مع الإشارات الجزئية ، ينكمش نصف القطر الحرج مع زيادة البقع المفقودة. بعد تدمير 60 بالمائة من المواقع ، يتم ضغط نصف القطر الحرج باستخدام$10000$$$200 + بت تقريبًا$200+$$$150 بت. بعد تدمير 80 بالمائة من الأماكن ، تضررت الذاكرة بشكل خطير ، لكنها لم تتلف.ماذا عن الطفو في الغيوم؟ هل يمكننا أن نتجول في مروج ذاكرة متفرقة موزعة ، تقفز بالثروة من نمط مخزّن إلى آخر؟ سأعود إلى هذا السؤال.$150$

---

تمت كتابة معظم ما سبق قبل بضعة أسابيع. في ذلك الوقت ، قرأت عن نظريات الذاكرة المتنافسة المختلفة وناقشت مزاياها مع الزملاء من معهد سيمونز. لقد كتبت أفكاري حول هذا الموضوع ، لكني أجلت نشرها بسبب الشكوك المستمرة: هل فهمت رياضيات الذاكرة المتفرقة المتفرقة بشكل صحيح؟ الآن أنا سعيد لأنني لست في عجلة من أمري.

انتهى برنامج الدماغ والحوسبة في مايو. غادر المشاركون: عدت إلى نيو إنجلاند ، حيث المريمية وإكليل الجبل نباتات بوعاء صغيرة ، وليس شجيرات مورقة معلقة فوق المسارات. صباحي يسير إلى حرم بيركلي ، أصبحت الفرص اليومية للتفكير في طبيعة الذاكرة والتعلم ، "إنغرامز" مخزنة في مكان ما في رأسي (ومع ذلك ، ما زلت لا أعرف أين أبحث عنها).

ومع ذلك ، لم أتخلى عن بحثي. بعد مغادرة بيركلي ، واصلت القراءة عن نظريات الذاكرة. قمت أيضًا بكتابة برامج لدراسة الذاكرة الموزعة المتفرقة لـ Pentti Canerva وأفكارها الأكثر شمولاً حول "الحوسبة الفائقة السرعة". حتى لو فشل هذا المشروع في الكشف عن أسرار الذاكرة البشرية ، فإنه بالتأكيد سيعلمني شيئًا عن الفن الرياضي والحسابي للملاحة في الأماكن عالية الأبعاد.

يوضح الرسم البياني أدناه الطريقة "الصحيحة" لتنفيذ SDM ، كما أفهمها. العنصر الرئيسي هو مصفوفة متقاطعة ، حيث تتوافق الصفوف مع خلايا الذاكرة الصلبة ، وتحمل الأعمدة إشارات تحاكي البتات الفردية لمتجه الإدخال. هناك مليون سطر في الذاكرة الأساسية ، يتم تعيين كل منها بشكل عشوائي$$عنوان 1000 بت و$1000$$$1000 عمود يتكون هذا الإصدار التجريبي من 20 صفًا و 8 أعمدة.$1000$


تتمثل العملية الموضحة في الرسم التخطيطي في تخزين متجه إدخال واحد في ذاكرة فارغة. تتم مقارنة ثمانية بتات إدخال في وقت واحد مع جميع عناوين الخلايا الصلبة العشرين. عندما يتزامن بت الإدخال وبت العنوان - صفر مع صفر أو واحد مع واحد - نضع نقطة عند تقاطع العمود والصف. ثم نحسب عدد النقاط في كل سطر ، وإذا كان الرقم يساوي قيمة العتبة أو يتجاوزها ، فإننا نكتب متجه الإدخال في السجل المرتبط بهذا الخط (الحقول الزرقاء) . في مثالنا ، تكون قيمة العتبة 5 ، وفي 8 من أصل 20 عنوانًا هناك 5 تطابقات على الأقل. في$$ستكون قيمة حد الذاكرة 1000 بت متساوية$1000$$$451 ، وسيتم اختيار حوالي واحد فقط من كل السجلات.$451$

إن سحر هذه العمارة هو أن جميع المقارنات - وهناك مليار منها في النموذج القانوني - تحدث في وقت واحد. لذلك ، لا يعتمد وقت الوصول للقراءة والكتابة على عدد الخلايا الصلبة ويمكن أن يكون صغيرًا جدًا. يتم استخدام مثل هذا الترتيب العام ، المعروف باسم الذاكرة الترابطية أو ذاكرة معالجة المحتوى ، في بعض مجالات الحوسبة ، مثل تمكين أجهزة الكشف عن الجسيمات في مصادم هادرون الكبير وإرسال الحزم عبر أجهزة التوجيه على الإنترنت. ويمكن أن يرتبط مخطط الدائرة ببعض هياكل الدماغ. يشير Kanerva إلى أن المخيخ يشبه إلى حد كبير مثل هذه المصفوفة. الخطوط هي خلايا Purkinje مسطحة على شكل مروحة ، يتم جمعها مثل صفحات الكتاب ؛ الأعمدة هي ألياف متوازية تمتد عبر جميع خلايا Purkinje. (ومع ذلك ، فإن المخيخ ليس منطقة في دماغ الثدييات ،حيث يعتقد أن الذاكرة المعرفية موجودة.)

سيكون من الرائع بناء محاكاة SDM على أساس هذه البنية المتقاطعة ؛ لسوء الحظ ، لا أعرف كيفية تنفيذه على أجهزة الكمبيوتر تحت تصرفي. في المعالج التقليدي ، لا توجد طرق لمقارنة كل بت الإدخال في نفس الوقت مع بتات الخلايا الصلبة. بدلاً من ذلك ، يجب أن أذهب عبر مليون خلية صلبة على التوالي ، ومقارنة آلاف البتات في كل مكان. هذا يصل إلى مليون مقارنات لكل عنصر يتم تخزينه أو استرجاعه من الذاكرة. أضف إلى هذا الوقت لكتابة أو قراءة مليون بت (آلاف النسخ)$$متجه 1000 بت) ، وستحصل على عملية بطيئة إلى حد ما. هنا هو الرمز لحفظ ناقلات:$1000$

 function store(v::BitVector) for loc in SDM if hamming_distance(v, loc.address) <= r write_to_register!(loc.register, v) end end end 

يستغرق هذا التنفيذ حوالي ساعة لحصر الذاكرة باستخدام $$10000 أنماط محفوظة. (يتوفر البرنامج الكامل في شكل دفتر ملاحظات Jupyterعلى GitHub.)هل هناك خوارزمية أفضل لمحاكاة SDM على الأجهزة العادية؟ تسمح إحدى الإستراتيجيات الممكنة بتجنب البحث المتكرر لمجموعة من الخلايا الصلبة داخل دائرة الوصول لناقل معين ؛ بدلاً من ذلك ، عند كتابة متجه لأول مرة في الذاكرة ، يقوم البرنامج بتخزين مؤشر لكل مكان من الأماكن التي يتم تخزينها فيه. في المستقبل ، مع أي إشارة إلى نفس المتجه ، يمكن أن يتبع البرنامج$10000$

$$1000 مؤشر محفوظ ، ولا تفحص مجموعة كاملة من مليون خلية صلبة. سعر مخطط التخزين المؤقت هذا هو الحاجة إلى تخزين كل هذه المؤشرات - في SDM الأساسي$1000$$$10 مليون. هذا حقيقي تمامًا ، وقد يستحق ذلك إذا كنت ترغب في تخزين واسترداد القيم المعروفة تمامًا فقط. ولكن فكر فيما يحدث استجابة لطلب ذاكرة تقريبي مع استدعاء عودي$10$$$$Z^{\prime}$ و $$$Z^{\prime\prime}$ و $$Z ′ ′ ′ وهكذا. لن يتم العثور على أي من هذه القيم الوسيطة في ذاكرة التخزين المؤقت ، لذلك ستظل هناك حاجة لإجراء مسح كامل لجميع الخلايا الصلبة.ربما هناك طريقة أكثر صعوبة لقطع الطريق. في مقال مراجعة أخير ، "البحث عن أقرب جار تقريبًا بأبعاد عالية" بقلم ألكسندر أندوني ، وبيتر إنديك وإيليا رازنشتاين ، تم ذكر تقنية مثيرة للاهتمام تسمى التجزئة الحساسة المحلية (التجزئة بناءً على المنطقة المحلية) ، ولكن حتى الآن لا أفهم تمامًا كيفية تكييفها مع مهمة SDM.$Z^{\prime\prime\prime}$

---

إن القدرة على استعادة الذكريات من الإشارات الجزئية هي سمة إنسانية مؤلمة في النموذج الحسابي. ربما يمكن توسيعه لتوفير آلية معقولة للتجول الخامل حول أروقة العقل ، حيث يؤدي أحد الأفكار إلى الآخر.

اعتقدت في البداية أنني أعرف كيف يمكن أن يعمل هذا. نمط SDM المخزن$$يخلق X منطقة جذب حول نفسه حيث تتلاقى أي دراسة تعاودية للذاكرة تبدأ من نصف قطر حرج إلى$X$$$$X$ . في $$10000 من هؤلاء الجاذبين ، يمكنني أن أتخيل كيف يقسمون مساحة الذاكرة إلى مصفوفة من الوحدات الفردية مثل رغوة فقاعة الصابون عالية الحجم. تشغل مساحة كل عنصر مخزن مساحة منفصلة ، محاطة من جميع الجوانب بمناطق أخرى ومتاخمة لها ، مع حدود واضحة بين المجالات المجاورة. لدعم هذا الاقتراح ، يمكنني أن أرى أن متوسط ​​نصف القطر لمنطقة الجذب ، عند إضافة محتويات جديدة إلى الذاكرة ، مضغوط ، كما لو كانت الفقاعات مضغوطة بسبب الازدحام.$10000$

تقترح مثل هذه الرؤية للعمليات داخل SDM طريقة بسيطة للانتقال من مجال إلى آخر: تحتاج إلى التبديل العشوائي لعدد كاف من بتات الناقل لنقله من الجذب الحالي إلى المجال المجاور ، ثم تطبيق خوارزمية الاسترجاع العودية. سيؤدي تكرار هذا الإجراء إلى إنشاء اجتياز عشوائي للعديد من الموضوعات المخزنة في الذاكرة.

المشكلة الوحيدة هي أن هذا النهج لا يعمل. إذا قمت بفحصها ، فسوف تتجول بلا هدف$$1000 شبكة الأبعاد ، ولكننا لن نجد أي شيء مخزنة هناك. تعتمد الخطة بأكملها على فهم بديهي خاطئ لهندسة SDM. لايتمتعبئةناقلات المخزنة مع مناطق الجذب الخاصة بهابإحكام مثل فقاعات الصابون ؛ على العكس من ذلك ، فهي مجرات معزولة معلقة في عالم شاسع وحر ، مفصولة بمساحات ضخمة من الفضاء الفارغ بينهما. توضح الحسابات الموجزة الطبيعة الحقيقية للموقف. في النموذج الكنسي ، فإن نصف القطر الحرج الذي يحدد منطقة الجذب يساوي تقريبًا$1000$$$$200$ . حجم منطقة واحدة ، يقاس بعدد المتجهات في الداخل

$$

$$sum_{k = 1}^{200} \binom{1000}{k}$$

وهو ما يعادل تقريبا $$$10^{216}$ . لذلك كل شيء $$$10000$ المناطق تحتل الحجم $$$10^{220}$ . هذا رقم كبير ، لكنه لا يزال جزءًا صغيرًا $$$1000$المكعب الأبعاد. من بين جميع رؤوس المكعب فقط$$$1$ من $$$10^{80}$تقع ضمن 200 بت من النمط المحفوظ. يمكنك التجول إلى الأبد دون التعثر في أي من هذه المناطق.

(إلى الأبد؟ أوه ، نعم ، نعم ، قد لا يكون إلى الأبد. نظرًا لأن المكعب الزائد هو هيكل محدود ، فإن أي طريقة من خلاله يجب أن تصبح عاجلاً أو آجلاً بشكل دوري ، أو تقع في نقطة ثابتة لا يخرج منها مطلقًا ، أو تضيع في دورة متكررة المتجهات المخزنة هي نقاط ثابتة ، بالإضافة إلى ذلك ، هناك العديد من النقاط الثابتة الأخرى التي لا تتوافق مع أي نمط هام. بدوره.)

في محاولة لإنقاذ هذه الفكرة السيئة ، أجريت العديد من التجارب. في حالة واحدة ، قمت بشكل تعسفي بحفظ العديد من المفاهيم ذات الصلة بالعناوين المجاورة ("المجاورة" ، أي
ضمن 200 أو 300 بت). ربما في هذه المجموعة ، يمكنني القفز بأمان من نقطة إلى أخرى. ولكن في الواقع ، يتم تكثيف المجموعة بأكملها في منطقة واحدة كبيرة من الجاذبية للنمط المركزي ، والتي تصبح ثقبًا أسودًا يمتص جميع رفاقه. كما حاولت اللعب بالقيمة$$$r$(نصف قطر دائرة الوصول لجميع عمليات القراءة والكتابة). في النموذج القانوني$$$r = 451$ .اعتقدت أن الكتابة إلى دائرة أصغر قليلاً أو القراءة من دائرة أكبر قليلاً ستترك مساحة كافية للعشوائية في النتائج ، ولكن هذا الأمل لم يتحقق أيضًا.

استندت كل هذه المحاولات إلى سوء فهم للمساحات المتجهة عالية الأبعاد. محاولة العثور على مجموعات من القيم المجاورة في المكعب الزائد أمر ميئوس منه ؛ تكون الأنماط المخزنة متباعدة جدًا في الحجم. كما أن الإنشاء العشوائي لمجموعات كثيفة لا طائل من ورائه ، لأنه يدمر الممتلكات التي تجعل النظام مثيرًا للاهتمام - القدرة على الاندماج في عنصر مخزن من أي مكان في منطقة الجذب المحيطة. إذا أردنا إنشاء خوارزمية تجول سحابية لـ SDM ، فإننا نحتاج إلى ابتكار طريقة أخرى.

---

في البحث عن آلية بديلة لتدفق الوعي ، يمكنك محاولة إضافة القليل من نظرية الرسم البياني إلى عالم الذاكرة الموزعة المتفرقة. ثم يمكننا الرجوع خطوة إلى الوراء ، إلى الفكرة الأصلية للتجول العقلي في شكل المشي العشوائي حول الرسم البياني أو الشبكة. يتبين أن العنصر الأساسي لتضمين هذه الرسوم البيانية في SDM هو أداة مألوفة بالنسبة لنا: عامل تشغيل OR حصري.

كما ذكر أعلاه ، يتم حساب مسافة Hamming بين متجهين بأخذ أحادي بت XOR وحساب الوحدات الناتجة. لكن عملية XOR لا تقدم فقط المسافة بين متجهين ، ولكن أيضًا معلومات أخرى ؛ كما أنه يحدد اتجاه أو اتجاه الخط الذي يربطهم. على وجه الخصوص ، العملية$$$u \veebar v$ يعطي متجه يسرد البتات التي تحتاج إلى تغيير لتحويل $$$u$ في $$$v$والعكس صحيح. يمكن أيضًا إدراكه$$$1$ و $$$0$ في متجه XOR كتسلسل من الاتجاهات التي يجب عليك اتباعها لتتبع المسار من $$$u$ من قبل $$$v$ .

لطالما كان XOR المفضل لدي لجميع وظائف Boolean. هذا عامل اختلاف ، ولكن على عكس الطرح ، XOR متماثل:$$$u \veebar v = v \veebar u$ .علاوة على ذلك ، XOR هي وظيفتها العكسية. من السهل فهم هذا المفهوم بالوظائف بحجة واحدة:$$$f(x)$ هي وظيفتها العكسية إذا $$$f(f(x)) = x$، أي بعد تطبيق الوظيفة مرتين ، يمكننا العودة إلى حيث بدأنا. بالنسبة للدالة ذات الوسيطتين ، مثل XOR ، يكون الوضع أكثر تعقيدًا ، ولكن لا يزال صحيحًا أن أداء نفس الإجراء مرتين يعيد الحالة الأصلية. على وجه الخصوص ، إذا$$$u \veebar v = w$ ثم $$$u \veebar w = v$ و $$$v \veebar w = u$ . ثلاث ناقلات - $$$u$ ، $$$v$ و $$$w$- خلق كون صغير مغلق. يمكنك تطبيق عامل XOR على أي زوج منهم والحصول على العنصر الثالث من المجموعة. فيما يلي محاولة لتوضيح هذه الفكرة. يحاكي كل مربع$$$10000$واصطف ناقلات البت كجدول 100 × 100 بكسل من الضوء والظلام. تبدو الأنماط الثلاثة عشوائية ومستقلة ، ولكن في الواقع ، كل لوحة هي XOR من الاثنين الآخرين. على سبيل المثال ، في المربع الموجود في أقصى اليسار ، يتوافق كل بكسل أحمر مع اللون الأخضر أو ​​الأزرق ، ولكن لا يتوافق مع كليهما.


تخبرنا خاصية العقم الذاتي عن طريقة جديدة لتنظيم المعلومات في SDM. لنفترض أن كلمة فراشة ونظيرتها الفرنسية بابيلون مخزنة في نواقل عشوائية عشوائية. لن يكونا قريبين من بعضهما البعض ؛ من المحتمل أن تكون المسافة بينهما حوالي 500 بت. الآن نحسب XOR لناقلات الفراشة هذه $$$\veebar$ بابيلون . والنتيجة هي ناقل آخر يمكن حفظه أيضًا في SDM. يقوم هذا الناقل الجديد بترميز اتصال إنجليزي - فرنسي . الآن لدينا أداة ترجمة. عند وجود ناقل للفراشة ، نقوم بإجراء XOR له مع ناقل الإنجليزية والفرنسية ونحصل على بابيلون . تعمل الخدعة نفسها في الاتجاه المعاكس.

هذا الزوج من الكلمات والاتصال بينهما يشكلان جوهر الشبكة الدلالية. دعنا نزيدها قليلا. يمكننا حفظ كلمة كاتربيلر في عنوان تعسفي ، ومن ثم حساب الفراشة $$$\veebar$ كاتربيلر وتسمى هذه العلاقة الجديدة بين البالغين والشباب . ما يسمى كاتربيلر بالفرنسية ؟ اليرقة بالفرنسية هي الشنيل . نضيف هذه الحقيقة إلى الشبكة عن طريق تخزين الشنيل في كاتربيلر $$$\veebar$ إنجليزي-فرنسي . حان الوقت للسحر: إذا أخذنا بابيلون $$$\veebar$ الشنيل ، نتعلم أن هذه الكلمات مرتبطة بعلاقة بين البالغين والشباب ، على الرغم من أنها لم توضح ذلك صراحة. يتم فرض هذا القيد من خلال هندسة الهيكل نفسه.


يمكن توسيع الرسم البياني بشكل أكبر عن طريق إضافة المزيد من الكلمات ذات الصلة بالإنجليزية والفرنسية ( dog-chien ، horse-cheval ) أو المزيد من أزواج البالغين والشباب: ( dog-puppy ، tree-sapling ). يمكنك أيضًا استكشاف العديد من العلاقات الأخرى: المرادفات ، والمتضادات ، والأشقاء ، وتأثير السبب ، والفريسة ، وما إلى ذلك. هناك أيضًا طريقة رائعة لربط أحداث متعددة في تسلسل زمني من خلال أداء XOR ببساطة على عناوين السلف وعُقدة العقدة.

طريقة XOR لربط المفاهيم هي مزيج من نظرية الهندسة والرسوم البيانية. في النظرية الرياضية للرسوم البيانية العادية ، لا تعد المسافات والاتجاهات ذات دلالة. الشيء الوحيد المهم هو وجود أو عدم وجود حواف اتصال بين العقد. في SDM ، من ناحية أخرى ، الحافة التي تمثل اتصالًا بين العقد هي ناقل الطول المحدود والتوجيهية في$$$1000$الفضاء الأبعاد. بالنسبة للعقدة والارتباط ، فإن عملية XOR "تربط" هذه العقدة بموضع معين في مكان آخر في المكعب الزائد. الهيكل الناتج صارم تمامًا - لا يمكننا تحريك العقدة دون تغيير جميع الاتصالات التي تشارك فيها. في حالة الفراشات واليرقات ، فإن تكوين أربع عقدة يتحول حتمًا إلى متوازي الأضلاع ، حيث يكون للأزواج على الجانبين المتقابلين نفس الطول والاتجاه.

خاصية فريدة أخرى للرسم البياني المرتبط بعملية XOR هي أن العقد والحواف لها نفس التمثيل بالضبط. في معظم تطبيقات الكمبيوتر للأفكار من نظرية الرسم البياني ، يختلف الكيانان تمامًا ؛ يمكن أن تكون العقدة قائمة من السمات ، ويمكن أن تكون الحافة زوجًا من المؤشرات إلى العقد المتصلة بها. في SDM ، تكون كل من العقد والحواف عبارة عن نواقل عالية الأبعاد يمكن تخزينها بنفس التنسيق.

عند استخدامه كنموذج للذاكرة البشرية ، يمنحنا ربط XOR القدرة على ربط أي مفهومين من خلال أي اتصال يمكننا التفكير فيه. العديد من الروابط في العالم الحقيقي غير متكافئة. ليس لديهم خاصية العقم الذاتي التي تمتلكها XOR. يمكن لمتجه XOR أن يعلن أن إدوارد وفيكتوريا هما الوالد والطفل ، ولكن لا يخبر أيهما هو من. الأسوأ من ذلك ، أن ناقل XOR يربط بين عقدتين تمامًا وليس مرة أخرى أبدًا ، لذا فإن والد العديد من الأطفال يضعنا في وضع غير سار. صعوبة أخرى هي الحفاظ على سلامة جميع فروع الرسم البياني الكبير مع بعضها البعض. لا يمكننا فقط إضافة العقد والحواف بشكل تعسفي. يجب إرفاقها بالرسم البياني بالترتيب الصحيح. سيتطلب إدخال مرحلة خرافية بين الفراشة واليرقة إعادة كتابة معظم النمط ؛سيتعين عليك نقل عدة عقد إلى أماكن جديدة داخل المكعب الزائد وإعادة حساب ناقلات الاتصال التي تربطها ، مع التأكد من أن كل تغيير على الجانب الإنجليزي ينعكس بشكل صحيح على اللغة الفرنسية.

يتم حل بعض هذه المشاكل في تقنية أخرى تعتمد على XOR والتي يطلق عليها Kanerva الحزم. الفكرة هي إنشاء نوع من قاعدة البيانات لتخزين أزواج قيمة السمة. تسجيل للكتاب قد سمات مثل المؤلف ، العنوان و الناشر، يتم إقران كل منها بقيمة مقابلة. المرحلة الأولى من تجميع البيانات هي XOR منفصلة لكل زوج من قيم السمة. ثم يتم دمج المتجهات التي تم الحصول عليها من هذه العمليات لإنشاء ناقل موجز واحد باستخدام نفس الخوارزمية الموضحة أعلاه لتخزين العديد من المتجهات في خلية SDM صلبة. من خلال تنفيذ XOR لاسم السمة مع هذا المتجه المدمج ، نحصل على تقريب للقيمة المقابلة قريبة بما فيه الكفاية لتحديدها بواسطة طريقة الاسترجاع العودية. في تجارب النموذج الكنسي ، وجدت ذلك$$$1000$ يمكن لمتجه البتات تخزين ستة أو سبعة أزواج من قيم السمات دون الكثير من خطر الارتباك.

لم يتم ذكر التجليد والتجميع في كتاب Kanerva لعام 1988 ، لكنه يتحدث عنها بالتفصيل في مقالات أحدث. (انظر قسم "القراءة الإضافية" أدناه). ويشير إلى أنه مع هذين العاملين ، فإن العديد من المتجهات عالية الأبعاد تأخذ بنية المجال الجبرية ، أو على الأقل تقريبًا للحقل. المثال الأساسي للحقل هو مجموعة من الأعداد الحقيقية بدلاً من عمليات الجمع والضرب ، بالإضافة إلى عواملها العكسية. تنشئ الأرقام الحقيقية مجموعة مغلقة تحت هذه العمليات: الجمع أو الطرح أو الضرب أو القسمة لأي رقمين حقيقيين يعطي رقمًا حقيقيًا آخر (باستثناء القسمة على صفر ، وهو دائمًا مهرج في المجموعة). وبالمثل ، يتم إغلاق مجموعة المتجهات الثنائية للربط والتجميع ، باستثناءأنه في بعض الأحيان ، من أجل استعادة عضو في مجموعة ، يجب "مسح" النتيجة المستخرجة من ناقل النطاق بواسطة عملية الاسترجاع العودية.

---

هل يمكن أن يساعدنا الربط والتجميع في الحصول على خوارزمية تجول في السحاب؟ تعطينا الأدوات الأساسية للتنقل في الرسم البياني الدلالي ، بما في ذلك القدرة على اجتياز عشوائي. بدءًا من أي عقدة في الرسم البياني XOR المتصل ، تختار خوارزمية الاجتياز العشوائية من بين جميع الروابط المتاحة في هذه اللدغة. يقودنا اختيار عشوائي لمتجه الاتصال وتنفيذ XOR لهذا المتجه مع عنوان العقدة إلى عقدة أخرى حيث يمكن تكرار الإجراء. وبالمثل ، في أزواج "قيمة السمة" للحزمة ، تستدعي السمة المختارة عشوائيًا القيمة المقابلة ، والتي تصبح العقدة التالية قيد البحث.

ولكن كيف تعرف الخوارزمية العلاقات أو الخوارزميات المتاحة للاختيار؟ يتم تمثيل العلاقات والصفات في شكل ناقلات ويتم تخزينها في الذاكرة مثل أي أشياء أخرى ، لذلك لا توجد طرق واضحة للحصول على هذه المتجهات إلا إذا كنت تعرف ما هي حقًا. لا يمكننا أن نقول ذكرى "إظهار جميع الاتصالات". يمكننا فقط إظهار النمط والسؤال "هل هناك مثل هذا المتجه؟ هل رأيت شيئا مثل هذا؟ "

في ذاكرة الكمبيوتر التقليدية ، يمكننا الحصول على ملف تفريغ للذاكرة: اذهب إلى جميع العناوين وقم بعرض القيمة الموجودة في كل مكان. ولكن بالنسبة للذاكرة الموزعة لا يوجد مثل هذا الإجراء. هذه الحقيقة الكئيبة أعطيت لي بصعوبة. عند بناء النموذج الحسابي لـ SDM ، تمكنت من الحصول على ما يكفي للحصول على القدرة على تخزين عدة آلاف من الأنماط العشوائية في ذاكرتي. لكنني لم أستطع استخراجها لأنني لم أكن أعرف ماذا أطلب. كان الحل هو إنشاء قائمة منفصلة خارج SDM نفسها ، حيث سيتم كتابة كل ما أقوم بحفظه. لكن الافتراض بأن الدماغ كان سيحتفظ بكل من الذاكرة ومؤشر هذه الذاكرة يبدو بعيد المنال. لماذا لا تستخدم الفهرس فقط ، لأنه أسهل بكثير؟

بسبب هذا القيد ، يبدو أن الذاكرة الموزعة المتفرقة مجهزة لخدمة الحواس ، وليس الخيال. يمكنه التعرف على الأنماط المألوفة وحفظ أنماط جديدة سيتم التعرف عليها في الاجتماعات المستقبلية حتى من الإشارات الجزئية أو التالفة. بفضل الربط أو التجميع ، يمكن للذاكرة أيضًا تتبع الروابط بين أزواج العناصر المخزنة. لكن كل شيء مكتوب في الذاكرة لا يمكن استرجاعه إلا بإرسال إشارة مناسبة.


عندما أنظر إلى ملصق الدراسات العليا ، أرى داستن هوفمان ينظر إلى ساق آن بانكروفت في الجورب. يثير هذا الحافز البصري مجموعات فرعية من الخلايا العصبية في القشرة الدماغية ، تقابل ذكريات الممثلين والشخصيات والمؤامرة والموسيقى التصويرية و 1967. يمكن تفسير كل نشاط الدماغ هذا من خلال بنية ذاكرة SDM ، إذا افترضنا أن مجموعات فرعية من الخلايا العصبية يمكن تمثيلها في بعض الأشكال المجردة كمتجهات ثنائية عشوائية طويلة. لكن لا يمكن للمرء أن يفسر بسهولة حقيقة أنه يمكنني إحداث نفس الأحاسيس في الدماغ دون رؤية هذه الصورة. كيف يمكنني استخراج هذه التسلسلات العشوائية الطويلة على وجه التحديد من تشابك متجهات كبيرة ، دون معرفة مكانها بالضبط؟

---

بهذا نختتم رحلتي الطويلة - ملحوظة من الشك وخيبة الأمل. بالكاد يفاجئك أنني لم أستطع الوصول إلى الجوهر. هذا موضوع معقد للغاية.

في اليوم الأول من برنامج الدماغ والحوسبة في معهد سيمونز ، سأل جيف ليختمان ، الذي عمل على تتبع دائرة التبديل في دماغ الفأر ، السؤال: هل وصل علم الأعصاب بالفعل إلى لحظة واتسون-كريك؟ في علم الوراثة الجزيئي ، وصلنا إلى النقطة التي تمكنا فيها من إزالة حبلا DNA من خلية حية وقراءة العديد من الرسائل الموجودة فيه. يمكننا حتى تسجيل رسائلنا الخاصة وإدخالها مرة أخرى في الجسم. من القدرات المماثلة في علم الأعصاب دراسة أنسجة الدماغ وقراءة المعلومات المخزنة فيه - المعرفة والذكريات ووجهات النظر العالمية. ربما يمكننا حتى كتابة المعلومات مباشرة إلى الدماغ.

العلم لم يقترب حتى من تحقيق هذا الهدف ، لفرحة الكثيرين. بما فيهم أنا: لا أريد أن يتم سحب أفكاري من رأسي من خلال الأقطاب الكهربائية أو الماصات واستبدالها بـ #fakenews. ومع ذلك ، أريد حقًا أن أعرف كيف يعمل الدماغ.

لقد أذهلني برنامج معهد سيمونز بالنجاح الأخير لعلم الأعصاب ، لكنه جعلني أدرك أيضًا أن أحد أخطر الأسئلة لا يزال دون إجابة. يقوم Lichtmann ومشاريع الاتصال الخاصة بالآخرين بإنشاء خريطة تفصيلية لملايين الخلايا العصبية واتصالاتها. تسمح لنا تقنيات التسجيل الجديدة بالاستماع إلى الإشارات المنبعثة من الخلايا العصبية الفردية ومتابعة موجات الإثارة عبر مناطق واسعة من الدماغ. لدينا كتالوج شامل إلى حد ما لأنواع الخلايا العصبية ونعرف الكثير عن علم وظائفهم والكيمياء الحيوية. كل هذا مثير للإعجاب ، ولكن لا تزال هناك الألغاز. يمكننا تسجيل الإشارات العصبية ، ولكن في الغالب لا نعرف ما تعنيه. لا نعرف كيف يتم تشفير المعلومات وتخزينها في الدماغ. هذا مشابه لمحاولة فهم مخطط الدائرة للكمبيوتر الرقمي دون معرفة الحساب الثنائي والمنطق المنطقي.

نموذج الذاكرة الموزعة المتفرقة لـ Pentti Canerva هو محاولة واحدة لملء بعض هذه الفجوات. هذه ليست المحاولة الوحيدة. البديل الأكثر شهرة هو نهج جون هوبفيلد - مفهوم الشبكة العصبية كنظام ديناميكي ، يأخذ شكل جاذب يقلل الطاقة. لهاتين الفكرتين مبادئ أساسية مشتركة: تنتشر المعلومات عبر عدد كبير من الخلايا العصبية ويتم تشفيرها في شكل غير واضح للمراقب الخارجي ، حتى أنه سيصل إلى جميع الخلايا العصبية والإشارات التي تمر عبرها. توجد مخططات مماثلة ، وهي في الأساس رياضية وحاسوبية ، من الناحية المفاهيمية في الوسط بين علم النفس رفيع المستوى والهندسة العصبية منخفضة المستوى. تحتوي هذه الطبقة على القيمة.

Plate, Tony. 1995. Holographic reduced representations. IEEE Transactions on Neural Networks 6(3):623–641. PDF

Plate, Tony A. 2003. Holographic Reduced Representation: Distributed Representation of Cognitive Structure . Stanford, CA: CSLI Publications.