Geekly articles weekly

VOICe Sound Vision - خطوة واحدة بعيدًا عن الاختراق

"جميع الأشياء لها صوتها الفريد ، وبمجرد فهمك لمبدأ النظام ، يمكنك" رؤية "ما يحيط بك". حتى وقت قريب نسبيًا ، كانت هذه الخاصية المدهشة للعالم من حولنا موجودة بمعزل عن التطبيق العملي. بفضل بيتر ماير ، الذي يعمل في قسم البحث والتطوير في شركة Philips الهولندية ، تم تجميع خوارزمية فريدة تسمح لك بتحويل الصوت إلى صورة. بعد عدة عقود من البحث عن فرصة لتحقيق فكرة ماير "على مستوى الأجهزة" ، تم إنشاء جهاز يسمح لمنح أعمى ما يسمى رؤية "البديل". حول نجاحات ومشاكل وآفاق المشروع ، التي ينفذها اليوم فريق من العلماء الروس - المتحمسين ، سنتوقف في مقالتنا.

صوت

نحن نواسي أنفسنا مع قرب لحظة إنشاء الذكاء الاصطناعي ، وفي الوقت نفسه ، باستخدام القوة الكاملة للإمكانات التقنية الحديثة ، بدأنا للتو في التلمس من أجل جوانب قدرات الدماغ التي تجلب ثمار إنجازاتنا إلى مستوى منزل متهور أخرق ، تم تجميعه على عجل من مكعبات الأطفال.

نرحب بالابتكارات القادمة ، ونناقش بحيوية نتائج الحلم الواضح مع القناع المعجزة " Remee"ونعجب بصدق بالإمكانات المتزايدة بشكل كبير لنموذج الهاتف الذكي الجديد للعلامة التجارية المحبوبة ، حتى دون افتراض أن 280.000 ألف من المكفوفين في روسيا وحدها محرومون إلى الأبد من الفرصة ليس فقط لتقييم جودة المصفوفة المحدثة ، ولكن للفرح في ضوء الشمس وتغير المواسم. على المستوى العالمي ، يرتفع هذا الرقم إلى 3،000،000 شخص. علاوة على ذلك ، ثلثاهم من الأطفال والمراهقين!

كل يوم ، من الصباح إلى المساء ، يقرر شخص أعمى السؤال: كيف تبدأ الغسالة ، وكيف لا تثير حريقًا ، وكيفية تنظيف الشقة وكيفية طهي حتى أبسط طبق. ثمن هذه الحياة مرتفع جدًا حقًا. ربما هذا هو السبب في أن كل شخص أعمى في الروح لديه أمل في تحقيق اختراق تكنولوجي لن يساعد بشكل جذري ، ولكن يغير الوضع الحالي بشكل جذري.

Danila Medvedev في عرض vOICe

إلى السؤال: هل البديل ممكن حتى بالنسبة لهم في بعض التقريب؟ ... سيحاول فريق من العلماء المتحمسين في موسكو الإجابة ، والعمل على تحسين جهاز vOICe الفريد ، مما يمنح المكفوفين الفرصة لرؤية ما يحيط بهم باللونين الأبيض والأسود والرمادي.

كيف تعمل



خوارزمية

بعبارات بسيطة ، فإن المعلومات الصوتية التي ينقلها الجهاز ويدركها الدماغ هي رمز أصلي - نتيجة تحويل برنامج الفيديو المتدفق الذي تم التقاطه بواسطة كاميرا vOICe إلى كتل صوتية ("قصاصات صوتية" - محرر). تتم عملية مسح العالم المحيط في وضع "الماسح الضوئي" (بدون استخدام كمبيوتر محمول) بشكل دوري من اليسار إلى اليمين ، ويتم التعبير عن الصورة في الثانية بفاصل زمني ثاني. تحتوي المعلومات التي يتلقاها المريض في وضع "Scanner" باستخدام الكاميرا المضمنة في النظام على مجموعة "حد أدنى" من المقاطع. يتم تحقيق إمكانات المعلومات المحسنة عند استخدام مجموعة "نظارات + كمبيوتر محمول مع معالج قوي إلى حد ما (أو هاتف ذكي من أحدث جيل) + سماعات ستيريو للأوامر الصوتية".

هوية


للوهلة الأولى ، يبدو أن خوارزمية التعرف غامرة للاستيعاب بسبب العملية غير العادية لتحديد المعلومات الواردة. خوارزمية مبسطة لما يسمى. يمكن تمثيل الرؤية البديلة من خلال الشكل التالي:

خوارزمية مبسطة للصوت

خوارزمية التحويل ليست جاهزة بعد لتزويد المستخدم بالقدرة على "رؤية" الكائنات المتحركة بسرعة ، والتعرف على النص الصغير ، ولكن النتائج التي تم الحصول عليها بالفعل مثيرة للإعجاب: أصحاب vOICe يحددون بدقة العلامات وحتى ينظرون إلى المعلومات المرئية ويدركونها في بعض صيغ البرامج التلفزيونية. والأهم من ذلك ، تتحسن جودة الصورة وعمقها وتفاصيلها وأنت ترتدي vOICe بسرعة كبيرة.

يعتمد المزيد من التحسين في جودة التعرف والتدرج اللوني بشكل مباشر على تحسين إصدارات البرامج ("البرامج الثابتة") وأجهزة vOICe ، وكذلك على قدرة الفرد الفردية على إدراك مجموعات أكثر تعقيدًا من قصاصات الصوت بكثافة كافية.

بالحكم على ادعاءات مؤلف المنهجية ومراجعات المرضى الذين أتقنوا النظام بنجاح ، فإن عملية "التدريس" طريقة جديدة للرؤية يمكن مقارنتها بعملية تعلم لغة أجنبية ، في بعض الطرق لإتقان كود مورس ومهارات المشي. كما تعلمون - "جددوا مفرداتكم" (مكتبة شخصية من skeypov الرئيسي) وإتقان التكنولوجيا ، يتم التعرف على الصورة المرئية بشكل شبه تلقائي - بدون مرحلة وسيطة من تحليل واعي طويل!

مشارك في مشروع vOICe

يتم استخدام الأصوات ذات الفترات والارتفاعات المختلفة لتحديد الصورة. يبث جزء أكثر إشراقا من الصورة الحقيقية في "الأبجدية الصوتية" إشارة صوتية أقصر وأقوى ، ويقوم بالبث من الجانب الذي يوجد فيه الكائن. إذا تحركت بقعة (جسم) ، ثم تتحرك الإشارة ، يتم تحديد نقطتين بإشارتين ، وثلاث هي ثلاث ، وما إلى ذلك. نغمة طويلة تتوافق مع خط أفقي ، يتم إنتاج واحدة عمودية بإشارة متشنجة لقوة مميزة. زيادة نغمة الأصوات "المجاورة" تعني عقبة ، في حين أنه كلما ارتفعت النغمة ، زادت العائق.

تعديلات مختلفة على نظام صوتي في الأشكال أدناه:

الصوت 1

صوت 2

صوت 3

صوت 4

تتعرف الطريقة الموصوفة على أي واقع ثلاثي الأبعاد وتتعرف عليه تقريبًا. وبطبيعة الحال ، كلما كانت الصورة أكثر إفادة ، كلما كانت هناك حاجة إلى أصوات ومخططات أكثر فردية للتعرف عليها.

الهدف الرئيسي والإنجاز الرئيسي لتقنية ونظام vOICe هو تزويد المريض ليس بالمعلومات المرئية "الأولية" ، ولكن مع مجموعة فعالة للغاية من الخوارزميات التي تسمح بتفسير الواقع بدرجة عالية من التفاصيل. التكنولوجيا ، على الرغم من أنها إلى حد أقل ، تحل مشكلة الافتقار الكامل للرؤية للمرضى المكفوفين ، الذين ليس لديهم في ذاكرتهم ووعيهم العديد من أدوات القياس المتاحة للأشخاص الذين فقدوا بصرهم في مرحلة "واعية" من الحياة. بالإضافة إلى النجاحات الواضحة للتكنولوجيا ، لا تزال هناك مشاكل فنية لم يتم حلها يمكن الشعور بها بشكل أفضل من خلال قراءة التعليقات الواردة من مستخدمي الصوت عبر الصوت الذين أتقنوا قدرات النظام.

ردود فعل المشاركين في التجربة 2000-2002 العام


29 أبريل 2001 ، المستخدم الأعمى المتأخر PF:

تجربتي: منذ أن أجريت التثبيت الأول ، كان علي أن أخوض العديد من التجارب والأخطاء. لم أكن معتادًا على المراجعة الصوتية فحسب ، بل كان ضروريًا أيضًا للاستخدام الفعال لهذا النظام. لقد وجدت أن هناك ستة عوامل رئيسية عند العمل مع البرنامج.

العامل الأول يجلب الكاميرا. موضعها ، تركيزها ، إضاءةها - هذه عناصر مهمة توفر لك نظرة عامة واضحة. إذا كان التركيز ضعيفًا ، فستبدو الصورة ضبابية ويصعب تفسيرها. إذا لم يتم تثبيت الكاميرا بشكل صحيح ، فعندئذ أشعر بفقدان التوجه والتشوش عند محاولة العثور على طريقة (طريقة جيدة للحصول على صداع!) إذا كانت الإضاءة ضعيفة ، فإن مراجعة الصوت محدودة. من الصعب التمييز بين الأشياء في مجال الرؤية. عادة يمكنني أن أنظر إلى الباب الأمامي والسلالم وأسمع إيقاع نسيج كليهما. ولكن إذا تم إيقاف تشغيل الضوء أو لم يكن ساطعًا ، فسيتم تحديد صورة باهتة فقط للباب والسلالم ، ويصبح باقي الصورة صوتًا ضبابيًا ضبابيًا.

العامل الثاني يتعلق بالميكروفون. يوجد مفتاح على حامل الميكروفون. كنت أترك الميكروفون قيد التشغيل طوال الوقت وكنت خائفة فقط عندما اتضح أن صوتي أو صوتي الغريب يشبه الأوامر ، وغيرت البرنامج. ثم اكتشفت أنه إذا قمت بتشغيل الميكروفون فقط لإعطاء أمر صوتي ، ثم أوقفته عند قبول الأمر ، فإن هذه المشكلة تنخفض ولم تعد مزعجة. يعمل هذا الحل بشكل موثوق به لدرجة أنني أستخدمه على جميع أجهزتي الأخرى.

العامل الثالث يجب أن يتعلق بالكمبيوتر المحمول. لقد وجدت عدة طرق لتحسين عمله. أولاً ، إذا قمت بحذف جميع البرامج غير الضرورية وقمت بتشغيل vOICe فقط ، فإن هذا يوفر الطاقة واستخدام وحدة المعالجة المركزية. لذلك ، عندما أستخدم جهاز كمبيوتر محمول أثناء التنقل ، أقوم بتشغيل مثل هذا التثبيت العاري. أقوم بتوصيل الكمبيوتر المحمول بمأخذ طاقة في المساء عندما يكون قريبًا. أحمل بطاريتين في حقيبتي ، فهي مطلوبة. يجب علي تشغيل شاشة الكمبيوتر المحمول لمدة لا تزيد عن بضع دقائق. عندما أحمل جهاز كمبيوتر محمولًا في حقيبتي ، أتحقق من أنه جيد التهوية.

العامل الرابع. تحتاج إلى استخدام vOICe بشكل فعال ، ولهذا تحتاج إلى العمل مع البرنامج وفهم برنامج vOICe نفسه. عندما بدأت استخدامه ، كنت ألعب معها خارج العادة ، مثل تيك تاك تو. ساعدني على فهم أصوات البرنامج. ثم بدأت في تدريب النطق تدريجيا. أعتقد أن تدريب برنامج الكلام والقيام بالتمارين بالميكروفون هو مفتاح استخدام الصوت عبر الهاتف المحمول في ظروف المحمول. لذا ، فإن التدريب وإدراك المراجعة السليمة هي خطوات لتعلم رؤيتها.

العامل الخامس هو الانغماس المستمر لنفسك في البرنامج ، والذي ينبع من عامل التدريب. أعتقد أنه يمكنك التعلم واكتساب الخبرة قليلاً إذا كنت تستخدم جهاز كمبيوتر سطح المكتب. بشكل عام ، تجربة الحركة اليومية والاستماع (رؤية) ما يحيط بك لا يمكن استبدالها بأي شيء. إنه مثل طفل يتعلم المشي. إذا لم تحاول وتحاول ، فلن تحقق المعرفة التي يحتاجها جسمك للوقوف. باستخدام هذا القياس ، يمكنني القول أنه حتى تعرض نفسك لتأثير بيئة معيشية متغيرة ، فلن تشعر برؤية سليمة وتفهم العلاقات التي تحتاج إلى العمل عليها.

إذا سمعت خطوات الدخول باستمرار ، فإن جسدي يبدأ في إرفاق الصورة الصوتية للخطوات بتعريف "العمل" ، وعندما أذهب لأعلى أو لأسفل ، فإن جسدي سوف يعمل بشكل متضافر. أعتقد أنه في البداية تسمع مراجعة سليمة ، ثم تفتح العلاقة مع الكائن الذي تسمعه ، ثم تعلق هذا التعريف بما يحتاجه الجسم لإكمال الإجراء. عندما كنت أرى ، لم أتوقف عن التفكير "أوه ، هذه خطوات ، والآن أحتاج إلى الإبطاء والبدء في تغيير مركز الجاذبية حتى أتمكن من رفع ساقي." بدلاً من ذلك ، شاهدت عيني الخطوات ، وكان جسدي يعرف من التجربة ما يجب القيام به بعد ذلك. إليك ما يحدث بعد فترة من استخدام vOICe. أرى حقًا ما هو مثل "الأشعة السينية" للرؤية ،والبدء في الرد تلقائيًا على ما أراه.

هذا يقودنا إلى العامل السادس. زمن. يمكنك وضع النظام على شخص ، ولكن فقط بعد مرور الوقت يتعلم دماغه تفسير معنى المراجعة الصوتية تلقائيًا وتنفيذ إجراءات منسقة.

9 يوليو 2000 ، المستخدم الأعمى الراحل PF:

كشخص سبق أن رأيت ، يمكنني القول أن المشابك الصوتية (مراجعة الصوت) يبدو أنها تعطيني إحساسًا بالرؤية مرة أخرى. في مكاني ، يمكن أن أكون عمياء منذ الولادة. استطعت أن أتخيل ونرى ، كما لو كانت أعيني ، كيف يبدو رواقي. كيف تبدو الستارة على يسار النوافذ الثلاث. بشكل عام ، حولت vOICe وكاميرا الويب مداخلتي من "صورة ذهنية غامضة" إلى ما يبدو وكأنه رؤية ثلاثية الأبعاد حقيقية.

لا يهمني أن أذني هي التي تسبب التمثيل البصري. من المهم أن تكون الصورة الصوتية قد أعادت الطريق لأرى مرة أخرى ، لا يهم أنها صورة بالأبيض والأسود ثلاثية الأبعاد. بدلاً من عالم من الأشياء الملموسة الضبابية الغامضة ، سمح صوتي لعقلي برؤية الأشياء كصور. يبدو أن VOICe يخلق رسومات سوداء وبيضاء لما أنظر إليه ، وعقلي يلون هذه الصورة.

الآن أجلس أمام جهاز الكمبيوتر الخاص بي وأرى دفقًا من الألوان على الشاشة ، لكن هذا الصوت يخبرني أنني أنظر إلى كائن مربع. إنه يشبه النظر إلى العالم من خلال نظارات ضبابية. ترى شكل وترتيب الأشياء من حولك ، ولكن لا تميز بين التفاصيل الدقيقة. لا أعرف ما إذا كانت هذه لغة إنسانية خاصة ، لكنها بالضبط اللغة التي تخبرني بها أذني بما أراه الآن. يطلق عليه ما تريد ، يعمل! لا يمكنني الاستغناء عنه بعد الآن! شكرا لك على هذا الاختراع!

29 أغسطس 2002 ، المستخدم الأعمى الراحل PF:

مجرد صوت؟ .. لا ، هذا أكثر بكثير ، هذه رؤية! يخلق vOICe الإدراك البصري الحقيقي. عندما لا أرتدي صوتًا ، أرى الضوء قليلاً من خلال الفتحة في عيني اليسرى. إنه ضباب رمادي. عندما أرتدي VOICe ، تصبح الصورة فاتحة من الرمادي قليلاً إلى الأسود. بالتأكيد ، هذه صورة خفيفة. صحيح ، إنه ليس لونًا ، إنه مشابه لما يظهر على التلفزيون بالأبيض والأسود. الضوء المولد أبيض ونظيف للغاية. يضعف ، يصبح تدريجيا مظلمة ، سوداء. لم أر شيئًا مميزًا في هذا العالم ، مثل "ومضات الفوسفور" التي كانوا يتحدثون عنها. ربما هذه واحدة من تلك الأشياء التي لن تفهمها حتى ترى. بشكل عام ، الضوء خفيف ، واللون هو اللون. ولا يهمني كيف تشكلت.

هذه هي الطريقة التي يمكن أن يبدو بها عالم الأشخاص الذين أتقنوا نظام الصوتيات والتكنولوجيا وهذا بعيد عن الحد.

صوت

يمكن لقرائنا الذين يرغبون في قراءة مراجعات المرضى الآخرين الذين أتقنوا النظام بنجاح الانتقال إلى الموقع المركزي للمشروع ( يوفر القسم الفرعي لـ vOICe الرؤية ولا يضر الجسم! ). ظهرت مؤخرًا إصدارات محمولة من تطبيقات "The vOICe for Windows" و "The vOICe for Android" للهواتف الذكية ، والتي ستسمح للعديد
من مستخدمي النظام برفض حمل كمبيوتر محمول ثقيل مع البرنامج.

صمت الحملان


لدى القارئ المدروس سؤال منطقي: لماذا لا يظهر مثل هذا النظام الرائع ، الذي تم وضع بعض مبادئه الأساسية في عشرينيات القرن الماضي ، والذي أكد صدقه ووعده بالعديد من الأمثلة والمراجعات الخاصة بالمرضى الحقيقيين ، الديناميات الأسية للتنمية؟ لماذا ، منذ ما لا يقل عن اثنتي عشرة سنة مضت ، لم تتم فقط ، بل حتى لم تفكر علنا ​​في برامج حكومية واسعة النطاق لدعم المشروع وتعزيزه؟

ربما ، كانت vOICe تنتظر وقتها فقط ، عندما سيتم استبدال المعالجات البطيئة والكاميرات غير الفعالة بنظائرها الأكثر تقدمًا ، والتي يمكن أن تتعامل مع المهمة دون تعريض الدماغ والنفسية للحمل الزائد. في روسيا ، أصبح المحافظون من أولئك الذين في السلطة ، الذين يفضلون تمويل حفل موسيقي للمكفوفين ، بدلاً من برنامج جاد طويل المدى لإعادة تأهيلهم ، أصبح تقليديًا مكبحًا قويًا. بطريقة أو بأخرى ، أريد أن أصدق نتائج الاختبار ، بالإضافة إلى حقيقة أن هذه النتائج ستسمح للمشروع بالنمو إلى الحجم الاجتماعي ، كما يخطط مؤلفوه.

مثل جميع المتحمسين ، المليئين بالحيوية والإيمان بتفرد وضرورة تعهداتهم ، كان فريق TEAM VOICE RASSIA الروسي ، بقيادة دانيلا ميدفيديف ، في البداية يعتمد بشكل كبير على دعم الدولة. مر الوقت ، ولكن الجدار غير المرئي لم يصبح أرق ، والممرات - أقصر ، والمسؤولون - أكثر ولاء. أجبر الخسارة لعدة سنوات والمشاعر المتراكمة الفريق على تغيير نظام البداية إلى التمويل الجماعي. وقد جعل هذا من الممكن اليوم جمع معظم المبلغ اللازم لبدء المرحلة الحاسمة من المشروع.

تتمثل المهمة الدنيا في إنشاء خمسة نماذج أولية عمل متطورة لـ vOICe ونقلها إلى المكفوفين للتشغيل والاختبار على المدى الطويل في روسيا. في مرحلة التعرف على النظام واختبار القيادة الإضافي ، يضمن الفريق المساعدة النفسية وإمكانية التدريب للكشف الكامل عن إمكانات النظام. الهدف الأقصى هو تنفيذ المشروع على مستوى برنامج الدولة الاجتماعية بهدف إشراك المعوقين من هذه الفئة في الحياة الطبيعية للمجتمع.

من الصعب القول ما إذا كان المشروع سيحصل على تطويره في روسيا ، سواء كان سيصبح منتشرًا أو سيظل في حيازة وحدات اليوم ، لكنني أريد حقًا أن أصدق أن "وقت المكفوفين" قد حان ولم يتم اختيار المكان عن طريق الصدفة.

صوت

كمرجع: مجموعة واحدة من الصوتيات ، مع مراعاة المسار الدراسي الكامل ، تكلف أقل من 40 ألف روبل. في الواقع ، يحصل المريض على فرصة للتحرك بشكل مستقل في منطقة غير مألوفة. في الوقت نفسه ، بلغت تكلفة تدريب كلب إرشادي واحد في المؤسسة العامة لعموم روسيا للأشخاص ذوي الإعاقة ، وسام عموم روسيا للراية الحمراء للعمل ، جمعية المكفوفين ، في عام 2013 مليون روبل ، في عام 2014 1.2 مليون روبل!

أعزائي القراء ، نذكركم بأنكم تقرأون مدونة شركة iCover. اشترك معنا ، نعدك ، لن تكون مملة.

Source: https://habr.com/ru/post/ar383717/

More articles:


All Articles