AI如何帮助学习手语



对于任何人来说,手语都很难学习。 事实是,不仅使用手势,而且使用面部表情,关节和“肢体语言”。 传输信息的价值取决于所有这些因素。 有一些学习手语的程序,但是其中很多都不是很成功,而且价格并不总是人道的。 在不久的将来,一切都会改变-现在正在开发使用AI研究手语的方法。

它是关于自动化学习过程的,这是完全直观的。 在这里可以 。 通过提供所有必要的细节,熟悉手语分析工具(瑞典-德国小组)的功能。 尽管如此,开发人员还是希望创建可以帮助有时加速学习过程的AI平台。

AI 已经并且已经用来识别,翻译和解释手语。 但是,此类项目的可能性并不完整,无法涵盖所有​​方面。 新系统的开发人员计划使用AI来让学生知道他在做什么错,并告诉他们如何解决。


手语练习很困难,因为它既不读书也不写作。 为了学习使用PC,开发人员创建了计算机游戏。 她逐步教授手势,显示哪个手势对应于特定的字母或概念。 接下来,玩家必须重复此手势,并将其动作记录在相机上。 该程序将显示重复的成功程度以及需要执行哪些操作才能改善结果。 另外,在这种游戏中,参与者之间存在社会竞争,这涉及到用户。

培训的各个阶段都涉及人工智能。 第一步是与卷积神经网络进行交互-它从视频中提取有关用户操作的视觉信息。 这些数据将发送到下一个评估模块,该模块将结果与数据库中可用的标准进行比较并发布其等级。

所有这些都是以用户可以理解的形式进行的,很明显,学生没有看到整个过程。 它仅适用于神经网络动作的外部表现。

在不久的将来,开发人员计划创建一种系统,该系统将帮助其他语言群体的讲者学习手语。 这里最困难的部分是训练神经网络,并通过演示每个概念和声音来录制视频,这很长,而且需要时间。

另外,该系统将被教以参考学习手语来“理解”一个人的面部表情。 目前,该系统可在教室环境中最佳工作。 将来,开发人员计划使具有AI的应用程序更加通用,以便可以在街上使用。 该平台的创建者希望他们的产品可以用于任何年龄段的人教授手语。


Source: https://habr.com/ru/post/zh-CN439006/


All Articles