⚕️ 💎 📉 现实世界中的英特尔物联网路演或虚拟现实 👇🏽 👩🏿‍🎤 🦎

2015年6月27日至6月28日，英特尔组织了一次黑客马拉松，SenseDrive项目获得了第二名。在演示过程中，我们的团队对未来进行了展望，并演示了如何通过进入连接到物联网的虚拟空间来扩展人员能力。

一点背景

这一切都始于DevCon 2015大会，那是我第一次熟悉RealSense技术的功能，而在晚上的黑客马拉松上，我很幸运地评估了摄像头和RealSense SDK的功能。我的第一个愿望是将相机连接到虚拟现实眼镜上，以便看到我的“虚拟”手。但是，我在那个黑客马拉松上找不到免费的Unity程序员和3D设计师。因此，与来自越南的一个人合作，我们成功地研究了SDK和使用相机的功能，以演示一个简单的程序，该程序可以帮助程序员充实眼球，并确保程序员不会“四处闲逛”。我还了解到，在圣彼得堡，将有一周的时间使用该技术进行另一场黑客马拉松。

所以，现在我已经有一个星期的准备时间了。我对同事Dmitry Postilgu的想法很感兴趣，他为Unity中的Windows Phone绘制了三维免提界面。而此时，我正在开发能够在智能手机中的手的位置上传输数据的功能。

这项任务并非易事，因为RealSense需要功能非常强大的处理器和USB 3.0，这显然是我们智能手机中所没有的原因。我必须为Unity编写一个插件，该插件在手机上部署服务器，并在PC上部署客户端应用程序，以将处理后的数据包传输到手机，这使我们能够将多个摄像机同时“连接”到未来的虚拟眼镜上，以便更准确地确定手的位置。

结果是一个相当灵活的架构，其中Unity没有明显的区别：相机的数据是直接传输（对于将应用程序部署在PC上的情况）还是通过WiFi（对于将应用程序部署在智能手机上的情况）。展望未来，正是这种架构在上次黑客马拉松的演讲中为我们节省了精力。

事实证明，一周的时间很短，因此没有时间创建虚拟手的原型，因为我们在空闲时间从事主要项目，因此参与了该项目。他们甚至从晚上乘火车从明斯克到圣彼得堡时就编写了该项目。结果，我们获得了第一名。

同样在第二次黑客马拉松上，我在一个月内了解了即将举行的英特尔物联网路演，并结识了来自Robot Kitchen的 Maxim Massalsky。-明斯克机器人技术实验室。与他一起，我们决定最终将虚拟世界与现实世界结合在一起。

为了演示这些功能，Maxim组装了一个带有运动摄像机的机器人，我们将其连接到位于黑客点的Intel Edison板上。 Maxim启动了WiFi，并从机器人的摄像机向网络广播了视频流。我们开发了一个控制命令系统，结果证明它是一个机器人，您可以从其中“移入”虚拟现实。

机器人广播通过摄像机看到的内容：在英特尔Edison上启动的摄像机流直接进入虚拟眼镜，虚拟现实将头部的位置和命令从虚拟“控制杆”传递给机器人。我们设法在机器人化身的控制台中的用户眼镜中创造了一种“临场感”。同时，用户不仅可以用他的手（完全没有鼠标，键盘或任何电线）来指示机器人应该去的地方，而且还可以将头转向侧面，而机器人可以顺从地通过转动相机进行相同的操作。

机器人化身当然很棒，但是还不清楚它有什么好处。因此，一个机器人对我们来说还不够。甚至在黑客马拉松之前，我们就进行了一次小型的头脑风暴会议，以提出如何更好，更清楚地将技术的实用性传达给评审团的想法。很长时间没有必要去举例子了，有很多例子（您可以在项目描述中找到其中的一些例子），但是在24小时内无法完成很多事情，因此决定选择两种类型：

关闭电器（毕竟，没人希望他的房子被烧毁，因为打开电源时，熨斗或火炉急忙停下来了）；
. , , , :) , , … , - .

节俭的马克西姆带来了几个伺服器和继电器，其余的决定当场寻找。

作为可以烧毁公寓的电器，我们使用了电热水壶。有了这个，我们得到了Video Wings的一个人Evgeny Tkachevsky的帮助，他对我们的项目很感兴趣，第二天早晨他从家里带来了水壶。

猫喂食器是在前往圣彼得堡的火车上的纸上设计的，一旦到达，便会绘制计算机模型并将其打印在3D打印机上。但是寻找猫的时候，一切都变得更加复杂了。会场附近没有猫，因此我们从一位英特尔专家那里借来了一个玩具泰迪熊。

我必须说，即使在测试阶段，该项目也引起了人们的极大兴趣。尽管如此，仍然不是每天都有程序员在白盒子里闭着眼睛，在笔记本电脑前挥舞着他的手，站在机器人支架旁边，来回旋转轮子并挥舞着他的头......有些观众甚至很幸运地能够测试自己作为机器人驾驶员。

介绍

不幸的是，在演示时，互联网已经完全运转，不再可能谈论有关手的位置的任何数据传输，甚至不再涉及从机器人的摄像机广播流式视频。在发布前的最后几秒钟，决定尽可能多地卸载数据流，仅保留机械手控制命令并完全解开虚拟眼镜。我们必须演示该项目的PC版本，在该版本中，我们无法转过头来看到机器人的眼睛。我们只能在虚拟手的帮助下控制机器人，茶壶和进纸器，观察肩膀上机器人的动作，关闭水壶，然后将饲料倒出。最后，对于那些希望的人，我们愿意测量眼镜并至少在虚拟世界中感到一会儿。

为什么选择虚拟现实？

不幸的是，由于技术困难，我们无法传达该项目的主要思想- 虚拟世界的控件与仅用鼠标单击屏幕上的按钮有何不同？一切都非常简单，有人点击鼠标，在屏幕上戳手指，有人在控制台上书写，虚拟现实都可以使用人体熟悉的动作和手势与现实世界进行交互，从而使您执行一个人一次熟悉的几个动作。

例如，在当前的实现中，您可以使机器人的一只手直行，另一只手稍微向右旋转，转动头部，看看左侧发生了什么。当然，许多驾车者必须一只手握住方向盘，另一只手在电话上交谈，并定期瞥一眼侧面，以查看弯道中是否有行人空走。这里是一样的。好吧，作为虚拟世界的奖励，一个人可以像超级英雄一样拥有“超能力”。例如，从机器人到水壶或馈电开关，我用我的手，这导致三维物体的运动在这个世界上，像绝地......做出传球有一个想法，从我手里释放火球，从而关闭机器人，但认为它是太多。

这不是自由吗？行动自由，思想自由，行动自由，幻想自由……

但这还不是全部。一个人单独控制某些复杂对象并不总是很方便。当前的项目实现允许几个人同时管理同一设备的多个部分。您不必走得太远，例如。两个用户可以连接到机器人水箱，一个可以控制水箱在水面上的运动，第二个用户此时可以旋转水箱的转塔并可以控制枪口。试想一下，坦克战斗游戏的实现会是什么样子？

从生产的角度来看，现在无需花费大量资金来制造合适的键盘，鼠标，操纵杆或任何其他机械手。只需绘制一个控制面板并将其加载到虚拟世界中即可。它的外观仅取决于想象力和特定需求。

下一步是什么？

在黑客马拉松上，我们的目标是证明物联网，机器人和虚拟现实共生所提供的可能性。现在，我们正处于项目定位的阶段，而以下领域迫在眉睫：

开发由几个人同时控制的机器人，坦克机器人的原型；
在当前项目中添加对Android和IOS平台的支持；
开发成熟的机器人化身，能够拍摄物品并用两只眼睛播放立体图像；
开发用于连接到物联网和虚拟现实的完整协议和SDK。这将使任何想要轻松将其电子设备连接到虚拟现实的人都可以使用，从而扩大了眼镜的使用范围；
开发自己的虚拟眼镜；
添加神经接口，使人们不仅可以借助身体运动来控制事物，还可以借助思想的力量来控制事物。在上一届黑客马拉松上，有多个项目使用了相似的界面，也许我们可以共同努力，造福人类。

现实世界中的英特尔物联网路演或虚拟现实

一点背景

介绍

为什么选择虚拟现实？

下一步是什么？

More articles: