激光雷达和相机是几乎所有机器人移动设备的两个标准配置项目。 第一个和第二个都使用反射光。 同时，摄像机以被动模式运行，也就是说，它们捕获第三方光源的反射，但是激光雷达会产生激光脉冲，然后测量附近物体反射的“响应”。 摄像机形成二维图像，激光雷达形成三维图像，类似于“点云”。
Ouster
开发了一种既可以用作照相机又可以用作激光雷达
的混合设备 。 该系统称为OS-1。 该设备的光圈比大多数数码单反相机大，该公司创建的传感器非常敏感。
系统获得的图像包括三层。 第一个是好像是由普通相机获得的图像。 第二层是使用激光束反射获得的“激光”层。 第三层是“深”层，它使您可以估计前两层的各个像素之间的距离。
值得注意的是，图像仍然有很大的局限性。 首先，这些是低分辨率图像。 其次，它们是黑白的，而不是彩色的。 第三，激光雷达不适用于可见光源；它处理的光谱接近红外。
目前，激光雷达的成本非常高-约为12,000美元，乍一看，该系统接收比标准相机低分辨率的图像毫无意义，但成本却像铸铁桥一样。 但是开发人员声称此处使用的工作原理与通常情况不同。
这些是Ouster提供的图形材料。 这里显示了三层图像和一个普通的“图片”，这是由于在典型情况下，移动机器人会组合来自多个不同来源的数据，这需要时间。 相机和激光雷达以不同的模式工作，结果也不同。 另外，它们通常安装在车身的各个位置，因此计算机还必须处理图像相关性以使其兼容。 此外，传感器需要定期重新校准，这不是那么简单。
一些激光雷达开发人员已经尝试将相机与激光雷达结合使用。 但是结果不是很好。 这是一个“标准相机+激光雷达”系统，与现有方案没有太大区别。
相反，Ouster使用的系统允许OS-1以一种标准从一个位置收集所有数据。 图像的所有三层在时间和空间上都完美相关。 在这种情况下，计算机可以了解最终图像各个像素之间的距离。
根据该项目的作者，这样的方案几乎是机器学习的理想选择。 对于计算机系统而言，处理此类图像并不困难。 将系统“喂”几百张图片后，可以对其进行培训，以准确了解最终“图片”中显示的内容。
某些类型的神经网络被设计为可以毫无问题地处理多层像素图。 此外，图像可能包含红色，蓝色和绿色的图层。 训练这样的系统以使用OS-1的结果并不困难。 Ouster已经做到了。
作为源材料，他们采用了多个旨在识别RGB图像的神经网络，并对其进行了修改以适应其需求，并教他们如何处理其图像的不同层。 数据处理是使用Nvidia GTX 1060在设备上进行的。使用神经网络，汽车计算机被教为将道路涂成黄色，而潜在的障碍物（其他汽车）则涂成红色。
根据开发人员的说法，他们的系统是现有系统的补充，而不是替代品。 最好将各种传感器，传感器，照相机，激光雷达和混合动力系统组合在一起，以形成清晰的环境图片，以帮助汽车行驶。