Google地图每天都会建立有用的路线，为数百万人提供有关交通拥堵和商业组织的信息。 为了使我们的用户更加舒适，这些信息应实时反映不断变化的世界。 街景视图汽车每天收集成千上万张图像，并且无法手动分析今天收集的超过800亿张高分辨率图像，以找到适合放置在Google地图上的新信息或更新信息。 Ground Truth小组的目标之一是自动从地理参考图像中提取信息，以增强Google Maps。
在论文“
使用注意力算法从街景图像数据库中提取结构化信息 ”中，我们描述了使用深度神经网络在来自不同国家的非常复杂的街景照片中准确自动识别街道名称的方法。 我们的算法在复杂的
法国街道名称标志 （FSNS）数据集上显示出84.2％的准确性，并且在该领域之前的领导者中遥遥领先。 重要的是，我们的系统可以轻松缩放以从街景照片中提取其他类型的信息，现在它可以帮助我们自动识别商业企业的迹象。 我们很高兴地宣布，该模型
已在公共领域 ！
系统成功识别的街道名称示例。 一个相同的标志可以用多张照片表示，最多4张。对于计算机视觉和机器学习而言，在自然环境中识别文本是一项艰巨的任务。 传统的
字符识别系统 （OCR）用于从扫描的文档中提取文本，由于视觉伪影-扭曲，遮挡，模糊，复杂的背景或不同的视角，从街道照片中获取的文本更难以识别。 我们解决这些研究问题的尝试始于2008年，当时我们
使用神经网络模糊面部和车牌以保护用户的隐私。 经过这项研究，我们意识到拥有足够大量的标记数据，我们不仅可以使用机器学习来保护用户的隐私，还可以向Google Maps添加新信息。
2014年，Ground Truth团队发布了
街景门牌号码 （SVHN）数据集，这是一种
高级门牌号码识别方法 ，该
方法由当时的学生，现在的Google员工
Jan Goodfellow使用 。 这项工作不仅具有学术意义，而且对于提高Google地图的准确性也至关重要。 今天，得益于此系统，全世界大约三分之一的位置得到了改善。 在巴西等某些国家/地区，此算法指定了Google地图上90％以上地址的位置，从而大大提高了我们地图的可用性。
下一步的逻辑步骤是将这些技术转换为街道名称。 为了解决这个问题，我们创建并发布了
法国街道名称标志 （FSNS）数据集，该数据集包含超过一百万个街道名称。 FSNS集是多年努力的结果，旨在为每个人提供在复杂而真实的数据集上改进其OCR模型的机会。 FSNS比SVHN更大，更复杂，因为准确的街道名称识别需要组合来自多个不同图像的信息。
我们的系统使用不同的图像组合成功识别出的难以识别的字符示例。 当单个角色没有四张不同的照片时，将使用随机噪声。有了这个工具包，Google实习生Vozhna Zbigniew一直在开发一种深度学习模型，用于在2016年整个夏季自动标记街景视图图像。 新模型有趣且有用的功能之一是能够根据我们的标题标准对文本进行规范化，并忽略从图像接收到的多余文本。
根据巴西数据进行文本规范化的示例。 “ AV”。 变成“ Avenida”和“ Pres”。 在“总统”中
在此示例中，模型没有熄灭，一次遇到两个信号，正确地将“ Av”变成“ Avenue”，并且正确地忽略了数字“ 1600”。新系统结合了门牌号码提取功能，使我们可以直接从没有已知街道名称或地址的地方的照片中创建新地址。 现在，每当街景车沿着一条新路行驶时，我们的系统都能够分析机器收到的成千上万张图像，提取街道名称和门牌号，并正确映射新地址。
但是，自动创建地址是不够的-我们仍然希望通过其名称为商业组织提供一条路线。 2015年，我们发布了“
从街景照片中大规模识别商业组织 ”的工作，提出了一种准确识别商业场所标牌的方法。 但是，在发现组织的展示柜之后，仍然需要准确地提取其名称-模型必须弄清楚照片中指示的名称和与之无关的文字的位置。 我们将提取的信息称为“结构化文本”。 这不仅是文本，而是结合了其语义的文本。
使用各种训练数据，我们可以强制我们的模型（读取街道名称）从建筑物的外立面中提取商业机构的名称。 在这种情况下，我们可以提取名称，并根据Google Maps的信息检查我们是否知道该机构。 这使我们能够制作出更准确和最新的商业组织列表。
尽管缺少有关商店位置的信息，系统仍正确地将商店名称识别为“ Zelina Pneus”。 她还正确地忽略了在商店出售的轮胎品牌的名称。对于800亿张街景图像，使用这些大型模型需要强大的处理能力。 因此，Ground Truth团队率先获得了今年宣布的
Tensor处理单元的使用权，以显着降低计算成本。
人们依靠Google Maps的准确性及其提供帮助的能力。 我们在处理不断变化的城市景观方面保持最新的Google地图。 道路和商业机构给我们带来了技术难题，我们尚未能够100％克服。 Ground Truth的使命是站在机器学习的最前沿，为超过10亿的Google Maps用户提供更便捷的产品。