去年年底，加拿大温哥华市主办了NeurIPS-2019会议。 在Habr进行的搜索提供了七个参考文献，其中没有一份报告或评论-考虑到2019年事件的规模和规模，这是一个奇怪的差距。 我们的抗gi窃专家决定用有关两个高级时装数据科学界中的石膏新手的印象来填补这一空白。
晚上，多莫杰多沃（Domodedovo）登机，然后在法兰克福一个很短的码头，已经很清楚在会议上不会有拥挤。 匆匆忙忙穿着眼镜和公司帽衫的人们正在淹没过境区，而着陆线本身已经看起来像是一场很好的俄罗斯会议（对不起，不存在）。 接下来，有十个小时的航班在等着我们，这变成了黑客马拉松：在这里的机舱里，黑色的屏幕闪烁着终端机或深色的驾驶室。 格陵兰岛上空的表面上似乎已经编写了比以往更多的代码。
时差为11个小时，因此到达后，我们立即面临了时差的残酷现实。 距会场不远（温哥华会议中心，由两栋建筑组成，总面积为43340平方米，其中一秒钟有近六个足球场），几乎没有按预期在当地时间晚上等待，我们睡着了。
第一天，我们全额支付了耐心。
会议的第一天12月8日。 组织者在致死的前一天发来的一封信中指出，但必须严格在第一天注册。 到达约定的上午9点，立即偶然发现一排排在第二层的队列，一直到第二层，然后再次折叠，卷曲和折叠，绕到拐角处。 它伸出来，再次转过拐角，经过几个小时的等待（顺便说一下，在莫斯科举行的Anacondaz音乐会的排队，仅1小时就解决了），我们得到了令人垂涎的徽章和凉爽的杯子。
他们说，早点来...（第二天检查的每个人都做得很轻松）
在积极发展的生产线前挥舞着徽章，我们去了附近的建筑，这是今天计划举办世博日的地方：大型赞助商公司的展台和研讨会。 研讨室空无一人，演讲者试图吸引其他听众的注意，此时在公司展台的大厅里挤满了人。 这里提供咖啡和甜点，行业中的领先公司（Facebook，IBM，Google，Apple等）巧妙地谈论自己，在其职业网站上注册人员，并慷慨地向公司聚会分发帽子，适配器，袜子和邀请函。 有些人似乎已经在接受采访。
来自赞助商的商人包（包本身也是商品）
东中心大楼和海湾的景色
第二天，一切似乎都消失了。
第二天，行动开始了。 我和奥列格·巴赫捷耶夫（Oleg_Bakhteev）欣喜若狂地跑去吸收高级科学。 我们结合了RL和经典监督学习的优势，聆听了Kyunghyun Cho在模仿学习范例方面的出色表现。 没错，在一天的其余时间内，已经成为传统的研讨会已经结束，包括AI的黑人 ，机器学习的女性 ，AI的LatinX，AI的 Queer和机器学习的New。 这些研讨会散布着三场比赛中的一项，从拟议的深度神经网络的有效处理中进行选择：从算法到硬件体系结构 ， 用于计算生物学和健康的机器学习以及分布和模型的可解释性比较，我们选择了有效的二元化和...丢失。 追求效率的过程中出现的明显瓶颈和折衷已得到启发和详细描述。 我们的一天以一系列报告《强化学习：过去，现在和未来的前景》结束，在大屏幕上，几乎两个小时都在大屏幕上盘旋，跌落，并升起了用棍棒对小矮人进行的各种计算机模拟。 很好玩 如此之多，以至于我不想参加伯克利大学心理学家发表的哲学演讲，题为“如何知道”，并发表了华丽的声明。
第三天，当我们的心中充满希望。
当我们已经迫切希望从演讲者的口中听到至少一些有关机器学习的突破性新闻时，博学的人们建议，一切都很酷，而现在则在发布会上进行。 太好了，她今天才开始。 让我们一起去看重点。 亮点-这是每个人聚集，坐下并听取将在海报发布会上发表的关于最佳作品的五分钟报告的时候。 人们拼命地尝试拍摄演示文稿，当演示者切换珍贵的幻灯片时，他们会非常不高兴。 似乎所有这些都是必要的，以便不要在没有目标的情况下在三四百张海报之间徘徊，而是要突出真正有趣的内容。 经过一个小时的精彩集锦，我们出发去观看海报，并充满信心，相信确实会有很多有趣的事情。 海报展位位于两个联合展位，沿线延伸。 进入内部后，我们分散寻找相关主题和重点信息。 一切都很好，但是为了与作者交谈，您需要排队，或者不小心陷入故事的中间，等待开始。 连续不断的排队疲劳，并试图通过头卷迅速找出海报。 力量只会给予剧烈的窥探而没有施密德伯的顶盖。 结果，我们设法找到并仔细听了大约十件有趣的作品。 与前几天相比不错。
第四天及其后的几天终于开始了。
第二天，知识渊博的人再次向我们提供了宝贵的提示：去听重点片段是没有必要的，甚至是禁忌的，因为您只需要在挂着海报的时候跑去看海报-几乎没有人，而且作者已经愿意回答问题。 他们做到了。 策略行之有效-他们与同事进行了很多交谈，富有成果，观看了大量有趣的作品。 将来，我们会遵循相同的计划，有时会尝试品尝演讲者的讲话，但始终同意，我们不应该让他们暂时不去看海报。 会议最后两天的专题讨论会也对信息的丰富性和相关性感到满意。 这些作品按狭义主题分类，放在一小群观众的墙上，那里有演讲和热烈的讨论。
文件情报工作坊
我们不仅以这种方式来到了NeurIPS 2019，还以文档智能研讨会的参与者身份参加了会议，该研讨会致力于文档的智能处理。 研讨会的绝大部分任务与光学识别文本和抑制扫描文档中的伪影，从销售收据或合同中分配实体有关。 我和Oleg_Bakhteev提出了我们在寻找跨语言借阅方面的工作CrossLang：跨语言窃检测系统 ，可以在中心上广泛阅读 在这里，我们将更详细地介绍会议的总体印象，并简要介绍研讨会的文章。 短暂而明显的结果-过去的一年已成为我们地区的BERT'a年。 所有研讨会文章的内容（几乎）在以下一行中：
- CrossLang：跨语言窃检测系统。 我们的文章介绍了用于检测可转让借款的系统。 考虑了在英语集合中查找俄语借来的输入文本片段的问题。 我们使用了一堆翻译器+训练有素的半监督编码器-解码器来比较翻译后的句子。 最终的系统在产品中成功运行，为大量大学服务。
- 重新利用解码器-变压器语言模型进行抽象总结。 考虑了抽象总结的问题。 结果表明，使用预训练的变压器解码器，您可以将任务视为语言建模，从而获得良好的结果。 没有波束搜索和其他解码器优化，而只是贪婪地解码。
- 从笔触到有限自动机：一种离线识别方法。 有一个用于教学生计算机科学的电子系统。 为了研究有限状态机，建立了手绘图识别系统。 显示任务的数据集。
- OCR后解析：通过BIO标记构建简单而强大的解析器。 将信息从支票中分成几组。 使用BERT嵌入将每个令牌分类为由内而外（BIO）。 为此，我们创建了自己的数据集。
- BERTgrid：用于2D文档表示和理解的上下文化嵌入。 我想使用页面和文字的完整图片。 BERT用于文本，CNN用于图片，我们在页面上获得元素的上下文表示，以用于后续任务，例如分类。 它也用于支票。
- Chargrid-OCR：通过语义分割和对象检测进行端到端可训练的光学字符识别。 OCR任务被视为非常紧密放置的对象的对象细分任务。 没有特殊的预处理，仅给出纯像素。 与Tesseract和CNN-RNN相比。
- SVDocNet：用于盲文档去模糊的空间变型U-Net。 使用U-Net使图像扫描清晰。
- 具有多任务学习体系结构的电子表格表格的语义结构提取。 用于表的多任务框架：同时考虑单元内部语义（BERT）和单元类型（CNN）。
- 使用自动编码器的文档增强系统。 清除扫描的文档，以防腐蚀，伪影，水印。 他们采用了残差编码器-解码器网络的最终架构。 数据集包含干净且相关的嘈杂文档。 重建错误被最小化。
- CORD：OCR后解析的合并收据数据集。 我们制作了一个数据集，其中标记了区域及其值的检查。
- 关于西里尔文字的识别。 我们制作了一个用于识别手写西里尔语言的数据集。
- 地质学中的代表性学习和GilBERT。 使用BERT在地质文件中搜索相似的术语。
- 再谈神经契约元素提取。 从合同中提取实体：当事人，日期，金钱等。 将任务视为序列标签。 试过BiLSTM，didn-cnn，变压器，BERT。 BiLSTM最适合与CRF一起使用。 作为输入，使用特定于域的w2v。
- Doc2Dial：基于业务文档的对话组合框架。 一种对话代理，它基于一系列文档来响应用户请求。
- 关于文本意图预测的域传输。 有关存在公共数据集（电子邮件）但我们希望在封闭数据集（真实用户字母）上使用它们的情况的文章。 它们可能来自不同的分布，并破坏了ML的基本前提。 介绍了用于检测分布差异的各种技术。
- 迈向神经相似性评估者。 考虑了求和问题及其质量度量。 BLEU和ROUGE存在很多问题，因此我们采用了RoBERTa体系结构并在句子相似性任务上完成了它。 质量指标-所得矢量表示形式的比较。
最后，正如预期的那样，得出结论。 在开始的两三天内，会议会变热，因此，如果您是科学旅行，则可以安全地跳过它们，或者观看温哥华及其周边地区，从时差中恢复过来。 如果您打算在某个行业或学术机构找到工作（并获得薪水），那么在Expo博览会上您就有机会在一家大型（而不是大型）公司中找到工作。 好吧，来自学院，实验室负责人的所有明星也都参加了会议，因此有机会见面并聊天。
因此对我们来说是NeurIPS 2019 :)我们希望这篇文章对habrovoy ML社区感兴趣并且有用。