日期工程师是没有这些人员的分析人员，他们将在对数据库的查询结束之前入睡，而科学家将在数据中淹没的日期。 现在该告诉别人和我们自己，我们为什么以及如何工作。
不幸的是，今年几乎取消了圣彼得堡唯一的一次针对数据分析人员和数据工程师的专业会议，但我们在Wrike Tech Club决定了很长一段时间都不会难过，并于11月15日安排了一次优雅的演讲会。
您是否处理不适合RAM的数据？ 必须使用分布式计算？ 恭喜，您是一位数据工程师。 对于许多IT人士而言，这个术语听起来像是精益分析和人工智能之间的又一个便宜货。 我们希望将数据工程师作为独立的专业来讨论，而不是在下一次大数据聚会上的闲聊中讨论。
节目和演讲者：
Wrike-Alexander Eliseev-数据工程：如何从数据到工程
我们将讨论Clicksteam的处理方法，以及我们的想法如何从分析变为数据工程，我们违反了哪些工程原理以及如何在数据工程中停止违反它们。 我将谈论我们遇到的问题，例如，数据源设计中的错误（从带有数据集市的ETL到更复杂的方案），以AirFlow为例的管道，我们的技术局限性（ORC，Tableau，资源不足，Jenkins上的管道） ） 您将了解我们如何改变设计管道和数据处理的方法。
Vitaliy Khudobakhshov，JetBrains-Apache Spark中的应用程序测试
数据分析应用程序中的错误成本通常很高。 但与此同时，与代码相比，数据在故障中的作用要比平常高得多。 如何减少难以测试和调试的应用程序中的错误？ 在这种情况下，如何编写代码和进行测试，以免浪费数小时的昂贵机器时间？ 这就是我想谈的。
Sergey Isaev，DataFabric-如何使用语义技术管理数据和存储知识。
我将告诉您：
- 数据收集，转换和管理；
- 知识图；
- 主题领域的本体建模；
- 相关数据；
- 语义技术在构建智能信息系统中的应用。
→
注册