从Hadoop到Cassandra：顶级5大数据工具

这是Seattle Data Guy博客文章的翻译。 在其中，作者确定了目前用于处理大数据的5种最受欢迎​​的资源。



如今，任何公司，无论其规模和位置如何，都以一种或另一种方式处理数据。 反过来，将信息用作有价值的资源意味着要使用特殊工具来分析公司的关键绩效指标。 对分析的需求与其重要性成正比地增长，现在可以确定该领域的全球趋势和前景。 根据国际数据公司的数据 ，2019年，大数据和分析市场已准备好突破1,891亿美元的门槛。

数据分析工具

数据分析工具是支持在线数据收集，分析和可视化功能的资源。 它们对于任何关注消费者偏好，数据，市场趋势等的公司都是有用的。如今，许多有效且可访问的公共资源越来越受欢迎，这使最成功的平台的选择变得复杂。 数据分析的机会很多，但我想找到最佳选择。

在信息分析领域，大型和小型公司都参与自动收集，处理和分析数据。 为了帮助您选择合适的平台，我们汇总了5种顶级分析工具。 这些是当今该领域中最好的产品。 通过以下标准对它们进行了评估：

• 功能性
• 易于学习（和社区支持），
• 人气。

通过此选择，您将更容易选择适合您业务的最佳分析工具。 因此，这是目前处理大数据的5种最受欢迎​​的资源：

1. Apache Cassandra
2. Apache hadoop
3. 弹性搜索
4. 普雷斯托
5. 塔伦德

1. Apache Cassandra

由Apache软件基金会（Apache Software Foundation）于2008年开发的Apache Cassandra平台是一个数据库管理工具，免费提供给任何用户。 Apache Cassandra由NoSQL分发和支持。 数据管理是通过连接多组件数据处理中心中多个节点的群集形式进行的。 用NoSQL术语，Apache Cassandra工具也称为“列数据库”。

首先，在使用当前数据的大数据应用程序中（例如在触摸设备和社交网络中），需要此系统。 此外，Cassandra使用分散式体系结构，这意味着功能模块（例如数据分段，故障转移，复制和扩展）可单独使用并循环运行。 有关更多信息，请参阅Apache Cassandra文档 。

Apache Cassandra的主要功能：

• 在不是很强大的设备上运行的能力。
• Cassandra体系结构基于Amazon的Dynamo技术，并实现了基于密钥的数据库系统。
• Cassandra查询语言。
• 扩展了应用程序的分布范围和高度可扩展性。
• 容错和分散系统。
• 快速写入和读取数据。
• 可定制的兼容性和对MapReduce框架的支持。

下载： http : //cassandra.apache.org/download/

2. Apache Hadoop

Apache Hadoop是一个公共可用的分析工具，用于大型数据包的分布式存储和处理。 另外，Apache Hadoop提供了使用一组实用程序访问数据的服务，这些实用程序允许您构建由多台计算机组成的网络。 Apache Hadoop的内部结构忠实于支持大型计算机集群。 有关更多信息，请参阅Apache Hadoop文档 。

Apache Hadoop的主要功能：

• 用于PB级数据分析的高度可扩展平台。
• 能够以任何格式存储数据并在读取时进行解析的能力（可以选择结构化，部分结构化和非结构化格式）。
• 集群中节点的罕见故障。 但是即使发生这种情况，系统也会自动重播数据并重定向剩余数据。
• 与另一个优先级数据分析平台进行交互的能力。 不仅可以使用NoSQL，还可以使用程序包，对话框SQL或低延迟访问来进行平滑的数据处理。
• 经济的解决方案，因为开放平台在相对便宜的设备上运行。

下载： https : //hadoop.apache.org/releases.html

3. ElasticSearch

Elasticsearch是用于搜索和分析大数据的基于JSON的工具。 Elasticsearch提供了一个分散的分析库，并基于REST架构搜索了已解决的用例。 Elasticsearch平台还易于管理，高度可靠，并支持水平可伸缩性。 有关更多信息，请参阅Elasticsearch文档 。

Elasticsearch的主要功能：

• 用多种语言（例如Java，Groovy，NET和Python）构建并支持客户端程序。
• 用于管理和监视数据的直观API，可提供完整的控制和可见性。
• 可以组合几种类型的搜索，包括地理搜索，度量搜索，结构化和非结构化搜索等。
• 使用基于REST体系结构的标准API和JSON格式。
• 先进的数据分析功能归功于机器学习，监控选项，报告和安全性。
• 使用Elasticsearch-Hadoop处理大数据的最新分析和搜索参数。

下载： https : //www.elastic.co/downloads/elasticsearch

4. Presto

Facebook Presto因其稳定的商业数据处理速度而脱颖而出。 Presto充当基于分散式SQL的查询库，可以与Hadoop ，MySQL和其他资源完美地交互。 Presto使用去中心化的开放源代码架构来针对各种信息源进行协作式分析查询。 Presto系统还提供高质量的交互式分析，并非毫无理由地将其视为大数据分析的最佳公开可用工具之一。 有关更多信息，请参见Presto文档 。

Presto的主要功能：

• 自适应多用户系统，支持同时执行多项操作，包括机器的内存，输入/输出（I / O）和CPU上大量计算负载的请求。
• 提供高性能的优化，包括诸如代码生成之类的重要选项。
• 扩展和进一步集成以创建多个集群的能力。
• 各种设置和配置可支持具有多个限制和性能选项的多个用例。
• 能够在一个查询中组合来自多个来源的数据并组织大数据分析的能力。
• 支持ANSI SQL标准（除了ARRAY，JSON，MAP和ROW）。

下载： https : //prestodb.imtqy.com/download.html

5.塔伦德

Talend被视为大数据和云集成领域中新一代工具的代表之一。 Talend仍然是一个开放平台，提供了自己的方式来自动，轻松地集成大数据。 在Talend的其他解决方案中，值得注意的是数据的质量控制，数据管理和使用图形向导生成自定义代码。 有关更多信息，请参阅Talend文档 。

塔伦德的主要特点：

• 大数据计划的时间效率比提高了。
• 敏捷的DevOps，用于加速大数据处理。
• 通过生成自己的代码来简化Spark和MapReduce的工作。
• 通过机器学习和自然语言信息处理获得更好的数据。
• 简化大数据的ELT（提取，加载和转换）和ETL（提取，转换和加载）过程。
• DevOps中所有流程的最佳配置。

下载： https : //www.talend.com/download/

结论

信息统治世界。 要成为领导者，公司需要跟踪数据并能够正确使用它。 如果您打算通过确定消费者的偏好，市场趋势，有效的商业模式和未来的前景来巩固自己的地位，那么您应该仔细考虑使用高级数据分析工具。

不要忽视活动的统计信息并低估其价值。 了解您的业务数据流量也很重要。 使用上面提供的一种分析工具（或任何其他工具），您将获得很多新信息，并且可以大大增加您获得成功的机会。 因此，为了朝着正确的方向前进，请不要忘记您的数据，对其进行分析，对其进行处理并获得可以使用的结果。