许多外国作者都认为大数据时代已经结束。 在这种情况下,大数据一词指的是基于Hadoop的技术。 许多作者甚至可以放心地命名大数据离开这个世界的日期,这个日期是06/05/2019。
在这一重要的日子发生了什么?
在这一天,MAPR公司承诺如果找不到进一步运转所需的资金,将暂停工作。 之后,在2019年8月,MAPR被HP收购。 但是回到6月份,您一定会注意到大数据市场这一时期的悲剧。 本月,指定市场的领先企业CLOUDERA的股票报价崩溃,并于同年1月与长期无利可图的HORTOWORKS合并。 倒闭非常严重,达43%,最终,CLOUDERA的资本从4.1亿美元减少到14亿美元。
毋庸置疑,自2014年12月以来,关于基于Hadoop的技术领域中的泡沫膨胀的谣言一直在流传,但它勇敢地延续了近五年。 这些谣言是基于Hadoop技术诞生的Google的发明失败所致。 但是技术已在公司向基于云的处理工具过渡以及人工智能的快速发展过程中扎根。 因此,回过头来,我们可以放心地说这是预料之中的。
因此,大数据时代结束了,但是在处理大数据的过程中,公司意识到了处理大数据的所有细微差别,大数据可以为企业带来的好处,还学会了如何使用人工智能从原始数据中提取价值。
更有趣的是,什么将取代该技术以及分析技术将如何继续发展的问题。
增强分析
在描述的事件中,从事数据分析领域的公司并没有停滞不前。 从2019年发生的交易信息中可以判断出什么。 今年,市场上最大的一笔交易是-以157亿美元收购了分析平台Tableau的Salesforce。 Google和Looker之间发生的交易较小。 当然,人们一定会注意到Qlik的收购-这是Attunity平台的重要发布日期。
BI市场领导者和Gartner专家声称,数据分析方法发生了巨大变化,这种变化将完全破坏BI市场,并导致AI取代BI。 在这种情况下,应该注意的是,缩写AI不是“人工智能”而是“增强智能”。 让我们仔细看看“增强分析”一词背后隐藏的内容。
增强分析和增强现实基于以下几种一般性假设:
- 使用NLP(自然语言处理)进行交流的能力,即 用人类语言
- 使用人工智能,这意味着数据将由机器智能进行预处理;
- 当然推荐给系统用户的建议也一样,它们都会产生人工智能。
根据分析平台的制造商的说法,不具备SQL或类似脚本语言知识等特殊技能,没有经过统计或数学培训并且没有专门研究数据处理和相应库的流行语言方面的知识的用户将可以使用它们。 这些人称为“公民数据科学家”,只应具有出色的商业资格。 他们的任务是从人工智能中获得的提示和预测中捕获业务洞察力,并且他们将能够使用NLP来完善自己的猜测。
描述使用此类系统的用户的过程,可以想象下图。 上班并启动相应应用程序的人员,除了可以使用标准方法(排序,分组,执行算术运算)进行分析的通常的报告和仪表板之外,还可以看到某些提示和建议,例如:“为了在数量上实现KPI销售,您应该对“园艺”类别中的产品应用折扣。 另外,一个人可以联系公司的Messenger:Skype,Slack等。 他可以用文字或语音询问机器人问题:“带给我五个最赚钱的客户。” 收到适当的答案后,他必须根据自己的业务经验做出最佳决策,并为公司带来利润。
如果您退后一步,查看分析信息的组成,并且在这一阶段,增强分析类的产品可以简化人们的生活。 理想情况下,假设用户只需要指出分析产品即可找到所需信息的来源,并且程序本身将负责创建数据模型,一堆表和类似任务。
所有这些首先应确保数据的“民主化”,即 任何人都可以分析公司可用的全部信息。 决策过程应以统计分析方法为依据。 数据访问时间应该最短,因为不需要编写脚本和SQL查询。 当然,可以节省高薪的数据科学专家。
假设地,技术为业务开辟了非常光明的前景。
什么可以取代大数据
但是,实际上,我是从大数据开始的。 而且,如果不简要介绍现代BI工具(通常是大数据的基础),我就无法发展这个主题。 大数据的命运现在显然已成定局,而这些都是云技术。 我重点介绍了与BI供应商进行的交易,以证明现在每个分析系统下都具有云存储,并且云服务以BI为前端。
不要忘了ORACLE和Microsoft这样的数据库领域的支柱,有必要注意他们选择的业务发展方向和这种云。 提供的所有服务都可以在云中找到,但是某些云服务不再可以在内部获得。 他们在使用机器学习模型方面做了大量工作,创建了可供用户使用的库,配置了界面,以便从选择模型到设置开始时间使用模型。
制造商表达的使用云服务的另一个重要优势是,在培训模型的任何主题上都存在几乎无限的数据集。
但是,问题来了,云技术在我国扎根了多少?