今天，只有一个与外界没有外部联系的人才听说过大数据。 在Habré上，大数据分析主题和相关主题很受欢迎。 但是，那些愿意致力于大数据研究的非专家人士，并不总是很清楚这个领域的前景，可以在哪里应用大数据分析以及好的分析师可以依靠什么。 让我们尝试找出答案。
每年，一个人生成的信息量都会增加。 到2020年，存储的数据量将增加到40-44 ZB（1 ST〜10亿GB）。 到2025年，将达到约400 ZB。 因此，使用现代技术管理结构化和非结构化数据是一个日益重要的领域。 单个公司和整个州都对大数据感兴趣。
顺便说一下，正是在讨论信息热潮和处理人为生成数据的方法的过程中，出现了“大数据”一词。 据信，《自然》杂志的编辑克利福德·林奇（Clifford Lynch）于2008年首次提出该建议。
从那时起，大数据市场每年以百分之几十的速度增长。 专家认为，这一趋势将继续下去。 因此，根据
弗若斯特沙利文（Frost＆Sullivan）的预测
，到2021年，全球大数据分析市场总额将增至672亿美元，年增长率约为35.9％。
为什么选择大数据分析？
它使您能够从结构化或非结构化数据集中识别出极有价值的信息。 因此，例如，企业可以确定趋势，预测生产指标并优化自身支出。 显然，为了降低成本，公司已准备好引入最新的解决方案。
用于分析大数据的技术和分析方法：
- 数据挖掘；
- 众包;
- 数据混合与集成；
- 机器学习
- 人工神经网络；
- 模式识别
- 预测分析；
- 仿真建模；
- 空间分析；
- 统计分析；
- 可视化分析数据。
全球大数据分析
现在，全球超过50％的公司使用大数据分析。 尽管2015年这一数字仅为17％。 大数据被从事电信和金融服务领域的公司最积极地使用。 然后是专门从事医疗保健技术的公司。 在教育公司中尽量减少使用大数据分析：在大多数情况下，该领域的代表宣布他们打算在不久的将来使用技术。
在美国，大数据分析的使用最为活跃：各领域中超过55％的公司都在使用该技术。 在欧洲和亚洲，对大数据分析的需求并不低-约为53％。
俄罗斯呢？
根据IDC分析师的说法，
俄罗斯是最大的区域性大数据分析市场 。 中欧和东欧此类解决方案市场的增长非常活跃，该指标每年增长11％。 到2022年，其数量将达到54亿美元。
在许多方面，市场的如此迅速的发展是由俄罗斯这一领域的增长引起的。 2018年，俄罗斯联邦相关解决方案的销售收入占整个地区大数据处理技术总投资的40％。
在俄罗斯联邦，来自银行和公共部门，电信行业和行业的公司在大数据处理上花费最多。
大数据分析师会做什么，在俄罗斯能收到多少？
大数据分析师负责探索大量信息，包括部分结构化和非结构化信息。 对于银行组织，这是交易，对于运营商，呼叫和流量，对于零售，是客户拜访和购买。 如上所述，大数据分析揭示了“原始信息历史”的各个因素之间的联系，例如生产过程或化学反应。 根据分析数据，在从生产到医学的各个领域开发了新的方法和解决方案。
大数据分析所需的技能：
- 快速了解要进行分析的区域中的特征的能力，使您能够沉浸在所需球体的各个方面。 这可能是零售，石油和天然气工业，医药等。
- 了解统计数据分析方法，数学模型的构建（神经网络，贝叶斯网络，聚类，回归，阶乘，方差和相关性分析等）。
- 为了能够从不同来源提取数据，将其转换以进行分析，然后上传到分析数据库。
- SQL精通。
- 英语知识水平足以无缝阅读技术文档。
- 具备Python（至少是基础知识），Bash（在工作过程中很难做到这一点）的知识，此外，还希望了解Java和Scala的基础知识（需要积极使用Spark，Spark是处理大数据的最流行框架之一）。
- 能够使用Hadoop。
那么，大数据分析师能得到多少呢？
大数据专家供不应求，需求超过供应。 这是因为企业已经了解：开发需要新技术，而技术开发则需要专家。
因此，根据招聘机构Glassdoor的数据，美国的数据科学家和数据分析师
进入了2017年的前三名最佳职业 。 这些专业人员在美国的平均薪水为每年10万美元。
在俄罗斯，机器学习专家每月从130到30万卢布，大数据分析师每月从73到20万卢布。 这完全取决于经验和资格。 当然，有些职位空缺的工资较低，而且职位空缺更多。 莫斯科和圣彼得堡对大数据分析师的最大需求。 毫不奇怪，莫斯科约占有效空缺的50％（根据hh.ru）。 明斯克和基辅的需求要少得多。 值得注意的是，一些空缺提供了灵活的时间表和远程工作。 但总的来说，公司需要在办公室工作的专家。
随着时间的流逝，我们可以预期对大数据分析师和相关专业代表的需求将会增加。 如上所述，没有人能够消除技术领域的人员短缺。 但是，当然，要成为大数据分析师，您需要学习和工作，同时提高上述技能和其他技能。 开始大数据分析之路的机会之一就是
从Geekbrains那里注册一门课程，然后尝试着手处理大数据。