Solo una persona que no tiene conexiones externas con el mundo exterior no ha escuchado sobre big data hoy. En Habré, el tema de análisis de Big Data y los temas relacionados son populares. Pero los no especialistas que desean dedicarse al estudio de Big Data no siempre tienen claro qué perspectivas tiene esta área, dónde se puede aplicar el análisis de Big Data y con qué puede contar un buen analista. Tratemos de resolverlo.
Cada año aumenta el volumen de información generada por una persona. Para 2020, el volumen de datos almacenados aumentará a 40-44 zettabytes (1 ST ~ 1 billón de GB). Para 2025, hasta aproximadamente 400 zettabytes. En consecuencia, la gestión de datos estructurados y no estructurados utilizando tecnología moderna es un área cada vez más importante. Interesado en big data, tanto empresas individuales como estados enteros.
Por cierto, fue en el proceso de discutir el auge de la información y los métodos de procesamiento de datos generados por humanos que surgió el término Big Data. Se cree que el editor de la revista Nature, Clifford Lynch, lo propuso por primera vez en 2008.
Desde entonces, el mercado de Big Data ha crecido varias decenas de por ciento anual. Y esta tendencia, según los expertos, continuará. Por lo tanto, según
Frost & Sullivan, en 2021 el mercado global total para análisis de big data aumentará a $ 67,2 mil millones. El crecimiento anual será de aproximadamente el 35,9%.
¿Por qué Big Data Analytics?
Le permite identificar información extremadamente valiosa de conjuntos de datos estructurados o no estructurados. Gracias a esto, una empresa, por ejemplo, puede determinar tendencias, pronosticar indicadores de producción y optimizar sus propios gastos. Está claro que para reducir costos, las compañías están listas para presentar las últimas soluciones.
Tecnologías y métodos de análisis que se utilizan para analizar Big Data:
- Minería de datos;
- crowdsourcing;
- mezcla e integración de datos;
- aprendizaje automático;
- redes neuronales artificiales;
- reconocimiento de patrones;
- análisis predictivo;
- modelado de simulación;
- análisis espacial;
- análisis estadístico;
- visualización de datos analíticos.
Análisis de Big Data en el mundo
El análisis de big data ahora es utilizado por más del 50% de las empresas en todo el mundo. A pesar de que en 2015 esta cifra fue solo del 17%. Big Data es utilizado más activamente por las empresas que trabajan en el campo de las telecomunicaciones y los servicios financieros. Luego vienen las compañías que se especializan en tecnología sanitaria. Uso mínimo de análisis de Big Data en empresas educativas: en la mayoría de los casos, los representantes de este campo anunciaron su intención de utilizar la tecnología en un futuro próximo.
En los EE. UU., La analítica de Big Data se usa más activamente: más del 55% de las empresas de diversos campos trabajan con esta tecnología. En Europa y Asia, la demanda de análisis de big data no es mucho menor, alrededor del 53%.
¿Y qué hay de Rusia?
Según los analistas de IDC,
Rusia es el mayor mercado regional de análisis de Big Data . El crecimiento del mercado para tales soluciones en Europa Central y Oriental es bastante activo, cada año este indicador aumenta en un 11%. Para 2022, alcanzará cuantitativamente $ 5.4 mil millones.
En muchos sentidos, un desarrollo tan rápido del mercado es causado por el crecimiento de esta esfera en Rusia. En 2018, los ingresos por la venta de soluciones relevantes en la Federación de Rusia ascendieron al 40% de la inversión total en tecnologías de procesamiento de Big Data en toda la región.
En la Federación de Rusia, las empresas de los sectores bancario y público, la industria de las telecomunicaciones y la industria gastan más en el procesamiento de Big Data.
¿Qué hace Big Data Analyst y cuánto recibe en Rusia?
Big Data Analyst es responsable de explorar grandes cantidades de información, tanto parcialmente estructurada como no estructurada. Para las organizaciones bancarias, se trata de transacciones, para operadores, llamadas y tráfico, y en compras minoristas, visitas de clientes y compras. Como se mencionó anteriormente, el análisis de Big Data revela las conexiones entre varios factores de un "historial de información en bruto", por ejemplo, un proceso de producción o una reacción química. Con base en los datos de análisis, se desarrollan nuevos enfoques y soluciones en una variedad de áreas, desde la producción hasta la medicina.
Habilidades necesarias para el análisis de Big Data:
- La capacidad de comprender rápidamente las características en el área para la que se realiza el análisis, para sumergirse en los aspectos de la esfera deseada. Esto puede ser minorista, la industria de petróleo y gas, medicina, etc.
- Conocimiento de métodos de análisis de datos estadísticos, construcción de modelos matemáticos (redes neuronales, redes bayesianas, agrupamiento, regresión, análisis factorial, de varianza y correlación, etc.).
- Para poder extraer datos de diferentes fuentes, conviértalos para análisis, cárguelos a la base de datos analítica.
- Dominio de SQL.
- Conocimiento de inglés a un nivel suficiente para leer sin problemas la documentación técnica.
- Conocimiento de Python (al menos lo básico), Bash (es muy difícil prescindir de él en el proceso de trabajo), además es deseable conocer los conceptos básicos de Java y Scala (necesarios para el uso activo de Spark, uno de los marcos más populares para trabajar con grandes datos).
- Capacidad para trabajar con Hadoop.
Bueno, ¿cuánto obtiene el analista de Big Data?
Los especialistas en Big Data son escasos, la demanda excede la oferta. Esto se debe a que el negocio llega a un acuerdo: se necesitan nuevas tecnologías para el desarrollo y se necesitan especialistas para el desarrollo de la tecnología.
Entonces, Data Scientist and Data Analyst en los EE. UU.
Ingresó a las 3 mejores profesiones de 2017 según la agencia de reclutamiento Glassdoor. El salario promedio de estos profesionales en Estados Unidos comienza en $ 100 mil por año.
En Rusia, los especialistas en aprendizaje automático reciben de 130 a 300 mil rublos por mes, analistas de big data, de 73 a 200 mil rublos por mes. Todo depende de la experiencia y las calificaciones. Por supuesto, hay vacantes con un salario más bajo, y hay más vacantes. Máxima demanda de analistas de big data en Moscú y San Petersburgo. No es sorprendente que Moscú represente aproximadamente el 50% de las vacantes activas (según hh.ru). Mucho menos demanda hay en Minsk y Kiev. Vale la pena señalar que algunas vacantes ofrecen un horario flexible y trabajo remoto. Pero, en general, las empresas requieren especialistas que trabajen en la oficina.
Con el tiempo, podemos esperar un aumento en la demanda de analistas de Big Data y representantes de especialidades relacionadas. Como se mencionó anteriormente, nadie ha cancelado la escasez de personal en el campo de la tecnología. Pero, por supuesto, para convertirse en un analista de Big Data necesita aprender y trabajar, mejorando tanto las habilidades mencionadas anteriormente como las adicionales. Una de las oportunidades para comenzar el camino de la analítica de Big Data es
inscribirse en un curso de Geekbrains e intentar trabajar con Big Data.