Carta a um iniciante para estudar Ciência de Dados

Gostaria de receber essa carta três anos atrás, quando estava começando a estudar Data Science (DS). Que havia links necessários para materiais úteis. O artigo não pretende abranger o vasto domínio do DS. No entanto, para um especialista iniciante, será útil.

As seguintes tecnologias são mais comumente usadas no DS:

• fluência em inglês;
• Sistema operacional Ubuntu Linux (como historicamente se desenvolveu);
• Linguagem de programação Python (mas melhor que o Anaconda Python );
• Ambiente de desenvolvimento integrado (IDE) do PyCharm (o Community Edition é gratuito);
• infraestrutura (framework) para aprendizado de máquina (aprendizado de máquina ML), aprendizado profundo (aprendizado profundo de DL) e criação de redes neurais ( PyTorch , TensorFlow e dezenas de outras );
• se você não possui sua própria placa de vídeo poderosa (unidade de processamento gráfico de GPU), use tecnologias de nuvem gratuitas baseadas no Jupyter Notebook ;
• a capacidade de usar um sistema de controle de versão Git distribuído ( GitHub , GitLab , Bitbucket , etc.);
• Tenha uma conta no StackOverflow e todas as suas filiais .

Além disso, com o tempo, você precisará de muitas bibliotecas e ferramentas adicionais diferentes para processar imagens e dados. Existem dezenas deles. Mais útil para mim ( processamento de imagem ) em ordem decrescente de importância:

• Ambiente virtual - um ambiente de desenvolvimento virtual para vários projetos, que encapsula diferentes versões de bibliotecas e ferramentas.
• NumPy - trabalhe com matrizes, álgebra linear.
• OpenCV - muitos algoritmos diferentes para trabalhar com imagens.
• O Jupyter Notebook é um aplicativo da Web para desenvolvimento e execução de programas Python em um navegador e na nuvem.
• Tensorflow-gpu - configuração de redes neurais e cálculos em placas gráficas.
• O iPython é um trabalho de console mais conveniente com comandos do Python, eu recomendo que você o use em vez do console padrão.
• Matplotlib - desenhando gráficos e tabelas.
• Travesseiro - trabalhe com todos os formatos de imagem populares.
• Pandas - trabalhe com dados.
• SciPy - trabalho avançado com algoritmos, uma alternativa gratuita ao programa MatLab.
• Scikit-learn - algoritmos de aprendizado de máquina.
• Scikit-image - processamento de imagem avançado.
• K3D - trabalhe com gráficos e imagens tridimensionais no Jupyter Notebook.

O aprendizado de máquina (aprendizado de máquina ML) e, especialmente, o aprendizado profundo (Deep Learning) são impossíveis sem dados. Os bancos de dados necessários (conjuntos de dados, conjuntos de dados) podem ser pesquisados ​​por meio do serviço de Pesquisa de conjunto de dados do Google ou entre 25 mil conjuntos de dados Kaggle .

O que eu tenho:

• Vários programas Python . Comece com scripts simples e continue com scripts mais complexos.
• Um conjunto de instruções para configurar o Ubuntu Linux . Destas, as instruções mais importantes para instalar e configurar um ambiente virtual .
• Brochura " Introdução ao aprendizado de máquina e redes neurais artificiais ". Os princípios básicos, coletados em toda a Internet, mas no meu desempenho "único".
• Cursos e vídeos para iniciantes , dos quais vale a pena começar a estudar redes neurais.
• Ferramentas úteis onde todos encontrarão algo interessante para si.
• Uma lista geral dos cursos que fiz e gostaria de fazer.

Obrigado pela atenção!