Recentemente, ocorreu outra proteção de inverno dos nossos três projetos tecnológicos: Technopark (MSTU em homenagem a Bauman), Technosphere (Universidade Estadual de Moscou em homenagem a Lomonosov) e Technotrek (MIPT). As equipes apresentaram a implementação de suas próprias idéias e as soluções para problemas reais de negócios propostos por diferentes departamentos do Mail.ru Group.
Entre os projetos:
- Serviço para a venda de presentes com realidade aumentada.
- Um serviço que agrega promoções, descontos e ofertas da lista de distribuição.
- Pesquisa visual de roupas.
- Serviço de bookcrossing eletrônico com possibilidade de aluguel.
- Scanner de alimentos inteligente.
- Guia de áudio moderno.
- Projeto "Tarefas Mail.ru"
- Televisão móvel do futuro.
Queremos falar mais sobre os seis projetos que foram especialmente destacados pelo júri e mentores.
Pesquisa visual de roupas
O projeto é apresentado por uma equipe de graduados da Technosphere. Segundo analistas, o mercado da moda na Rússia em 2018 totalizou quase 2,4 trilhões de rublos. Os caras criaram um serviço que é posicionado como um assistente inteligente para fazer compras diante de uma enorme variedade de mercadorias. Esta é uma solução B2B que amplia a funcionalidade das lojas online.
Durante o teste de experiência do usuário, os autores do projeto descobriram que, sob um "traje semelhante", as pessoas entendem a semelhança não em cores ou padrões, mas em atributos de roupas. Portanto, os caras desenvolveram um sistema que não apenas compara duas imagens, mas entende a proximidade semântica. Você carrega uma imagem de uma peça de interesse e o serviço seleciona mercadorias relevantes para seus atributos.
Tecnicamente, o sistema funciona da seguinte maneira:
Para detecção e classificação, a rede neural Cascade Mask-RCNN é treinada. Para determinar os atributos e a semelhança das roupas, é usada uma rede neural baseada no ResNext-50 com várias cabeças para grupos de atributos e a perda de trigêmeos para fotos de um produto. Todo o projeto foi implementado com base na arquitetura de microsserviços.
No futuro, está planejado:
- Inicie um serviço para todas as categorias de roupas.
- Desenvolva uma API para lojas online.
- Melhore a manipulação de atributos.
- Aprenda a entender as consultas em linguagem natural.
Equipe do projeto: Vladimir Belyaev, Petr Seidel, Emil Bogomolov.
TV móvel do futuro
Equipe do projeto Technopark. Os alunos criaram um aplicativo com uma programação de TV para os principais canais de transmissão digital russos, aos quais foi adicionada a função de visualizar canais usando IPTV (canais on-line) ou uma antena.
O mais difícil foi conectar a antena ao dispositivo Android: para isso, foi usado um sintonizador, para o qual os autores escreveram o próprio driver. Como resultado, eles tiveram a oportunidade no Android de assistir TV e usar o programa em um aplicativo.
Equipe do projeto: Konstantin Mitrakov, Sergey Lomachev.
Serviço, agregando promoções, descontos e ofertas da lista de discussão
Este é um projeto na junção de publicidade e tecnologias postais. Nossas caixas de correio estão cheias de spam e correspondências. Todos os dias as cartas vêm com descontos pessoais, mas as estamos abrindo cada vez menos, percebendo-as como "publicidade inútil". Por esse motivo, os usuários perdem lucro e os anunciantes incorrem em perdas. Um estudo do Mail.ru Mail mostrou que os usuários desejam ver um resumo de seus descontos.
O projeto
maildeal coleta informações sobre descontos e promoções da sua lista de correspondência e mostra na forma de uma faixa de cartões a partir da qual você pode acessar o site da promoção ou em uma carta. O programa pode funcionar com várias caixas de correio ao mesmo tempo. Há uma lista de ações selecionadas.
O projeto possui uma arquitetura de microsserviço e consiste em três partes principais:
- Autenticação OAuth para conexão conveniente de caixas de correio.
- Coleta e análise de cartas com ações.
- Armazenamento e exibição de cartões com descontos.
O projeto usa tecnologia de processamento de linguagem natural usando recursos de GPU: aceleradores gráficos aumentaram a velocidade de processamento em 50 vezes. O algoritmo é baseado em um sistema de perguntas e respostas, que permite adicionar rapidamente categorias de estoque de acordo com os novos requisitos de negócios.
Essa equipe conquistou não apenas um lugar nas principais equipes, de acordo com o júri, mas também venceu a competição “Digital Tops 2019”. Trata-se de uma competição de desenvolvedores russos que criam ferramentas de TI para aumentar a eficiência de agências comerciais e governamentais, além de aumentar a produtividade pessoal. Nossa equipe ganhou a indicação de estudante.
Os alunos têm grandes planos para o desenvolvimento do projeto, chegando:
- Integração com serviços de email.
- Implementação de um sistema de análise de imagens.
- Lançamento do projeto para um grande público.
Equipe do projeto: Maxim Ermakov, Denis Zinoviev, Nikita Rubinov.
Separadamente, queremos falar sobre as três equipes que foram notadas pelos mentores do Grupo Mail.ru, que trabalharam com os alunos ao longo do semestre. Foi dada atenção especial na escolha dos projetos à complexidade do projeto, implementação e trabalho em equipe.
Projeto "Tarefas Mail.ru"
O projeto foi observado pelo júri e pelos mentores.
O Mail.ru Tasks é o primeiro serviço de lista de tarefas independente desenvolvido pela empresa. Nos próximos meses, o Tasks substituirá as listas de tarefas no Calendário Mail.ru e, após a inclusão do projeto para todos os usuários, ele será integrado ao Mail.ru para celular e Web Mail.
O projeto foi implementado usando as abordagens Offline-first e Mobile-first. Ou seja, você pode usar o aplicativo da Web a qualquer momento, em qualquer lugar e em qualquer coisa. Ter acesso à Internet não importa: os dados serão salvos e sincronizados. Para maior comodidade, você pode "instalar" o aplicativo a partir do navegador, e ele parecerá nativo.
Scanner de alimentos inteligente
No supermercado, nem sempre podemos determinar rapidamente se um produto alimentar é adequado para nós ou não, quão seguro e saudável é. A situação é complicada se uma pessoa tem restrições alimentares, várias alergias ou segue uma dieta. O aplicativo Foodwise para Android permite digitalizar o código de barras de um produto e ver se vale a pena
use-o.
O aplicativo possui três seções principais: "Perfil", "Câmera" e "Histórico".
No seu "Perfil", suas preferências são definidas: na seção "Ingredientes", você pode excluir da dieta qualquer um dos 60.000 ingredientes listados no banco de dados e ler informações sobre suplementos eletrônicos. Os "grupos" permitem excluir imediatamente todo um bloco de ingredientes. Por exemplo, se você especificar "Vegetarianismo", todos os produtos que contenham carne serão destacados em vermelho.
Existem dois modos na seção "Câmera": digitalizar códigos de barras e reconhecer legumes e frutas. Após a leitura do código de barras, você obterá todas as informações do produto. Os ingredientes que você excluir serão destacados em vermelho.
No "Histórico" serão armazenados todos os produtos digitalizados anteriormente. Esta seção está equipada com pesquisa por texto e voz.
O modo de reconhecimento de frutas e legumes permite obter informações sobre seus valores nutricionais e energéticos. Por exemplo, uma maçã contém aproximadamente 25 gramas.
carboidratos, o que é inaceitável para pessoas com uma dieta pobre em carboidratos.
O aplicativo está escrito em Kotlin, na "Câmera" o Kit ML é usado para digitalizar códigos de barras e identificar frutas e legumes. O back-end consiste em dois serviços: a API do servidor com o banco de dados, em
que armazena 60.000 ingredientes e formulações de 100.000 produtos, além de uma rede neural escrita em Python e Tensorflow.
Equipe do projeto: Artyom Andryukhov, Ksenia Glazacheva, Dmitry Salman.
Serviço de presentes em realidade aumentada
Cada pessoa pelo menos uma vez na vida recebeu presentes simbólicos. Muitas vezes, para as pessoas, o fato de atenção é mais importante do que o presente recebido. Tais presentes não são úteis, mas sua produção e descarte têm um impacto negativo na natureza do nosso planeta. Assim, os autores do projeto tiveram a ideia de criar um serviço para a venda de presentes com realidade aumentada.
Para verificar a relevância da ideia, realizou um estudo. 82% dos entrevistados enfrentaram o problema de escolher um presente. Para 57% dos entrevistados, a principal dificuldade na escolha foi o medo de que seus presentes não fossem usados. 78% das pessoas estão dispostas a mudar para resolver problemas ambientais.
Os autores apresentam três pontos:
- Presentes vivem em um mundo virtual.
- Não ocupe espaço.
- Sempre por perto.
Para implementar a realidade aumentada na web, os autores escolheram a biblioteca AR.js, que consiste em duas partes principais:
- O primeiro é responsável por desenhar gráficos em cima do fluxo da câmera usando o A-Frame ou o Three.js.
- A segunda parte é o ARToolKit, responsável por reconhecer um marcador (um caractere especial que pode ser impresso ou exibido na tela de outro dispositivo) no fluxo de saída da câmera. Um marcador é usado para posicionar gráficos. A presença do ARToolKit não permite criar uma realidade aumentada sem marcador usando AR.js.
O AR.js esconde muitas "armadilhas". Por exemplo, seu uso em conjunto com o A-Frame pode "quebrar" os estilos em todo o site. Portanto, os autores usaram o "pacote" de AR.js + Three.js, o que ajudou a resolver alguns dos problemas. E para incorporar o AR.js com base no Three.js no React, no qual o site do projeto está escrito, tive que criar um repositório do AR-Test-2 (
https://github.com/denisstasyev/AR-Test-2 ), no qual um Reagir o componente para usar o AR.js com base no Three.js. O modelo foi visualizado em realidade aumentada e em 3D (para dispositivos sem câmera).
No entanto, mais tarde ficou claro que os usuários não entendem o que é um marcador e como usá-lo. Portanto, os autores mudaram para a tecnologia <model-viewer>, que agora é ativamente desenvolvida pelo Google. Ele usa o ARKit (iOS) ou o ARCore (Android) para exibir modelos em realidade aumentada sem um marcador. A tecnologia é baseada no Three.js e inclui um visualizador de modelos 3D. A usabilidade do programa melhorou significativamente, no entanto, para visualizar a realidade aumentada, você precisa de um dispositivo com iOS 12 ou posterior.
Agora, o projeto está disponível em (
https://e-gifts.site/demo ), onde você pode receber seu primeiro presente.
Equipe do projeto: Denis Stasiev, Anton Chadov.
Você pode ler mais sobre nossos projetos educacionais
neste link . E, muitas vezes, no canal
Technostream , novos vídeos instrutivos sobre programação, desenvolvimento e outras disciplinas aparecem regularmente lá.