Reconstrução de imagens: 1 km de fibra, rede neural artificial e aprendizado profundo

Atualmente, as fibras ópticas tornaram-se parte integrante das mais diversas esferas da vida humana: da Internet doméstica à endoscopia. O uso de fibras ópticas é devido a várias vantagens: velocidade de transmissão, força física, largura de banda, segurança da informação, etc.

Para aumentar a taxa de transferência, uma fibra óptica multimodo (MMF) foi criada quando as informações são transmitidas por vários canais paralelos. Apesar de todas as suas vantagens, o MMF também possui várias desvantagens, uma das quais os pesquisadores decidiram eliminar para melhorar o processo de transferência de imagens. A linha inferior é a seguinte: quando uma amostra é projetada no lado proximal do MMF, a imagem que obtemos no lado distal é manchada, porque seus dados recebidos são distribuídos por vários modos com diferentes graus de propagação ao longo do comprimento da fibra. Os cientistas propõem o uso de uma combinação de fibra multimodo e aprendizado profundo em redes neurais artificiais para obter imagens precisas, inclusive ao usar a endoscopia. Vamos nos aprofundar no relatório dos pesquisadores e tentar entender como ele funciona e o que dá os resultados. Vamos lá

Base de estudo

Técnicas para usar redes neurais artificiais para descriptografar imagens transmitidas via MMF foram desenvolvidas há muito tempo. Assim, nos primeiros trabalhos, foi descrita uma rede de duas camadas, capaz de reconhecer cerca de 10 imagens que passaram por 10 metros de uma fibra costurada.

Neste estudo, o sistema é muito mais complexo, mas, segundo os cientistas, muito mais eficiente. O passo inicial foi coletar um grande número de amostras de manchas obtidas através da passagem de uma imagem através de um MMF. Eles se tornaram a base de conhecimento para o treinamento de DNN (rede neural artificial baseada em aprendizado profundo * ).


Exemplo de imagem salpicada

Aprendizado profundo * - uma combinação de métodos de aprendizado de máquina com base na apresentação, em vez de um algoritmo especializado para uma tarefa específica.

A arquitetura DNN é muito complexa e possui cerca de 14 camadas ocultas * .

Camada oculta * - uma rede neural artificial consiste em unidades computacionais (neurônios), que são divididas em 3 categorias: entrada, oculto e saída. As entradas recebem informações, as ocultas realizam vários cálculos e os fins de semana transmitem informações ainda mais.

Para realizar experimentos no DNN, foi criado um banco de dados com 20.000 números escritos manualmente. Em seguida, a base é dividida aleatoriamente em grupos:

• 16.000 dígitos - treinamento;
• 2.000 dígitos - verificação;
• 2.000 dígitos - teste.

Preparando para o experimento

A imagem abaixo mostra um diagrama de um sistema óptico que foi usado para coletar dados.

Imagem nº 1: diagrama de instalação:

Fonte de laser - uma fonte de radiação laser (feixe);
HWP - placa de meia onda;
M1 é um espelho;
SLM - modulador espacial de luz;
P é um polarizador linear;
L é a lente;
BS - divisor de feixe;
OBJ - objetivo do microscópio;
OF - fibra óptica;
CCD - câmera CCD.

E agora em ordem. Um feixe de laser com comprimento de onda de 560 nm direciona a luz através de uma fibra óptica gradiente * com um diâmetro de núcleo de 62,5 μm e uma abertura numérica * 0,275.

O gradiente MMF * é uma fibra óptica com um perfil de refração não uniforme, quando o índice de refração diminui gradualmente da borda para o eixo da fibra.

Comparação de tipos de fibra: multimodo passo, multimodo gradiente e modo único (de cima para baixo).

A abertura numérica * é o seno do ângulo máximo entre o feixe e o eixo. Nesse caso, há total reflexão interna na distribuição de radiação sobre a fibra.

Em um comprimento de onda específico, a fibra é capaz de suportar cerca de 4.500 modos espaciais. As amostras de entrada (imagens) são exibidas em um modulador de luz espacial, após o qual são redirecionadas usando o sistema 4f para a face proximal (próxima ao centro) do MMF. Na extremidade oposta da fibra, outro sistema 4f visualiza a mancha que emana da face distal (distante do centro) da fibra para a câmera CCD.

O CCD * é um dispositivo acoplado a carga que implementa a tecnologia de transferência controlada de carga no volume de um semicondutor.

Para verificar os modelos de fase e amplitude como sinais de entrada para o gradiente MMF, uma placa de meia onda foi instalada antes do SLM e um polarizador linear após o SLM.

Como mencionado anteriormente, os números escritos manualmente agiram como amostras. Eles foram retirados do banco de dados MNIST .

Antes de serem processadas pelo DNN, cada uma das imagens gravadas no CCD1 ou no CCD2 foi cortada em 1024 × 1024 pixels. Além disso, as imagens salpicadas obtidas foram reduzidas para 32 × 32 pixels e foram usadas como entrada para DNN.


Imagem No. 2

Nas imagens 2a e 2b , vemos padrões de números (0 e 4). 2c e 2d são os mesmos números, mas após a modulação de amplitude, quando a amplitude do sinal transmitido estava sujeita a alterações. 2e e 2f são dígitos da amostra após a modulação de fase, quando a fase da oscilação da portadora mudou em proporção direta ao sinal. Também vemos manchas, que foram fixadas na face distal da fibra depois de passar uma distância de 2 cm.

É bastante difícil distinguir manchas ( 2g e 2h ). No entanto, se compararmos as imagens 2d e 2h (por exemplo, considere a amostra "4"), podemos isolar a diferença que o DNN pode determinar ( 2i ). Assim, esses recursos distintivos permitirão ao sistema distinguir “0” de “4”, “2” de “9” etc.

Processamento de dados

Uma rede neural convolucional * do tipo Grupo de Geometria Visual (VGG) (3a) tornou-se a base do sistema para determinar manchas e imagens de entrada reconstruídas.

Rede neural convolucional * - Arquitetura da RNA, caracterizada pela operação de convolução, quando cada fragmento da imagem é multiplicado pela matriz de convolução elemento a elemento, após o qual o resultado é somado e gravado na mesma posição na imagem de saída.

Um exemplo de arquitetura de rede neural convolucional.

A introdução desse sistema permitiu decifrar imagens com maior precisão. Para reconstrução de imagens, foi utilizado o tipo de rede neural convolucional “U-net” com 14 camadas ocultas ( 3b ).


Imagem No. 3

Lembre-se de que a base de 20.000 números foi dividida em três grupos (16.000 para treinamento, 2.000 para testes e 2.000 para testes).

O grupo de treinamento foi processado em lotes de 50 para a rede de reconstrução e 500 para a rede de determinação. Ao mesmo tempo, as partes mudaram para evitar a reciclagem * .

Reciclagem * - o caso em que o sistema lida bem com os exemplos do conjunto de treinamento, mas não lida bem com os exemplos do teste.

Para minimizar o erro padrão, foi utilizado um algoritmo de otimização com uma taxa de treinamento de 1 x 10 ^-4 .

As redes passaram pela fase de treinamento não mais que 50 épocas (ciclos de retropropagação). Para cada caso, o treinamento foi repetido 10 vezes, a fim de coletar dados estatísticos sobre a precisão do sistema de treinamento.

Todos os DNNs foram implementados com base em uma única GPU NVIDIA GeForce GTX 1080Ti usando a biblioteca Python TensorFlow 1.5.

Resultados da pesquisa

Reconstrução

O primeiro parâmetro que os cientistas decidiram examinar com mais detalhes foi a capacidade do sistema de reconstruir os dados de entrada.



A imagem acima mostra os resultados da reconstrução dos números (0 ... 9), depois de passar os dados por uma fibra de 0,1 m, 10 me 1000 m de comprimento.

Como podemos ver, o resultado do procedimento é muito preciso, o que confirma a capacidade do sistema U-net de isolar as características distintivas extremas da imagem futura.

O grau de precisão da reconstrução também foi verificado. Este indicador diminui com o aumento do comprimento da fibra de 96,9% (0,1 m) para 90,0% (1000 m).

A diminuição da precisão se deve ao fato de que, com um comprimento de fibra de 1 km, surgem inomogeneidades de temperatura (expansão do material devido ao calor e / ou alteração no índice de refração), que alteram o caminho óptico do sinal. Esses processos levam ao fato de que o padrão de manchas na extremidade distal se torna instável, o que dificulta a reconstrução da imagem desejada.

Os pesquisadores observam que a exposição externa à fibra também reduz o grau de precisão da reconstrução da imagem. Portanto, com o aprimoramento adicional do sistema, a fibra óptica deve ser fornecida com isolamento térmico e um meio isotérmico para atingir o nível máximo de precisão da reconstrução.

O procedimento de reconstrução também nivela perfeitamente os artefatos na imagem processada.



Por exemplo, o sistema isola a imagem ( 2a ) da mancha distal ( 2g ), enquanto remove simultaneamente os defeitos projetados na borda proximal da fibra ( 2c e 2e ). Além disso, o sistema tenta eliminar artefatos que surgiram devido a contaminação ou defeitos na amostra ou imprecisões estruturais da própria fibra.

Classificação de amostras de cirf

O sistema pode recriar a imagem e a precisão desse processo é muito impressionante. Agora, passamos à análise da precisão com que o sistema é capaz de determinar onde está a imagem (número), ou seja, classificar os dados após sua reconstrução.



A partir do gráfico e da tabela acima, pode-se observar que a precisão da classificação diminui com o aumento do comprimento da fibra envolvida na transmissão. Uma tendência semelhante foi com a precisão da reconstrução. Independentemente do modelo de amplitude ou fase, a precisão diminui. Com 2 cm de fibra - 90% de precisão. Este é um bom indicador, mas a fibra é muito curta. Mas com um comprimento de 1 km, a precisão cai para 30%. Os pesquisadores atribuem isso ao aumento de perdas de dispersão, acoplamento de modo e desvio de ponto distal. Todas essas “interferências” são causadas pelo aumento no comprimento da fibra.


Alterações na saliência distal

A gravação foi feita com uma taxa de quadros de 83 qps. Como um experimento em uma fibra de 1 km, uma imagem vazia foi transmitida.


(a) e (b) - 2 quadros retirados do registro acima, (c) - sua comparação.

Esses quadros foram gravados com uma diferença de 2 segundos. E como vemos na imagem (c), a diferença entre eles é muito significativa. Tais mudanças bruscas no grão podem estar associadas a flutuações de temperatura do ambiente ou a fluxos de ar sobre o dispositivo (imagem nº 1), o que pode causar pequenas perturbações na fibra. Mas quando o comprimento da fibra aumenta, a força de tais distúrbios se torna perceptível.

Acontece que toda a operação do sistema será em vão devido a essas "interferências". No entanto, os cientistas não impedem essas dificuldades, mas os encorajam a pensar.

Decidiu-se realizar um estudo do deslocamento de manchas e como elas afetam a precisão da classificação da imagem. Para isso, a rede VGG foi treinada com base em 10.000 amostras (metade das disponíveis) e, em seguida, foi realizado o teste, mas com a outra metade das amostras. O processo foi repetido, mudando 2 grupos de amostras em alguns lugares. Os resultados mostraram que não há alterações significativas na precisão da classificação, uma vez que o deslocamento das manchas não é acidental, o que significa que a RNA é capaz de estudar, lembrar e determiná-la no processo.

A diferença entre amplitude e modulação de fase foi insignificante. Com um comprimento de fibra de 10 me modulação de fase, a classificação foi ligeiramente melhor do que com a modulação de amplitude. Isso ocorre devido a uma distribuição mais uniforme da luz sobre os modos da fibra óptica. Com a modulação de amplitude, o número de modos envolvidos na transmissão é limitado devido à excitação espacial seletiva das fibras.

Se considerarmos a opção de uma fibra com 1 km de comprimento, a modulação de amplitude já excede a fase. Quando a luz passa através de uma fibra longa, todos os modos estão envolvidos na transmissão de informações de uma só vez.


Matrizes de erro (matrizes de confusão)

A fim de melhorar a precisão da classificação, a RNA também foi treinada usando amostras já reconstruídas. Matrizes de erro também foram aplicadas, o que melhorou significativamente a precisão da classificação.

Por exemplo, no caso de uma fibra com 1 km de comprimento, há confusão entre os números 4 e 9, bem como entre 3, 5, 6 e 8.

Para confirmar, basta olhar para os resultados da reconstrução.


Números 4 e 9


Números 3, 5, 6 e 8



Os gráficos acima mostram alterações na precisão da classificação das imagens ao longo do tempo:

a - 10 m de fibra e manchas distais;
b - 10 m de fibra e imagens reconstruídas;
s - 1 km de fibra e manchas distais;
d - 1 km de fibra e imagens reconstruídas.

Para um conhecimento detalhado das nuances do estudo, recomendo vivamente a análise do relatório dos cientistas. Uma versão em PDF também está disponível na mesma página (o botão "Obter PDF").

Epílogo

Este estudo mostrou excelentes resultados, o que indica seu desenvolvimento futuro e implementação prática. Os métodos acima podem ser aplicados para telecomunicações (decodificação em multiplexação) e até em medicina (endoscopia).

Após calcular os custos de tempo, os cientistas descobriram que a maioria deles vai para a preparação do sistema, ou melhor, para o treinamento. E isso sugere que um sistema já treinado pode executar suas funções incrivelmente rapidamente, até milissegundos. A única limitação será a potência do hardware.

Certamente, muito mais terá que ser estudado no campo das redes neurais artificiais, com base no aprendizado profundo. Mas a utilidade deles é visível agora. Melhorar os sistemas existentes, qualquer que seja sua aplicação, é uma atividade tão importante quanto criar novos. Afinal, nem sempre é necessário reinventar a roda, se você pode simplesmente melhorá-la. O principal, como a prática demonstrou, é pensar fora da caixa, aprender com os próprios erros e com os dos outros, definir tarefas às vezes impossíveis e acreditar em nós mesmos. Se uma ideia pode beneficiar a humanidade, deve ser realizada.

Obrigado por ficar conosco. Você gosta dos nossos artigos? Deseja ver materiais mais interessantes? Ajude-nos fazendo um pedido ou recomendando a seus amigos, um desconto de 30% para os usuários da Habr em um análogo exclusivo de servidores básicos que inventamos para você: Toda a verdade sobre o VPS (KVM) E5-2650 v4 (6 núcleos) 10GB DDR4 240GB SSD 1Gbps da US $ 20 ou como dividir o servidor? (as opções estão disponíveis com RAID1 e RAID10, até 24 núcleos e até 40GB DDR4).

3 meses de graça ao pagar por um novo Dell R630 por um período de seis meses - 2 x HDD Intel Deca-Core Xeon E5-2630 v4 / 128GB DDR4 / 4x1TB ou SSD 2x240GB / 1Gbps 10 TB - de US $ 99,33 por mês , apenas até o final de agosto, faça o pedido pode estar aqui .

Dell R730xd 2 vezes mais barato? Somente nós temos 2 TVs Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 a partir de US $ 249 na Holanda e nos EUA! Leia sobre Como criar um prédio de infraestrutura. classe usando servidores Dell R730xd E5-2650 v4 custando 9.000 euros por um centavo?