O que os pesquisadores da IA ​​pensam sobre os possíveis riscos associados a ela

Fiquei interessado nos riscos associados à IA em 2007. Naquela época, a reação da maioria das pessoas a esse tópico era mais ou menos assim: "É muito engraçado, volte quando alguém que não seja idiota da Internet acreditará nele".

Nos anos que se seguiram, várias figuras extremamente inteligentes e influentes, incluindo Bill Gates , Stephen Hawking e Elon Musk , compartilharam publicamente suas preocupações sobre os riscos da IA, seguidos por centenas de outros intelectuais, de filósofos de Oxford a cosmólogos do MIT e investidores do Vale do Silício . E estamos de volta.

Então a reação mudou para: "Bem, alguns cientistas e empresários podem acreditar nisso, mas é improvável que sejam verdadeiros especialistas nesse campo e que sejam realmente versados ​​na situação".

A partir daí vieram declarações como o artigo da Popular Science " Bill Gates tem medo da IA, mas os pesquisadores da IA ​​devem saber ":
Tendo conversado com pesquisadores de IA - pesquisadores reais, que dificilmente fazem esses sistemas funcionarem, sem mencionar que funcionam bem, fica claro que eles não têm medo de que a superinteligência subitamente se apodere deles, nem agora nem no futuro . Apesar de todas as histórias assustadoras contadas por Mask, os pesquisadores não têm pressa em construir salas de proteção e autodestruição com uma contagem regressiva.

Ou, como escreveram no Fusion.net no artigo " Objeção sobre robôs assassinos de uma pessoa que está realmente desenvolvendo IA ":
Andrew Angie desenvolve profissionalmente sistemas de IA. Ele ministrou um curso de IA em Stanford, desenvolveu a IA no Google e depois se mudou para o mecanismo de busca chinês Baidu para continuar seu trabalho na vanguarda da aplicação da IA ​​em problemas do mundo real. Então, quando ele ouve sobre como Elon Musk ou Stephen Hawking - pessoas que não estão familiarizadas diretamente com a tecnologia moderna - estão falando sobre a IA, que pode potencialmente destruir a humanidade, você quase pode ouvi-lo cobrindo o rosto com as mãos.

Ramez Naam, da Marginal Revolution, repete aproximadamente a mesma coisa no artigo “ O que os pesquisadores pensam sobre os riscos da IA? ”:
Elon Musk, Stephen Hawking e Bill Gates expressaram recentemente preocupações de que o desenvolvimento da IA ​​possa implementar o cenário de “assassino da IA” e potencialmente levar à extinção da humanidade. Eles não são pesquisadores de IA e, até onde eu sei, eles não trabalharam diretamente com IA. O que os pesquisadores de IA real pensam sobre os riscos da IA?

Ele cita as palavras de pesquisadores de IA especialmente selecionados, como os autores de outras histórias - e depois para, sem mencionar opiniões diferentes disso.

Mas eles existem. Pesquisadores de IA, incluindo líderes no campo, expressaram ativamente preocupações sobre os riscos da IA ​​e além da inteligência, e desde o início. Começarei listando essas pessoas, apesar da lista de Naam, e depois passarei a explicar por que não considero isso uma "discussão" no sentido clássico esperado ao listar as estrelas.

Os critérios da minha lista são os seguintes: mencionei apenas os pesquisadores de maior prestígio, ou professores de ciências de bons institutos, com muitas citações de artigos científicos, ou cientistas muito respeitados do setor, que trabalham para grandes empresas e têm um bom histórico. Eles estão envolvidos em IA e aprendizado de máquina. Eles têm várias declarações fortes em apoio a um certo ponto de vista sobre o aparecimento de uma singularidade ou risco grave da IA ​​em um futuro próximo. Alguns deles escreveram obras ou livros sobre esse assunto. Outros simplesmente expressaram seus pensamentos, acreditando que este é um tópico importante e digno de estudo.

Se alguém não concordar com a inclusão de uma pessoa nesta lista ou acreditar que eu esqueci algo importante, informe-me.

* * * * * * * * * *

Stuart Russell é professor de ciência da computação em Berkeley, vencedor do Prêmio IJCAI de Computadores e Pensamento, pesquisador da Computer Mechanization Association, pesquisador da Academia Americana de Pesquisa Científica Avançada, diretor do Center for Intelligent Systems, vencedor do Prêmio Blaise Pascal, etc. etc. Co-autor de AI: uma abordagem moderna , um livro clássico usado em 1.200 universidades em todo o mundo. Em seu site, ele escreve:
No campo da IA, 50 anos de pesquisa estão em andamento sob a bandeira da suposição de que quanto mais inteligente, melhor. A preocupação com o benefício da humanidade deve ser combinada com isso. O argumento é simples:

1. A IA provavelmente será criada com sucesso.
2. Sucesso ilimitado leva a grandes riscos e grandes benefícios.
3. O que podemos fazer para aumentar as chances de obter benefícios e evitar riscos?

Algumas organizações já estão trabalhando nessas questões, incluindo o Instituto para o Futuro da Humanidade em Oxford, o Centro de Estudos de Riscos Existenciais em Cambridge (CSER), o Instituto de Estudos de Inteligência de Máquinas em Berkeley e o Instituto de Vida Futura em Harvard / MIT (FLI). Estou em conselhos consultivos com CSER e FLI.

Assim como os pesquisadores em fusão nuclear consideraram o problema de limitar as reações nucleares como um dos problemas mais importantes em seu campo, o desenvolvimento do campo da IA ​​inevitavelmente levantará questões de controle e segurança. Os pesquisadores já estão começando a levantar questões, desde puramente técnicas (os principais problemas de racionalidade e utilidade etc.) até questões amplamente filosóficas.

No edge.org, ele descreve um ponto de vista semelhante:
Conforme explicado por Steve Omohandro, Nick Bostrom e outros, uma discrepância de valores nos sistemas de tomada de decisão, cujas possibilidades estão em constante crescimento, pode levar a problemas - talvez até problemas da escala de extinção, se as máquinas forem mais capazes do que as pessoas. Alguns acreditam que não há riscos previsíveis para a humanidade nos próximos séculos, talvez esquecendo que a diferença de tempo entre a afirmação confiante de Rutherford de que a energia atômica nunca pode ser extraída e menos de 24 horas decorridas pela invenção da reação em cadeia nuclear iniciada por nêutrons .

Ele também tentou se tornar um representante dessas idéias na comunidade acadêmica, indicando :
Acho que as principais pessoas do setor, que nunca expressaram medo antes, pensam que esse problema precisa ser levado muito a sério e, quanto mais cedo o levarmos a sério, melhor.

David McAllister é professor e membro sênior do Instituto de Tecnologia da Toyota, afiliado à Universidade de Chicago, que trabalhou anteriormente nas faculdades do MIT e do Instituto Cornell. Ele é membro da American AI Association, publicou mais de cem trabalhos, realizou pesquisas nos campos de aprendizado de máquina, teoria da programação, tomada de decisão automática, planejamento da IA, linguística computacional e teve um grande impacto nos algoritmos do famoso computador de xadrez Deep Blue. De acordo com um artigo da Pittsburgh Tribune Review:
David McAllister, professor de Chicago, considera inevitável o surgimento da capacidade de máquinas inteligentes totalmente automáticas de projetar e criar versões mais inteligentes de si mesmas, isto é, o início de um evento conhecido como singularidade [tecnológica]. A singularidade permitirá que as máquinas se tornem infinitamente inteligentes, levando a um "cenário incrivelmente perigoso", diz ele.

Em seu blog, Thoughts on Cars , ele escreve:
A maioria dos cientistas da computação se recusa a falar sobre sucessos reais na IA. Eu acho que seria mais razoável dizer que ninguém é capaz de prever quando uma IA comparável à mente humana será recebida. John MacArthy me disse uma vez que quando lhe perguntam sobre quanto tempo a IA em nível humano será criada, ele responde que ela tem de quinhentos a quinhentos anos. MacArthy era inteligente. Dadas as incertezas nessa área, é razoável considerar o problema da IA ​​amigável ...

Nos estágios iniciais, a IA generalizada estará segura. No entanto, os estágios iniciais do OII serão um excelente local de teste para IA como servidor ou outras opções amigáveis ​​de IA. Ben Goertzel também anuncia uma abordagem experimental em um bom post em seu blog. Se a era de OIIs seguros e não muito inteligentes nos espera, teremos tempo para pensar em tempos mais perigosos.

Ele foi membro do grupo de especialistas do Painel da AAAI sobre Futuros de IA de Longo Prazo, dedicado às perspectivas de longo prazo da IA, presidiu o comitê de controle de longo prazo e é descrito a seguir :
Makalister falou comigo sobre a abordagem da "singularidade", um evento em que os computadores se tornam mais inteligentes que as pessoas. Ele não nomeou a data exata de sua ocorrência, mas disse que isso poderia acontecer nas próximas décadas e, no final, definitivamente aconteceria. Aqui estão seus pontos de vista sobre a singularidade. Dois eventos significativos ocorrerão: inteligência operacional, na qual podemos conversar facilmente com computadores, e uma reação em cadeia da IA, na qual o computador pode melhorar a si mesmo sem qualquer ajuda e depois repeti-la novamente. O primeiro evento que notaremos nos sistemas de assistência automática que realmente nos ajudarão. Mais tarde, será realmente interessante se comunicar com os computadores. E, para que os computadores possam fazer tudo o que as pessoas podem fazer, você deve aguardar o segundo evento.

Hans Moravek é um ex-professor do Instituto de Robótica da Universidade Carnegie Mellon, nomeado após ele o paradoxo de Moravec , fundador da SeeGrid Corporation , especializada em sistemas de visão de máquina para aplicações industriais. Seu trabalho, " Síntese de sensores nas redes de certeza de robôs móveis ", foi citado mais de mil vezes, e ele foi convidado a escrever um artigo para a Enciclopédia Britânica de Robótica, numa época em que artigos em enciclopédias eram escritos por especialistas mundiais nesse campo, e não centenas de comentaristas anônimos da Internet.

Ele também é o autor de Robot: From a Simple Machine to a Transcendental Mind , que a Amazon descreve da seguinte maneira:
Neste emocionante livro, Hans Moravek prevê que, em 2040, as máquinas se aproximarão do nível intelectual das pessoas e, em 2050, elas vão nos superar. Mas enquanto Moravec prediz o fim de uma era de domínio humano, sua visão desse evento não é tão sombria. Ele não está isolado de um futuro no qual as máquinas governam o mundo, mas o aceita e descreve um ponto de vista surpreendente segundo o qual os robôs inteligentes se tornarão nossos descendentes evolutivos. Moravec acredita que, ao final deste processo, "o vasto ciberespaço se unirá à super-mente desumana e lidará com assuntos tão distantes das pessoas quanto distantes dos seres humanos e bactérias".

Shane Leg é co-fundador da DeepMind Technologies , uma startup de IA comprada em 2014 por US $ 500 milhões pelo Google. Ele recebeu seu doutorado no Instituto de IA em homenagem a Dale Moul, na Suíça, e também trabalhou na Divisão de Neurobiologia Computacional. Gatsby em Londres. No final de sua dissertação, "superinteligência de máquina", ele escreve :
Se alguma coisa aparecer que possa se aproximar do poder absoluto, será uma máquina super-inteligente. Por definição, ela será capaz de atingir um grande número de objetivos em uma ampla variedade de ambientes. Se nos prepararmos com antecedência para essa oportunidade, não apenas evitaremos o desastre, como também iniciaremos uma era de prosperidade, diferente de tudo que existia antes.

Em uma entrevista subseqüente, ele diz :
A IA está agora onde a Internet estava em 1988. As necessidades de aprendizado de máquina são necessárias em aplicativos especiais (mecanismos de pesquisa como Google, fundos de hedge e bioinformática), e seu número está aumentando a cada ano. Penso que em meados da próxima década esse processo se tornará maciço e perceptível. O boom da IA ​​deve ocorrer por volta de 2020, seguido por uma década de rápido progresso, possivelmente após correções de mercado. A IA em nível humano será criada em meados de 2020, embora muitas pessoas não aceitem o início deste evento. Depois disso, os riscos associados à IA avançada serão colocados em prática. Não vou dizer sobre a “singularidade”, mas eles esperam que em algum momento após a criação da OII, coisas loucas começarão a acontecer. Está entre 2025 e 2040.

Ele e seus co-fundadores Demis Khasabis e Mustafa Suleiman assinaram uma petição ao Instituto para a Vida Futura em relação aos riscos de IA, e uma de suas condições para ingressar no Google era que a empresa concorda em organizar um conselho de ética em AI para estudar esses problemas.

Steve Omohundro é um ex-professor de ciência da computação da Universidade de Illinois, o fundador do grupo de visão e treinamento em computação do Centro para o Estudo de Sistemas Complexos e o inventor de vários desenvolvimentos importantes em aprendizado de máquina e visão por computador. Ele trabalhou em robôs que liam os lábios, a linguagem de programação paralela StarLisp, algoritmos de aprendizado geométrico. Atualmente, ele lidera o Self-Aware Systems ", uma equipe de cientistas que trabalha para garantir que as tecnologias inteligentes beneficiem a humanidade". Seu trabalho, “Os princípios básicos da motivação da IA, ajudou a gerar o domínio da ética das máquinas, pois observou que sistemas superinteligentes serão direcionados a objetivos potencialmente perigosos. Ele escreve:
Mostramos que todos os sistemas avançados de IA provavelmente têm um conjunto de motivações essenciais. É imperativo entender essas motivações para criar tecnologias que garantam um futuro positivo para a humanidade. Yudkovsky pediu uma "IA amigável". Para fazer isso, precisamos desenvolver uma abordagem científica para o “desenvolvimento utilitário”, que nos permita desenvolver funções socialmente úteis que levarão às seqüências que desejamos. Os rápidos avanços no progresso tecnológico sugerem que esses problemas podem se tornar críticos em breve.

Você pode encontrar seus artigos sobre o tópico "IA racional para o bem comum" no link .

Murray Shanahan é Ph.D. em ciência da computação em Cambridge e atualmente é professor de robótica cognitiva no Imperial College de Londres. Ele publicou trabalhos em áreas como robótica, lógica, sistemas dinâmicos, neurobiologia computacional e filosofia da mente. Atualmente, ele está trabalhando no livro Singularidade Tecnológica , que será publicado em agosto. A anotação promocional da Amazon é a seguinte:
Shanahan descreve os avanços tecnológicos na IA, ambos feitos sob a influência do conhecimento da biologia e desenvolvidos a partir do zero. Ele explica que quando a IA do nível humano for criada - uma tarefa teoricamente possível, mas difícil - a transição para a IA superinteligente será muito rápida. O Shanahan reflete sobre o que a existência de máquinas superinteligentes pode levar a áreas como personalidade, responsabilidade, direitos e individualidade. Alguns representantes da IA ​​superinteligente podem ser criados para o benefício do homem, outros podem ficar fora de controle. (Ou seja, Siri ou HAL?) A singularidade representa para a humanidade uma ameaça existencial e uma oportunidade existencial para superar suas limitações. Shanahan deixa claro que, se queremos alcançar um resultado melhor, precisamos imaginar as duas possibilidades.

Marcus Hutter é professor de pesquisa em ciência da computação na National Australia University. Antes disso, ele trabalhou no Instituto de IA em homenagem a Dale Mole, na Suíça, e no Instituto Nacional de Informática e Comunicações, na Austrália, e também trabalhou em aprendizado estimulado, descobertas bayesianas, teoria da complexidade computacional, teoria das previsões indutivas de Salomão, visão computacional e perfis genéticos. Ele também escreveu muito sobre singularidade. No artigo “A inteligência pode explodir? ” Ele escreve:
Este século pode testemunhar uma explosão tecnológica, cuja escala merece o nome de singularidade. O cenário padrão é uma comunidade de indivíduos inteligentes interagindo no mundo virtual, simulados em computadores com recursos de computação que aumentam hiperbolicamente. Isso é inevitavelmente acompanhado por uma explosão de velocidade, medida pelo tempo físico, mas não necessariamente por uma explosão de inteligência. Se o mundo virtual for povoado por indivíduos livres e em interação, a pressão evolutiva levará ao surgimento de indivíduos com inteligência crescente que competirão por recursos de computação. O ponto final dessa aceleração evolutiva da inteligência pode ser a comunidade dos indivíduos mais inteligentes. Alguns aspectos dessa comunidade singular podem teoricamente ser estudados com a ajuda de ferramentas científicas modernas. Muito antes do surgimento dessa singularidade, mesmo colocando essa comunidade virtual em nossa imaginação, é possível imaginar o surgimento de diferenças, como, por exemplo, uma queda acentuada no valor de um indivíduo, o que pode levar a consequências radicais.

Jürgen Schmidhuber é professor de IA na Universidade de Lugano e ex-professor de robótica cognitiva na Universidade de Tecnologia de Munique. Ele desenvolve algumas das redes neurais mais avançadas do mundo, trabalha com robótica evolucionária e na teoria da complexidade computacional e atua como pesquisador na Academia Europeia de Ciências e Artes. Em seu livro " Hipóteses de singularidades " , ele argumenta que "com a continuação das tendências existentes, enfrentaremos uma explosão intelectual nas próximas décadas". Quando perguntado diretamente no Reddit AMA sobre os riscos associados à IA, ele respondeu :
. - , ? , , : , . - . , , . , . . . , , encontre um nicho para a sobrevivência ".

Richard Saton é professor e membro do Comitê iCORE da Universidade de Alberta. Ele atua como pesquisador da Association for the Development of AI, co-autor do livro mais popular sobre aprendizado estimulado , pioneiro no método das diferenças de tempo, um dos mais importantes nesse campo.

Em seu relatórioem uma conferência sobre IA organizada pelo Instituto para o Futuro da Vida, Saton argumentou que "existe uma chance real de que, mesmo com nossas vidas", seja criada uma IA que seja intelectualmente comparável aos seres humanos e acrescentou que essa IA "não nos obedecerá". para competir e cooperar conosco ", e que" se criarmos escravos super inteligentes, teremos oponentes super inteligentes ". Em conclusão, ele disse que "precisamos pensar em mecanismos (sociais, legais, políticos, culturais) para garantir o resultado desejado", mas que "inevitavelmente as pessoas comuns se tornarão menos importantes". Ele também mencionou questões semelhantes na apresentação do Instituto Gadsby. Também no livro de Glenn Beckexistem essas frases: "Richard Saton, um dos maiores especialistas em IA, prevê uma explosão de inteligência em algum lugar no meio do século".

Andrew Davison é professor de visão de máquina no Imperial College London, líder em grupos de visão robótica e no Laboratório de Robótica Dyson e inventor do sistema informatizado de localização e marcação MonoSLAM. Em seu site, ele escreve :
, , , , 2006 : , (, 20-30 ). « » ( , ), , , , . , , , , , , .

, , , ( ). , . « » . , , , .

Alan Turing e Irving John Goode não precisam ser apresentados. Turing inventou os fundamentos matemáticos da ciência computacional e recebeu o nome de uma máquina de Turing, completude de Turing e teste de Turing. Goode trabalhou com Turing em Bletchley Park, ajudou a criar um dos primeiros computadores e inventou muitos algoritmos conhecidos, por exemplo, o algoritmo de transformação rápida e discreta de Fourier, conhecido como algoritmo FFT. Em seu trabalho, os carros digitais podem pensar? Turing escreve:
Vamos supor que essas máquinas possam ser criadas e considerar as conseqüências de sua criação. Tal ato, sem dúvida, será recebido com hostilidade, a menos que tenhamos avançado na tolerância religiosa desde a época de Galileu. A oposição será formada por intelectuais com medo de perder o emprego. Mas é provável que os intelectuais estejam enganados. Será possível fazer muitas coisas na tentativa de manter seu intelecto no nível dos padrões estabelecidos pelas máquinas, pois após o início do método da máquina, não leva muito tempo até o momento em que as máquinas superam nossas capacidades insignificantes. Em algum momento, devemos esperar que as máquinas assumam o controle.

Enquanto trabalhava no Atlas Computer Lab nos anos 60, Goode desenvolveu essa idéia em " Raciocínio para a primeira máquina ultra-inteligente ":
, , . – , . , , « », . , – , .

* * * * * * * * * *

Incomoda-me que esta lista possa dar a impressão de uma certa disputa entre "crentes" e "céticos" nessa área, durante a qual eles se esmagam em pedacinhos. Mas acho que não.

Quando leio artigos sobre céticos, sempre me deparei com dois argumentos. Em primeiro lugar, ainda estamos muito distantes da IA ​​do nível humano, sem mencionar a superinteligência, e não há uma maneira óbvia de alcançar tais alturas. Em segundo lugar, se você exige proibições de pesquisa em IA, você é um idiota.

Concordo plenamente com os dois pontos. Como os líderes do movimento de risco da IA.

Pesquisa entre pesquisadores de IA ( Muller & Bostrom, 2014) mostraram que, em média, dão 50% pelo fato de que a IA em nível humano aparecerá em 2040 ode e 90% - em 2075. Em média, 75% deles acreditam que a superinteligência ("inteligência da máquina, superando seriamente as capacidades") de cada pessoa na maioria das profissões ") aparecerá dentro de 30 anos após o advento do nível humano AI. E embora a técnica desta pesquisa suscite algumas dúvidas, se aceitarmos seus resultados, acontece que a maioria dos pesquisadores de IA concorda que algo que vale a pena se preocupar aparecerá em uma ou duas gerações.

Mas o diretor do Instituto de Inteligência de Máquinas, Luke Muelhauser, e o diretor do Instituto para o Futuro da Humanidade, Nick Bostrom, afirmaram que suas previsões para o desenvolvimento da IA ​​são muito posteriores às previsões dos cientistas participantes da pesquisa. Se você estudadados sobre as previsões de IA de Stuart Armstrong, pode-se ver que, em geral, as estimativas no momento do aparecimento da IA ​​feitas pelos apoiadores da IA ​​não diferem das estimativas feitas pelos céticos da IA. Além disso, a previsão de longo prazo nesta tabela pertence ao próprio Armstrong. No entanto, Armstrong está atualmente trabalhando no Instituto para o Futuro da Humanidade, chamando a atenção para os riscos da IA e a necessidade de pesquisar os objetivos da superinteligência.

A diferença entre apoiadores e céticos não está em suas avaliações de quando devemos esperar o aparecimento da IA ​​no nível humano, mas em quando precisamos começar a nos preparar para isso.

O que nos leva ao segundo ponto. A posição dos céticos, ao que parece, é que, embora provavelmente devamos enviar algumas pessoas inteligentes para trabalhar em uma avaliação preliminar do problema, não há absolutamente nenhuma necessidade de entrar em pânico ou proibir o estudo da IA.

Os fãs de IA insistem que, embora não precisemos entrar em pânico ou banir a pesquisa de IA, provavelmente vale a pena enviar algumas pessoas inteligentes para trabalhar em uma avaliação preliminar do problema.

Jan Lekun é sem dúvida o cético mais ardente dos riscos de IA. Ele foi abundantemente citado em um artigo sobre Popular Science , em um post sobre a Revolução Marginal , e também falou com o KDNuggets e o IEEEsobre as "inevitáveis ​​questões da singularidade", que ele mesmo descreve como "estando tão distantes que a ficção científica pode ser escrita sobre elas". Mas, quando solicitado a esclarecer sua posição, ele declarou:
Elon Musk está muito preocupado com ameaças existenciais à humanidade (é por isso que ele constrói foguetes para enviar pessoas para colonizar outros planetas). E embora o risco de uma rebelião de IA seja muito pequeno e muito distante do futuro, precisamos pensar sobre isso, desenvolver medidas e regras de precaução. Assim como o comitê de bioética apareceu nas décadas de 1970 e 1980, antes do amplo uso da genética, precisamos de comitês de ética em IA. Mas, como escreveu Yoshua Benjio, ainda temos tempo de sobra.

Eric Horvitz é outro especialista conhecido como o principal porta-voz do ceticismo e das limitações. Seu ponto de vista foi descrito em artigos como "O diretor da Microsoft Research acredita que a IA fora de controle não nos matará " e " Eric Horvitz, da Microsoft, acredita que a IA não deve ter medo ". Mas aqui está o que ele disse em uma entrevista mais longa com a NPR:
Keist: Horvitz duvida que os secretários virtuais se transformem em algo que conquistará o mundo. Ele diz que é esperado que uma pipa evolua para um Boeing 747. Isso significa que ele tira sarro de uma singularidade?

Horvitz: Não. Eu acho que houve uma mistura de conceitos, e eu também tenho sentimentos confusos.

Keist: Em particular, devido a idéias como singularidade, Horvits e outros especialistas em IA estão cada vez mais tentando lidar com questões éticas que podem surgir com IA de alvo restrito nos próximos anos. Eles também fazem perguntas mais futuristas. Por exemplo, como posso fazer um botão de desligamento de emergência para um computador que pode mudar sozinho?

Horvits: Eu realmente acredito que as apostas são altas o suficiente para gastar tempo e energia buscando ativamente soluções, mesmo que a probabilidade de tais eventos seja pequena.

Isso geralmente coincide com a posição de muitos dos mais ardentes agitadores de risco de IA. Com esses amigos, inimigos não são necessários.

O artigo da Slate, " Não tenha medo da IA " , também surpreendentemente coloca as coisas na luz certa:
Como o próprio Musk afirma, a solução para o risco de IA reside na colaboração sóbria e racional de cientistas e legisladores. No entanto, é muito difícil entender como falar sobre "demônios" pode ajudar a alcançar esse objetivo nobre. Ela pode até impedi-la.

Em primeiro lugar, existem enormes buracos na idéia do script da Skynet. Embora os pesquisadores do campo da ciência da computação acreditem que o raciocínio de Mask "não é completamente louco", eles ainda estão muito longe de um mundo em que o hype sobre a IA disfarça uma realidade um pouco menos da IA ​​com a qual nossos cientistas da computação são confrontados.

Ian Lekun, chefe do laboratório de IA do Facebook, resumiu essa ideia em uma postagem no Google+ em 2013: o hype está prejudicando a IA. Nas últimas cinco décadas, o hype matou a IA quatro vezes. Ela precisa ser interrompida. "Lekun e outros têm muito medo de exageros. O fracasso em atender às altas expectativas impostas pela ficção científica leva a graves cortes nos orçamentos da pesquisa em IA.

Os cientistas que trabalham com IA são pessoas inteligentes. Eles não estão interessados ​​em cair em armadilhas políticas clássicas, nas quais seriam divididos em campos e acusariam um ao outro de pânico ou avestruzismo. Aparentemente, eles estão tentando encontrar um equilíbrio entre a necessidade de iniciar um trabalho preliminar relacionado à ameaça que aparece em algum lugar distante e o risco de causar uma sensação tão forte que os atingirá.

Não quero dizer que não haja diferença de opinião sobre quanto tempo você precisa para começar a resolver esse problema. Basicamente, tudo se resume a saber se é possível dizer que "resolveremos o problema quando o encontrarmos" ou esperar uma decolagem tão inesperada, devido à qual tudo ficará fora de controle e para a qual, portanto, precisamos nos preparar. com antecedência. Vejo menos evidências do que gostaria que a maioria dos pesquisadores de IA com suas próprias opiniões entendam a segunda possibilidade. O que posso dizer, mesmo que, em um artigo sobre a Revolução Marginal, um especialista seja citado dizendo que a superinteligência não representa uma grande ameaça, porque "os computadores inteligentes não podem estabelecer metas para si mesmos", embora quem lê o Bostrom saiba que todo o problema é.

Ainda há uma montanha de trabalho a ser feito. Mas apenas para não selecionar especificamente artigos nos quais "verdadeiros especialistas em IA não se preocupam com a superinteligência".

Source: https://habr.com/ru/post/pt402379/


All Articles