Prefácio
Há muito que me interesso pelo problema da consciência e sua conexão com o cérebro. Uma vez me deparei com um experimento de pensamento muito interessante chamado "Sala Chinesa". Não me lembro em qual publicação li sobre ele pela primeira vez, mas ele estava muito interessado em mim, então comecei a estudar o assunto. Somente depois de ler o artigo original [1], percebi que na maioria das fontes as idéias do autor são apresentadas de maneira simplista, distorcida e não totalmente compreendida. O experimento com a sala chinesa coloca perguntas e tenta dar respostas. As perguntas são muito interessantes e as respostas, na minha opinião, são insatisfatórias. Por isso, pensei durante muito tempo e decidi formular uma solução para esse problema, que será meu artigo.
Essence
Em 1980, o filósofo John Searle apresentou seu experimento mental pela primeira vez em um artigo no Minds, Brains e Programs of The Behavioral and Brain Sciences. O experimento causou muita controvérsia entre as pessoas envolvidas em problemas da filosofia da consciência e da inteligência artificial. O objetivo declarado do artigo era provar duas afirmações: 1) A intencionalidade de uma pessoa (e animais) é o resultado de propriedades causais do cérebro; e 2) a execução de um programa por computador não pode ser uma condição suficiente para o aparecimento de intencionalidade.
Três décadas antes do lançamento do artigo de Searle, Alan Thuring formulou seu conhecido critério para uma máquina inteligente, também conhecida como Teste de Turing: um computador capaz de manter um diálogo (textual) e passar como ser humano deve ser considerado razoável. No final dos anos 70, computadores e programas de IA chegaram ao ponto em que alguns de seus desenvolvedores começaram a afirmar que suas máquinas eram capazes de entender o inglês. O artigo de Searle, contendo o experimento descrito abaixo, foi em grande parte uma reação a essas alegações e a opinião geral de que um computador é, em princípio, capaz de entender a fala humana.
Qual foi o experimento? Searle sugeriu a introdução da sala em que a pessoa está. Dentro da sala, cartões com caracteres chineses desenhados podem ser servidos. A pessoa dentro da sala não fala nem lê chinês, então não entende o significado dos hieróglifos. Ao mesmo tempo, a pessoa recebeu instruções detalhadas sobre como operar com os cartões recebidos e quais cartões responder. Assim, uma pessoa fora da sala pode fazer várias perguntas com a ajuda de cartões e receber respostas inteligíveis. A pessoa que faz as perguntas deve ter a impressão de que a pessoa dentro da sala fala chinês e entende o significado de seu diálogo, mas, na realidade, apenas segue as instruções sem pensar e não entende uma palavra. Além disso, a pessoa na sala nem sequer é capaz de aprender gradualmente o idioma, pois os cartões sem sentido em chinês para ele são a única maneira de se comunicar com o mundo exterior.
Neste exemplo, é fácil ver o paralelo com o computador. O computador também opera com dados em código binário, o que não faz absolutamente sentido, a máquina simplesmente executa operações aritméticas e lógicas de acordo com as instruções nele estabelecidas.
Segundo Searle, um computador (ou uma sala chinesa) não é capaz de entender, porque opera apenas com construções sintáticas. O homem, por sua vez, percebe e opera com significados, e não apenas com os próprios símbolos, dos quais o computador não é capaz. Para resumir as idéias de Searle estabelecidas no artigo, ele não se opõe à idéia da existência de inteligência artificial como tal. Sua idéia principal é que, para a existência da consciência, um programa formal não é suficiente, mas é necessário um portador com propriedades que dêem origem à intencionalidade, enquanto um programa formal não faz sentido e não pode servir como portador de entendimento ou consciência: “... apenas uma máquina poderia pensar e apenas tipos muito especiais de máquinas, como cérebros e máquinas com poderes causais internos equivalentes aos do cérebro ... A intencionalidade em seres humanos (e animais) é um produto de características causais do cérebro ... A instanciação de um programa de computador nunca é, por si só, uma condição suficiente de intencionalidade ”[1]. Assim, Searle diz que a intencionalidade é uma propriedade necessária para o surgimento do pensamento, e essa intencionalidade é um produto de certas propriedades intrínsecas do cérebro. Uma máquina com as mesmas propriedades é capaz de pensar. Um computador clássico não possui essas propriedades; portanto, não importa qual programa seja escrito, não é capaz de levar à aparência de pensamento e, como resultado, à aparência de consciência.
"O objetivo do exemplo da sala chinesa era tentar mostrar isso, mostrando que assim que colocamos algo no sistema que realmente tem intencionalidade (um homem) e o programamos com o programa formal, você pode ver que o programa formal não carrega intencionalidade adicional. "Isso não acrescenta nada, por exemplo, à capacidade do homem de entender chinês". [1]
(O objetivo do exemplo da sala chinesa era tentar refletir isso, mostrando que, assim que colocamos algo realmente intencional (humano) no sistema e o programamos com um programa formal, podemos garantir que esse programa formal não carregue nenhum intencionalidade adicional. Ele não adiciona nada, por exemplo, a capacidade de uma pessoa de entender chinês).
As idéias apresentadas por Searle não podem ser consideradas completas, o que causou um pouco de controvérsia em torno delas. No entanto, essas disputas não levaram a uma conclusão final. Nem Oponentes de Searle, nem seus apoiadores, nem o próprio filósofo chegaram à decisão de questões importantes, cujas respostas deveriam estar na base de pensamentos sobre consciência e IA: “Quais propriedades do cérebro dão origem à intencionalidade?”, “Qual é o objetivo? E como isso ocorre? ”,“ Qual é o processo de formação do entendimento? ”.
Neste artigo, tentarei dar respostas a essas perguntas.
Antes de tudo, vale a pena lidar com a intencionalidade - uma propriedade intrínseca do cérebro - que, segundo Searle, é tão necessária para a existência da consciência. Para fazer isso, quero voltar um pouco do tópico principal e considerar brevemente a origem e a evolução dos organismos vivos.
A evolução biológica pode ser vista como uma continuação da evolução química, que por sua vez é uma continuação da evolução física. De acordo com os conceitos cosmológicos modernos, após uma explosão maior, uma enorme quantidade de energia / substância foi liberada, que, à medida que o universo se expandiu e esfriou, condensou-se em um grande número de várias partículas. O tempo de vida da maioria das partículas, devido à sua instabilidade, acabou sendo extremamente curto e, com o tempo, apenas as partículas mais estáveis permaneceram, o que se tornou a base para a formação de átomos de elementos químicos conhecidos. Os átomos da substância interagiram, formando vários compostos. Os mais estáveis deles se acumularam, instáveis e deteriorados e unidos em estáveis. Como resultado dessas condições únicas na Terra, pareciam compostos que não eram apenas estáveis o suficiente, mas também podiam produzir duplicatas de suas moléculas, e então eram os ancestrais do DNA. Gradualmente, essas moléculas replicadoras, por meio de recombinação aleatória, evoluíram para um estado em que não apenas podiam reproduzir sua própria espécie, mas também criar condições favoráveis ao seu redor para uma existência e reprodução estáveis. Esse ambiente favorável criado tornou-se o ambiente interno de bactérias e organismos unicelulares, e as moléculas de controle, que já podem ser chamadas de DNA, adquiriram a função de apoiar o equilíbrio dinâmico do corpo (ambiente interno) - a homeostase. Depois, houve mutações e seleção natural que criaram aquele mundo vivo que conhecemos. A idéia de que todos os organismos vivos são apenas mecanismos complexos para a disseminação de uma molécula de DNA não é nova e foi examinada em detalhes, por exemplo, por Richard Dawkins [2]. Assim, pode-se traçar como a origem da vida segue as leis fundamentais do universo existente. Grosso modo, toda a evolução do Universo é apenas um movimento caótico de energia que obedece a leis probabilísticas. O que acontece provavelmente permanece no tempo é o mais estável. Uma célula viva, a menor unidade de vida, pode ser considerada uma enorme planta química com muitos processos químicos complexos, que por si só não têm nenhum objetivo interno, mas juntos mantêm um ambiente interno estável da célula, necessário para a existência e replicação do DNA. Dizemos que o objetivo de todos os seres vivos é a sobrevivência e a reprodução, esse é sem dúvida o ponto de vista da biologia, mas deve-se notar que o próprio homem “atribuiu” esses objetivos aos vivos, a fim de descrever o comportamento geral dos organismos vivos. Se formos consistentes com as reflexões sobre a evolução descritas acima, devemos admitir que os organismos vivos não têm objetivo ou intencionalidade intrínseca em princípio, assim como não há objetivo para uma maçã cair - ela obedece às leis físicas fundamentais (podemos dizer que a maçã busca cair, mas isso não significa que o desejo de cair se deva a algumas intenções intrínsecas da maçã). Um organismo vivo - um modo de existência da matéria devido apenas a leis físicas fundamentais, não há necessidade de magia adicional. Estou escrevendo sobre isso para mostrar que, em termos de intencionalidade, não há diferença fundamental entre os vivos e os não-vivos. O DNA é uma molécula, não tem nem pode ter objetivos, apenas direções são leis físicas e químicas, após as quais existe e controla a célula.
Ainda neste artigo, quando as palavras de propósito, necessidade e intencionalidade são usadas em relação aos organismos vivos, deve-se lembrar que esses conceitos são apenas abstrações convenientes usadas para descrever o comportamento por trás do qual existem processos reais causados por leis objetivas fundamentais e não fatores subjetivos nebulosos.
Como já mencionado, a principal característica distintiva dos organismos vivos das estruturas físicas inanimadas é a capacidade do primeiro de replicar e manter um ambiente interno estável - a homeostase. Essas são precisamente as propriedades (!), Mas, por conveniência, chamaremos essas propriedades de metas e voltaremos ao fato de que as metas dos organismos vivos são a reprodução e manutenção da homeostase. Considere o comportamento padrão de um organismo vivo.
Um organismo vivo não pode existir passivamente, à espera de favores do mundo exterior; ele precisa influenciar ativamente o meio ambiente para atingir seus objetivos - sobreviver e se multiplicar. São esses objetivos que são os pontos de partida para o seu comportamento. Mas como exatamente você se comporta? A principal questão que qualquer organismo vivo enfrenta em um dado momento é "O que fazer a seguir?". Considere um organismo unicelular simples hipotético. No esquema de seu trabalho, existem três elementos principais: o ambiente externo, o estado interno e o programa (1). Cada um deles pode ser o iniciador do movimento. Por exemplo, para responder à pergunta principal, é verificado um estado interno do corpo, que determina as necessidades atuais (por exemplo, nutrição). Na célula, essa verificação ocorre devido ao movimento aleatório de moléculas da substância do ambiente interno. Organelas individuais e DNA interagem com produtos químicos e reagem de acordo. Em resposta ao estado interno, é lançado um programa que é determinado pelo DNA e, em organismos multicelulares mais complexos, o programa é determinado pelo sistema nervoso. O programa inicia um processo que altera o estado interno, que por sua vez altera o ambiente externo (por exemplo, o corpo se move no espaço). O ambiente externo atua no estado interno e o ciclo é fechado. Esse esquema se aplica tanto aos organismos mais simples quanto aos mais complexos, incluindo seres humanos. Além disso, este esquema é aplicável a várias partes do corpo, a vários sistemas de diferentes níveis ".
(1)
Lembraremos do esquema considerado e retornaremos à sala chinesa. Como eu disse, o princípio de seu funcionamento é essencialmente idêntico ao dispositivo de um computador padrão, e o experimento em si demonstra perfeitamente os recursos limitados da máquina para entender o mundo ao seu redor. Mas ei, o cérebro não está na mesma situação que uma pessoa dentro de uma sala chinesa? De fato, o cérebro está lidando com a mesma alfabetização chinesa. O cérebro fica na escuridão do crânio, isolado de tudo, exceto do código sem sentido que recebe dos sentidos. Se conectarmos o eletrodo a uma célula nervosa, qualquer célula nervosa, não importa se pertence ao cérebro ou à retina do olho, tudo o que vemos é uma série de picos de energia. Por conveniência da observação, esses pulsos geralmente são conectados a um alto-falante e são ouvidos como um chiado irregular. Tal chilrear é produzido pelas células nervosas dos órgãos perceptivos - células da retina, células ciliadas do ouvido, etc. Este é o chilrear do cérebro e recebe dos sentidos. Tudo o que o cérebro pode saber sobre o mundo exterior é que ele se parece com o zumbido de bilhões de células. Nesse rumor, não há absolutamente nada indicando a presença de espaço e tempo, a existência de objetos ou pessoas ao redor. Sons, formas, cores, cheiros - tudo isso não parece uma conversa estranha e sem sentido. De nossa própria experiência, sabemos que o cérebro ainda conseguiu descriptografar esse código e usá-lo com bastante sucesso para orientação no mundo. Por que o cérebro faz isso, mas é fundamentalmente impossível para uma pessoa em uma sala chinesa (ou computador)? Afinal, eles estão na mesma posição! De fato, a última afirmação é errônea - sua posição é fundamentalmente diferente.
O fato é que o método de criação de um experimento mental privou uma pessoa dentro da sala de uma oportunidade fundamentalmente importante - uma pessoa não pode fazer perguntas lá fora. As condições do experimento dizem que ele pode aceitar cartões, manipulá-los de acordo com as instruções e, assim, responder às perguntas feitas a ele, embora a própria pessoa não entenda o que são essas perguntas, ela nem mesmo entende o que são essas perguntas. Além disso, uma pessoa que opera dentro de uma sala chinesa não busca nenhum objetivo com suas manipulações - não há intencionalidade. Os cartões não afetam o estado de uma pessoa dentro da sala; eles não são úteis nem prejudiciais, por exemplo, para a sobrevivência. Embora se possa dizer que as cartas afetam o estado interno da sala como um todo, uma vez que as forçam a manipular, essa influência é neutra, não aproxima o sistema do alvo e não o exclui, pois não há objetivo desde o início, exceto a manipulação por manipulação, como sem feedback. Se considerarmos o trabalho de uma célula nervosa e os sinais que ela recebe (de natureza química), torna-se óbvio que eles afetam diretamente o trabalho da célula. Eles mudam seu estado interno. Ao mesmo tempo, uma célula nervosa possui um modo operacional ideal e um estado interno, uma composição química ideal. Portanto, os sinais não apenas alteram o trabalho da célula, mas também alteram seu estado interno em relação ao valor alvo (ideal). O estado interno de destino é definido pelo programa, que é escrito em DNA. O DNA está em uma posição semelhante ao cérebro e ao CQ, porque não entra em contato diretamente com o mundo exterior, mas apenas através do ambiente intracelular. Assim, o estado interno ideal, que é o objetivo do funcionamento da célula, é uma condição e a causa da intrínseca inerente a essa célula, é definida pelo programa (DNA).
Podemos dizer que o próprio programa é portador de intencionalidade. Mas de onde veio a intencionalidade? Como já mencionado, o DNA existe e funciona de acordo com as leis físico-químicas. A replicação e outras funções associadas à manutenção da homeostase são propriedades de DNA derivadas dessas leis, e não os objetivos ou necessidades do DNA. Assim como a vermelhidão é propriedade de uma maçã vermelha, não sua intenção. Segue-se, como eu já disse no começo do artigo, que o que chamamos de intencionalidade dos organismos vivos, em essência, não é. Portanto, a pergunta "de onde vem a intencionalidade?" não faz sentido. A intencionalidade não existe, pois não está em nenhum outro lugar. Existe apenas uma cadeia de causas e efeitos que seguem as leis físicas universais. Intencionalidade é uma invenção humana e uma abstração conveniente, no entanto, eu também escrevi isso. Mas continuaremos a usar esse conceito, uma vez que é conveniente descrever o comportamento complexo dos organismos. Para resumir um pouco, vamos construir uma cadeia lógica de ocorrência de "intencionalidade":
Leis físicas → Leis químicas → DNA + evolução → Replicação e homeostase → Estado interno alvo → Intencionalidade (comportamento alvo)
Vamos voltar à questão do "entendimento". Em que consiste? Quando podemos dizer que a sala chinesa "entendeu"? Onde está a fronteira entre o sistema de entendimento e o sistema incapaz de entender?Uma única célula é capaz de qualquer "entendimento"? E se é capaz, então como é que uma célula que entende de uma célula não compreensível difere?
Você pode considerar os animais, pois seu sistema nervoso central diminui e simplifica, e se pergunta se esse animal é capaz de entender? Pessoalmente, é extremamente difícil para mim encontrar a fronteira entre entendimento e mal-entendido dessa maneira, então decidi ir de baixo para cima, começando com uma única célula nervosa.
, « », , , . , , , ( ) . , . (1) (2), .
(2)
, , , , () – , () – , () – . , : ; , ; ; ; . , . , «» , «» , .. . , , , , «» — . , , , , . . , , , , , .
. / . - , . , , .. . , - «» ( ) , . , «» , .
, , - . , : . . , , .. . , , , , - , . , , .. , . , . , , , . , .
. , , , . , , , .
, , , , . « » . «», .
Para resumir. (, ) ? :
1. . – / ;
2. . , , ;
3. . , , . , .. ( – ).
4. , . / . , , , , ( ) .
- .
, . « »? , . . , . () , , , . , . , , , .
, .. 4- ? , – . , , , . , . – .
– . . , / . , 25 . , . 25 , . . , ( 23 ), . .
, 4- () . – . «» 25 . . – . , , , , , «» «». «» – . – . – . , . . – . , .
, . - , - , - . , , [3]. , , , . .
, , . , . (1) .
, , . , , , . (, ). (1) : . → . → → . → . . «», . , , , .
, () , , () , . , « ?». , , (1): « ( )?».
Conclusão
Concluindo, voltemos aos pontos apresentados por John Searle em seu artigo.
1) A intencionalidade do homem (e dos animais) é o resultado de propriedades causais do cérebro.
Esta afirmação é apenas parcialmente verdadeira. Se você olhar com mais cuidado, as raízes da intencionalidade se aprofundam. O portador da intencionalidade de todos os seres vivos é o DNA. Esta é uma molécula complexa com uma propriedade chave - a capacidade de se auto-replicar. Foi essa propriedade que possibilitou a evolução do DNA, durante a qual a molécula construiu em torno de si organismos cada vez mais complexos. É o DNA que determina a estrutura, o desenvolvimento e o comportamento de um organismo vivo. O sistema nervoso central aparece um pouco mais tarde no processo de evolução. É necessário para gerenciar um organismo multicelular grande e complexo e é capaz de expandir significativamente o repertório comportamental. O cérebro é uma estrutura complexa, dinâmica e auto-organizada.
O estado interno do cérebro, por um lado, reflete características individuais do mundo externo, por outro lado, contém informações sobre o estado e o funcionamento do corpo. O objetivo do cérebro é manter o estado interno ideal do corpo. Para conseguir isso, o cérebro age de maneira reativa e proativa. Como pode ser visto a partir do raciocínio, o cérebro se encaixa bem no esquema do programa mundo externo <-> Estado interno <->. O cérebro, como o DNA, atua como transportador do programa. Este programa é parcialmente definido pelo DNA durante o desenvolvimento do corpo, parcialmente formado pela experiência de vida. Ele é armazenado na estrutura das conexões da rede neural e na atividade atual dos neurônios. O programa é portador de intencionalidade - a orientação do pensamento e do comportamento. Assim, podemos dizer que a intencionalidade do cérebro é determinada pela estrutura de suas conexões neurais e pelas propriedades dos próprios neurônios, e ambos são determinados na maior parte pelo DNA.
2) A execução de um programa por computador não pode ser uma condição suficiente para a aparência de intencionalidade.
Como foi demonstrado, o portador da intencionalidade nos organismos vivos é precisamente o programa codificado na estrutura do DNA. O meio físico em si não é fundamental nesse caso, o principal é que ele pode interagir com o ambiente interno e ter capacidade estrutural suficiente para acomodar o programa. Nesse sentido, o DNA não é de forma alguma preferível aos elementos semicondutores que compõem um computador. Qualquer organismo é, em última análise, uma máquina, uma talentosa solução de engenharia para a evolução. Qualquer máquina é o meio físico de um programa que é registrado na estrutura da própria máquina. Ao mesmo tempo, qualquer programa precisa de um meio físico para ser lançado.
Como tudo isso se relaciona com a capacidade de um computador entender a fala humana? Qualquer influência externa só faz sentido se for incorporada à cadeia de interações causais do Externo. Médio (exposição) → Int. Status → Programa → Interno Status → Ext. Meio ambiente (impacto). Isso também se aplica às palavras, com a única ressalva, já que as palavras são abstrações de alto nível, a cadeia causal parecerá mais complicada para elas, embora retenha a estrutura e o significado gerais. Em outras palavras, uma palavra, como todo o resto, só faz sentido se puder afetar o estado interno de forma que a desloque do estado de destino. Para uma pessoa, a palavra "vermelho" é de grande importância. Por exemplo, frutas vermelhas estão maduras e frutas verdes não. Esta é uma informação útil para a sobrevivência. Para um computador, para que a palavra vermelho tenha um significado, além disso, semelhante ao humano, ela precisa de sensores que sintam vermelho, o objetivo e a relação do vermelho com o objetivo. Em um deles, Searle estava absolutamente certo, os computadores modernos apenas fingem entender, porque seu "conhecimento" sobre as palavras não se baseia na experiência real, mas em outras palavras, que em teoria podem dar origem a um certo grau de entendimento, mas completamente diferente do humano. Além disso, os computadores e programas modernos não são dotados de estados-alvo internos, o que torna impossível fazer sentido.
PS A corrente de pensamento neste artigo vai de baixo para cima, de conceitos e objetos elementares a mais complexos e abstratos. As reflexões seguem a lógica da evolução e geralmente se baseiam no paradigma evolutivo. Essa abordagem parece ao autor a mais científica. A terminologia também se desenvolve de baixo para cima. Como resultado, os conceitos modernos obtêm uma nova interpretação. O autor não estabeleceu o objetivo de substituir termos e, mais ainda, não queria usá-lo como um dispositivo complicado para facilitar a tarefa de explicar o fenômeno do pensamento. Uma nova interpretação dos termos é uma consequência inevitável de um pensamento consistente com base em uma abordagem científica. A filosofia moderna da consciência costuma usar uma abordagem de cima para baixo e, portanto, constantemente manipula termos que se referem um ao outro. Como resultado, a imagem se assemelha a uma tentativa de sair do pântano com seu próprio bigode. A diferença deste artigo é que o pensamento deriva diretamente de leis fundamentais. Assim, o pensamento é privado de um halo de mistério e deixa de ser uma prerrogativa do homem, dos animais superiores e até mesmo dos animais em geral.
Você pode perceber que no artigo o conceito de pensamento é equiparado ao conceito de entendimento. É necessário esclarecer esse ponto para evitar mal-entendidos. Se falarmos sobre o pensamento em sua definição clássica, esse é um processo complexo de vários níveis, e o entendimento é apenas parte dele. Além disso, o entendimento na forma em que é usado neste artigo também fica aquém do original geralmente aceito. Você pode trazer uma hierarquia de conceitos geralmente aceitos existentes que estão próximos do problema discutido aqui:
Sensação → Percepção → Compreensão → Pensamento
A rigor, o que chamo aqui de ato de pensar está mais próximo em suas propriedades ao nível mais baixo dessa hierarquia - sensação. Aqui está a definição de sensação retirada da Wikipedia: " Sensação , experiência sensorial - o processo mental mais simples, que é um reflexo mental das propriedades e condições individuais do ambiente externo, sujeito a estímulos e estímulos internos ou externos, com a participação do sistema nervoso". Quanto à percepção , ela se baseia em sensações, mas é um processo mais complexo, que envolve a extração ativa de informações do mundo exterior, inclusive influenciando o mundo. O entendimento implica não apenas a percepção da informação, mas também a integração da informação recebida em sua própria estrutura de conhecimento. O pensamento está no topo da cadeia, inclui todos os níveis anteriores e outros processos que implicam a operação das informações recebidas (análise, síntese, abstração, classificação, etc.). Como cada nível subsequente da hierarquia de conceitos fornecida inclui o anterior, os conceitos se cruzam. Se você passar gradualmente do pensamento em sua totalidade e complexidade, como é representado nos seres humanos, para níveis mais elementares de pensamento, como nos animais mais simples, poderá notar que os conceitos de sensação, percepção, compreensão e pensamento gradualmente se juntam e assumem exatamente essa forma. , que eles receberam neste artigo, tornando-se um conceito único. Se analisarmos o ato elementar de pensamento descrito acima, ele incluirá os rudimentos de todos os conceitos incluídos na cadeia. A consideração do pensamento em seu nível elementar permite que você se livre do excesso de cascas e veja a essência do processo. O conceito de pensamento assim formado de novo é um bom ponto de partida para novas reflexões e pesquisas.
1. Searle J. Mentes, cérebros e programas. A filosofia da inteligência artificial / Boden M (ed.) Oxford. 1990. Publicado pela primeira vez no jornal: The Behavioral and Brain Sciences, 1980, No. 3, pp. 417-424.
2. Dawkins, Richard. Gene egoísta. - Per. do inglês M .: AST: CORPUS, 2013
3. Chalmers D. A Mente Consciente: Em Busca de uma Teoria Fundamental. M .: URSS, 2013