Entenda por que uma IA não é capaz de fazer traduções de alta qualidade

Desde 1950 estudiosos realizam testes para checar se a “inteligência da máquina” será capaz de superar os humanos

Com toda a empolgação e ansiedade sobre a IA em breve igualar ou superar a inteligência humana, verifica-se que essa tecnologia fez muito pouco progresso desde a década de 1950. ChatGPT e chatbots semelhantes baseados nos modelos de linguagem mais recentes e maiores ainda falham no teste de ambiguidade semântica. Em meu post anterior sobre Yehoshua Bar-Hillel, um pioneiro da tradução automática no início dos anos 1950, contei as histórias que ele narrou sobre domar leões e computadores no Primeiro Simpósio Anual da Sociedade Americana de Cibernética, em 1967.

Em sua palestra, Bar-Hillel também listou três requisitos para a “inteligência da máquina”: a capacidade de manipular a linguagem, ter conhecimentos prévios sobre o mundo e habilidades de raciocínio e computação, tudo no nível de um graduado do ensino médio. O esforço necessário para alcançar esses pré-requisitos de inteligência artificial, disse Bar-Hillel, “seria incomparavelmente maior do que o necessário para colocar o homem em Vênus”.

Quinze anos antes, em seu discurso de abertura da conferência de tradução automática que ele organizou no MIT em junho de 1952, Bar-Hillel era muito mais otimista: “mesmo que nenhuma das possíveis parcerias máquina-cérebro fosse mais eficaz do que um tradutor humano, no sentido de que não serão mais rápidos, nem mais baratos, nem mais exatos, nas condições existentes hoje ou no futuro próximo, eu defenderia fortemente a continuação desta pesquisa. Máquinas eletrônicas sem dúvida se tornarão mais baratas, cérebros humanos provavelmente mais caros”.

Em 1955, porém, Bar-Hillel tornou-se muito pessimista. Em “Uma Demonstração da Inviabilidade da Tradução Totalmente Automática de Alta Qualidade”, ele escreveu que a tradução de alta qualidade por computadores “é apenas um sonho que não se tornará realidade em um futuro previsível”. Os pesquisadores de tradução automática que não reconhecem a “futilidade prática desse objetivo”, escreveu Bar-Hillel, enganaram seus patrocinadores por “não estarem satisfeitos com um sistema de tradução parcialmente automatizado cujos princípios são bem compreendidos hoje”.

Ao virar da esquina, ou como a OpenAI disse em um anúncio recente , a superinteligência AI, “a tecnologia mais impactante que a humanidade já inventou”, pode chegar nesta década e “poder levar ao enfraquecimento da humanidade ou até mesmo à extinção humana”.

O exemplo que Bar-Hillel usou em seu artigo para demonstrar a futilidade de perseguir o sonho da tradução automática de alta qualidade foi a seguinte frase: “the box was in the pen” (em tradução para o português, “a caixa estava na caneta”, mas… há também outros significados, dependendo do contexto.

Aqui está o contexto linguístico de onde esta frase foi tirada: “Little John was looking for his toy box. Finally he found it. The box was in the pen. John was very happy.” Na tradução – mais provável, segundo uma IA – para o português: “O pequeno John estava procurando sua caixa de brinquedos. Ele finalmente a encontrou. A caixa estava na caneta. João ficou muito feliz”. A questão é se, nesse contexto, “pen” se refere ao objeto usado para escrever, a “caneta”, ou se há outro significado. Aqui reside o argumento do especialista.

Bar-Hillel explica este exemplo de ambiguidade semântica: “suponha, para simplificar, que ‘caneta’ em inglês (ou seja, ‘pen’) tenha apenas os dois significados a seguir: (1) um certo utensílio de escrita, (2) um recinto onde crianças pequenas podem brincar. Agora afirmo que nenhum programa existente ou imaginável permitirá que um computador eletrônico determine que a palavra caneta na frase dada dentro do contexto tem o segundo dos significados acima, ao passo que todo leitor com conhecimento suficiente de inglês fará isso automaticamente.”

Ao discutir as soluções propostas por outros pesquisadores de tradução automática, Bar-Hillel diz: “é um preconceito antigo, mas ainda assim um preconceito, que levar em consideração um ambiente linguístico suficientemente grande como tal será suficiente para reduzir a ambiguidade semântica de uma determinada palavra.”

Bem, esse era o estado do processamento de linguagem natural (PNL) na década de 1950. Eu tinha certeza absoluta, porém, de que os Large Language Models (LLM) de hoje, treinados em um número incontável de textos e capazes de processá-los (paralelamente), captariam o “contexto linguístico” e sempre acertariam.

Para entender melhor o estado da tradução automática BC (antes do ChatGPT), pedi ao Google Tradutor (que suponho que não use, no momento, o LLM mais recente) para renderizar o exemplo de Bar-Hillel em dois idiomas, hebraico e russo. O Google Tradutor traduz “a caneta” no sentido de um instrumento de escrita – em ambos os idiomas. “A caixa estava no instrumento de escrita” é o que se perdeu na tradução.

O Bard, a resposta do Google ao ChatGPT, era apenas um pouco “melhor” do que o Google Tradutor. Para o Bard, a caixa estava no curral no sentido de um recinto para animais.

Eu forneci ao Bard o contexto completo para a frase do artigo de Bar-Hillel, mas ainda assim obtive “fechamento de animais”. Quando protestei, Bard forneceu o seguinte:

“Está correto. A palavra hebraica מכלאה (mikhla’ah) significa ‘invólucro, caneta, dobra’. Pode ser usado para se referir a um pequeno recinto para animais, como um galinheiro ou um chiqueiro. Também pode ser usado para se referir a um recinto maior, como um zoológico ou um santuário de vida selvagem. No contexto da sua frase, a palavra מכלאה está sendo usada para se referir a um pequeno recinto para animais. A caixa foi encontrada neste anexo, e é por isso que a tradução usa a palavra hebraica מכלאה.”

O uso de “caneta” como pequeno espaço de armazenamento (é o segundo sentido da palavra no dicionário Merriam-Webster, com instrumento de escrita listado como o quarto sentido), e especificamente para brinquedos infantis, fica claro pelo contexto linguístico completo que eu forneci ao Bard. Ainda assim, pensando que talvez esse sentido fosse mais determinante na década de 1950 do que hoje e que talvez o Bard fosse preguiçoso e olhasse apenas para textos recentes, pedi ao Bard exemplos da literatura de “caneta” como “um recinto onde crianças pequenas podem brincar”.

Em segundos, consegui três imagens, as capas de “O Jardim Secreto”, “Adoráveis ​​Mulheres” e “As Aventuras de Tom Sawyer”, e citações relevantes desses livros. E esta explicação: “Nesses exemplos, a palavra ‘caneta’ é usada para se referir a uma área pequena e fechada onde as crianças podem brincar. O curral geralmente é cercado por uma cerca ou algum outro tipo de barreira e geralmente está cheio de brinquedos, jogos ou outras atividades que as crianças gostam.”

O conhecimento está lá, mas o Bard não ligou os pontos.

Por quê? Aqui está o que Bar-Hillel disse em 1955: “O que faz um leitor humano inteligente entender esse significado tão sem hesitação é… seu conhecimento de que os tamanhos relativos de canetas, no sentido de instrumentos de escrita, caixas de brinquedos e canetas, no sentido de cercadinhos, são tais que, quando alguém escreve em circunstâncias normais e em algo como o contexto dado, ‘the box was in the pen’, ele quase certamente se refere a um cercadinho e certamente não a uma caneta de escrever. Esse conhecimento não está à disposição do computador eletrônico e nenhum dos dicionários ou programas para a eliminação da polissemia põe esse conhecimento à sua disposição.”

A IA de hoje ainda não tem conhecimento do mundo no nível de uma criança de três anos. Os LLMs são um pequeno passo para o homem, mas estão longe de ser um salto gigantesco para a humanidade.

Um homem, Terry Winograd, deu um pequeno passo no final dos anos 1960 na longa e difícil jornada do processamento de linguagem natural. Como Bar-Hillel, poucos anos depois de domar um computador para participar de uma conversa, ele se tornou um “desertor de destaque do mundo da IA”, nas palavras de John Markoff.

Esta reportagem foi publicada originalmente no site Forbes, em 31 de julho de 2023.

Créditos da imagem: Unsplash.