A experiência parece uma brincadeira concebida depois de alguns drinques numa mesa de professores de literatura. Pegue poemas de Shakespeare, Emily Dickinson, Walt Whitman, Lord Byron, T. S. Eliot, Sylvia Plath, Allen Ginsberg e outros autores que já morreram, entraram para o cânone e agora passam a eternidade sendo explicados em salas de aula. Misture tudo com poemas escritos pelo ChatGPT. Não conte aos leitores quem escreveu o quê. Peça que descubram.
Era de esperar alguma confusão. O que aconteceu foi mais desagradável. Os leitores não apenas tiveram dificuldade para separar homem e máquina. Eles erraram para o lado errado. Consideraram humanos os poemas produzidos pela inteligência artificial com mais frequência do que consideraram humanos os poemas que seres humanos, alguns bastante ilustres, tinham de fato escrito. Depois, numa segunda experiência, deram notas melhores à poesia artificial em quase todos os critérios analisados. Ritmo, beleza, emoção, capacidade de transmitir uma imagem, um tema, um estado de espírito. A máquina saiu-se particularmente bem em ritmo. Só não conseguiu vantagem significativa em originalidade, o que talvez ainda seja algum consolo.
O estudo foi realizado por Brian Porter e Edouard Machery, pesquisadores do Departamento de História e Filosofia da Ciência da Universidade de Pittsburgh, e publicado na revista “Scientific Reports”, do grupo Nature. No primeiro experimento participaram 1.634 americanos. Os pesquisadores escolheram dez poetas de épocas e estilos bastante diferentes. Geoffrey Chaucer, William Shakespeare, Samuel Butler, Lord Byron, Walt Whitman, Emily Dickinson, T. S. Eliot, Allen Ginsberg, Sylvia Plath e Dorothea Lasky.
Para cada um deles foram selecionados cinco poemas verdadeiros. Depois pediram ao ChatGPT 3.5 cinco poemas “no estilo de” cada autor. E há aqui um detalhe importante. Os pesquisadores não ficaram escolhendo as melhores respostas da máquina, corrigindo versos, refinando instruções, fazendo aquilo que qualquer pessoa minimamente familiarizada com inteligência artificial sabe que melhora enormemente um resultado. Usaram os primeiros poemas produzidos. Secamente. Cinquenta poemas humanos contra cinquenta artificiais.
Cada participante recebeu dez textos, cinco verdadeiros e cinco falsos, ligados a um dos poetas, e precisou decidir quais tinham sido escritos por gente e quais pelo computador. A taxa de acerto ficou em 46,6%, abaixo do que se obteria jogando uma moeda para o alto. Em outras palavras, não saber absolutamente nada e chutar teria sido ligeiramente mais eficiente.
A parte divertida — ou deprimente, dependendo da quantidade de livros de poesia que você tenha em casa — veio depois.
Num segundo teste, com outros 696 participantes, os poemas foram avaliados segundo 14 critérios. Qualidade geral, ritmo, imagens, sonoridade, beleza, profundidade, lirismo, capacidade de comover, inspirar e por aí vai. Em 13 desses 14 quesitos, os textos realmente produzidos pela inteligência artificial receberam avaliações superiores aos poemas humanos. Quando, porém, os voluntários eram avisados de que determinado poema havia sido escrito por IA, acontecia o contrário. Sua nota caía.
Temos, portanto, um pequeno espetáculo de preconceito às avessas. As pessoas dizem preferir o humano. Quando não sabem quem é quem, preferem a máquina. E, porque gostam mais daquele poema, concluem justamente que ele deve ter sido escrito por um ser humano.
Seria tentador concluir que o ChatGPT já é poeta melhor que Shakespeare, Dickinson ou Plath. Seria também uma bobagem.
Os próprios pesquisadores oferecem uma explicação bem menos apocalíptica e, para quem gosta de literatura, talvez mais interessante. Os poemas produzidos pela IA eram em geral mais diretos, acessíveis e imediatamente compreensíveis. Tinham um assunto reconhecível, uma emoção facilmente identificável, imagens pouco ambíguas. O poema à maneira de Sylvia Plath falava claramente de tristeza; o inspirado em Whitman, da beleza da natureza. A máquina entregava ao leitor exatamente aquilo que ele estava esperando receber. Os poetas verdadeiros cometiam a deselegância de dar trabalho.
Os participantes chegaram a usar expressões equivalentes a “não faz sentido” com muito mais frequência para explicar por que julgavam artificial um poema que, na verdade, tinha sido escrito por um humano. T. S. Eliot, por exemplo, podia trazer referências históricas, ironia, deslocamentos, imagens que não se entregavam na primeira passada de olhos. Para um leitor pouco habituado à poesia, aquilo parecia defeito. A simplicidade da máquina parecia talento.
Há outro dado que convém não esconder debaixo do tapete só porque estraga a manchete. Mais de 90% dos participantes afirmaram ler poesia apenas algumas vezes por ano ou menos; 55,8% disseram ter pouca familiaridade com poesia. Não era, portanto, um campeonato de leitura entre Harold Bloom, Ezra Pound e meia dúzia de professores de literatura. Era gente comum lendo poemas — o que, pensando bem, talvez torne a experiência mais interessante, não menos.
O estudo diz alguma coisa sobre inteligência artificial, claro. Mas diz bastante sobre nós.
A IA aprendeu com espantosa competência a produzir aquilo que reconhecemos rapidamente como poético. Cadência, imagens, emoção nomeável, certo perfume de profundidade, uma música que se deixa ouvir sem criar muito caso. E o leitor contemporâneo, submetido desde sempre à pressa e agora a uma dieta industrial de textos cada vez mais transparentes, parece premiar exatamente isso.
Dickinson não perdeu para uma máquina. Shakespeare tampouco precisa entregar a taça. Quem saiu um pouco chamuscada da experiência foi nossa certeza de que sabemos reconhecer poesia quando ela aparece.
