Leitores incapazes de distinguir poesia de inteligência artificial e de humanos, revela estudo

Os leitores são incapazes de distinguir com segurança a poesia de sistemas de inteligência artificial (IA) e de humanos e são mais propensos a preferir os poemas gerados por IA, sugere um estudo hoje divulgado.

Segundo os autores do estudo, divulgado na publicação de acesso aberto Scientific Reports, os leitores preferem poemas produzidos pela IA por “serem mais diretos e acessíveis” do que os poemas escritos por poetas proeminentes.

Por outro lado, os leitores esperam preferir a poesia escrita por humanos, mas, à medida que descobrem que a poesia gerada por IA é “mais fácil de compreender”, interpretam, erradamente, esta preferência como “uma indicação de que o poema foi escrito por um humano”.

Numa primeira experiência, Brian Porter e Edouard Machery, da Universidade de Pittsburgh, nos Estados Unidos, testaram a capacidade de 1.634 participantes distinguirem a poesia gerada por IA e a escrita por um poeta.

De forma aleatória, foram-lhes apresentados dez poemas: cinco escritos por dez poetas conhecidos, incluindo William Shakespeare, Lord Byron, Emily Dickinson e T.S. Eliot, e cinco produzidos pela ferramenta ChatGPT3.5, ao estilo destes poetas.

Brian Porter e Edouard Machery verificaram que os participantes eram mais propensos a dizer que os poemas gerados pela ferramenta de IA foram escritos por uma pessoa, quando os cinco poemas que consideraram menos prováveis de serem produzidos por humanos foram, na realidade, todos escritos por poetas.

Numa segunda experiência, 696 participantes avaliaram 14 características dos poemas, nomeadamente qualidade, beleza, emoção, ritmo e originalidade.

Os participantes foram distribuídos aleatoriamente por três grupos, onde dispunham de informação de que os poemas foram escritos por uma pessoa, produzidos por IA ou não tinham qualquer informação sobre as origens do poema.

De acordo com o estudo, os participantes que foram informados de que os poemas tinham sido gerados por IA deram classificações mais baixas em 13 características, por comparação com os participantes que foram informados de que os poemas tinham sido escritos por humanos, independentemente de os poemas terem sido realmente gerados por IA ou escritos por poetas.

Os participantes que não foram informados sobre a autoria dos poemas classificaram os versos produzidos por IA de forma mais favorável do que os escritos por pessoas.