Quem nunca consultou uma página na Web e disse para si mesmo que o estilo nada era humano? O texto era muito suave e faltava alguma coisa. Pesquisadores da University College Cork queriam ver se a inteligência artificial era capaz de escrever como um ser humano. Em artigo publicado na revista Comunicações em Ciências Humanas e Sociaiseles analisaram histórias escritas por humanos e IA usando Estilometria, uma ferramenta estatística que ajuda a criar um impressão digital de um texto de acordo com seu estilo.
Os pesquisadores estavam interessados no desempenho do GPT-3.5, GPT-4 e Llama 70b baseado no Delta por Burrows. Seus resultados mostram uma clara diferença entre os estilos dos modelos de linguagem e os humanos. As diferentes produções são agrupadas de acordo com a sua origem, cada modelo apresentando uma escrita bastante uniforme. Para textos escritos por humanos, os estilos eram muito mais variáveis e individuais.
Representação da análise de estilo usando Burrows Delta. As produções dos humanos, em verde, são distintas das da IA. © O’Sullivan / Humanit Soc Sci Commun
IA escreve de maneira muito previsível
Em alguns casos, o GPT-3.5 pode se aproximar do estilo de escrita humano, mas isso é bastante raro. Em geral, a IA produz um estilo previsível e compacto, em comparação com a maior variedade de textos escritos por humanos. “ Embora a escrita gerada por IA seja muitas vezes organizada e consistente, ela tende a ter maior uniformidade na escolha e no ritmo das palavras. Em contrapartida, a escrita humana permanece mais variada e pessoal, refletindo os hábitos, preferências e escolhas criativas de cada pessoa. “, diz James O’Sullivan, que liderou o estudo.
No entanto, ele alerta contra o uso de estilometria para determinar se o texto foi gerado por IA. Esta ferramenta permite analisar um corpus de textos, mas não é fiável ao nível do indivíduo, cujo estilo varia consoante o tempo, a tarefa e a sua situação ou estado de espírito.