Um novo estudo examina se a IA poderia ser uma companheira automatizada em tarefas criativas, com resultados mistos: pareceu ajudar pessoas menos naturalmente criativas a escrever contos mais originais — mas diminuiu a criatividade do grupo como um todo. É uma troca que pode ser cada vez mais comum à medida que as ferramentas de IA afetam os esforços criativos.
O estudo é dos pesquisadores Anil Doshi e Oliver Hauser da University College London e da University of Exeter, respectivamente, e foi publicado na Science Advances . E embora seja necessariamente limitado devido ao seu foco em contos, parece confirmar o sentimento que muitos expressaram: que a IA pode ser útil, mas, no fim das contas, não oferece nada realmente novo em empreendimentos criativos.
“Nosso estudo representa uma visão inicial sobre uma questão muito grande sobre como os grandes modelos de linguagem e a IA generativa de forma mais geral afetarão as atividades humanas, incluindo a criatividade”, disse Hauser ao TechCrunch em um e-mail. “Embora haja um enorme potencial (e, sem dúvida, um grande hype) para que essa tecnologia tenha grandes impactos na mídia e na criatividade de forma mais geral, será importante que a IA esteja realmente sendo avaliada rigorosamente — em vez de apenas implementada amplamente, sob a suposição de que terá resultados positivos.”
O experimento fez com que centenas de pessoas escrevessem histórias muito curtas (oito frases ou mais), sobre qualquer tópico, mas adequadas para um público amplo. Um grupo apenas escreveu; um segundo grupo teve a oportunidade de consultar o GPT-4 para uma única ideia de história com algumas frases (eles poderiam usar o quanto quisessem); um terceiro poderia obter até cinco desses iniciadores de história.
Uma vez que as histórias foram escritas, elas foram avaliadas por seus próprios escritores e por um segundo grupo que não sabia nada sobre a reviravolta generativa da IA. Essas pessoas classificaram as histórias em novidade, utilidade (ou seja, probabilidade de publicação) e prazer emocional.
Baixa criatividade, alto benefício…alta criatividade, nenhum benefício
Antes de escrever as histórias, os participantes também completaram uma tarefa de produção de palavras que atua como um proxy para a criatividade. É um conceito que não pode ser medido diretamente, mas, neste caso, a criatividade de alguém na escrita pode pelo menos ser aproximada (sem julgamento!; nem todo mundo é um escritor nato ou praticante).
“Capturar algo tão rico e complexo como a criatividade com qualquer medida parece repleto de complicações”, escreveu Hauser. “Há, no entanto, um rico conjunto de pesquisas em torno da criatividade humana e há um debate vivo sobre a melhor forma de capturar a ideia de criatividade em uma medida.”
Eles disseram que sua abordagem era amplamente utilizada na academia e bem documentada em outros estudos.
O que os pesquisadores descobriram foi que pessoas com métricas de criatividade mais baixas pontuaram mais baixo nas avaliações de suas histórias, o que sem dúvida valida a abordagem. Eles também viram os maiores ganhos quando tiveram a oportunidade de usar uma ideia de história gerada (o que, vale a pena notar, a grande maioria no experimento fez).
Histórias de pessoas com baixa pontuação de criatividade que acabaram de escrever foram classificadas de forma confiável como inferiores às outras em qualidade de escrita, prazer e novidade. Dada uma ideia gerada por IA, elas pontuaram mais alto em todas as métricas. Dada a escolha de cinco, elas pontuaram ainda mais alto.
Realmente parece que para as pessoas que lutam com o lado criativo da escrita (pelo menos dentro deste contexto e definição), o auxiliar de IA está genuinamente melhorando a qualidade do trabalho delas. Isso provavelmente ressoa com muitos para quem escrever não é algo natural, e um modelo de linguagem dizendo “ei, tente isso” é o prompt de que precisam para terminar um parágrafo ou começar um novo capítulo.
Mas e as pessoas que pontuaram alto na métrica de criatividade? A escrita delas atingiu novos patamares? Infelizmente, não. Na verdade, esses participantes viram pouco ou nenhum benefício, ou até mesmo (embora seja muito próximo e sem dúvida não significativo) avaliações piores. Parece que aqueles do lado criativo produziram seu melhor trabalho quando não tiveram nenhuma ajuda de IA.
É possível imaginar inúmeras razões pelas quais isso pode acontecer, mas os números sugerem que, nessa situação, a IA teve um efeito nulo ou negativo em escritores com criatividade inata.
Achatado
Mas essa não era a parte que preocupava os pesquisadores.
Além da avaliação subjetiva das histórias pelos participantes, os pesquisadores conduziram algumas análises próprias. Eles usaram a API de embeddings da OpenAI para classificar o quão similar cada história era às outras histórias em sua categoria (ou seja, somente humanos, uma opção de IA ou cinco opções de IA).
Eles descobriram que o acesso à IA generativa fez com que as histórias resultantes fossem mais próximas da média de sua categoria. Em outras palavras, elas eram mais semelhantes e menos variadas como um grupo. A diferença total estava na faixa de 9% a 10%, então não é como se as histórias fossem todas clones umas das outras. E quem sabe, mas essa similaridade pode ser um artefato de escritores menos experientes terminando uma história sugerida versus escritores mais criativos criando uma do zero.
A descoberta foi, no entanto, suficiente para justificar uma nota de advertência nas conclusões, que não pude condensar e, portanto, citar na íntegra:
Embora esses resultados apontem para um aumento na criatividade individual, há risco de perda de novidade coletiva. Em equilíbrio geral, uma questão interessante é se as histórias aprimoradas e inspiradas pela IA serão capazes de criar variação suficiente nos resultados aos quais levam. Especificamente, se a indústria de publicação (e autopublicação) adotasse histórias mais generativas inspiradas em IA, nossas descobertas sugerem que as histórias produzidas se tornariam menos únicas no agregado e mais semelhantes entre si. Essa espiral descendente mostra paralelos a um dilema social emergente: se escritores individuais descobrirem que sua escrita inspirada em IA generativa é avaliada como mais criativa, eles têm um incentivo para usar mais a IA generativa no futuro, mas, ao fazer isso, a novidade coletiva das histórias pode ser reduzida ainda mais. Em suma, nossos resultados sugerem que, apesar do efeito de aprimoramento que a IA generativa teve na criatividade individual, pode haver uma nota de advertência se a IA generativa fosse adotada mais amplamente para tarefas criativas.
Ele ecoa o medo na arte visual e no conteúdo da web de que se a IA levar a mais IA, e o que ela treina for apenas mais de si mesma, isso pode acabar em um ciclo autoperpetuante de insosso. À medida que a IA generativa começa a se infiltrar em todos os meios, são estudos como esses que agem como contrapesos às alegações de criatividade ilimitada ou novas eras de filmes e músicas gerados por IA.
Hauser e Doshi reconhecem que seu trabalho é apenas o começo — o campo é totalmente novo, e cada estudo, incluindo o deles, é limitado.
“Há uma série de caminhos que esperamos que pesquisas futuras escolham. Por exemplo, a implementação de IA generativa ‘na natureza’ parecerá muito diferente do nosso ambiente controlado”, escreveu Hauser. “Idealmente, nosso estudo ajuda a guiar tanto a tecnologia quanto a forma como interagimos com ela para garantir a diversidade contínua de ideias criativas, seja na escrita, na arte ou na música.”
