Poderá uma inteligência artificial poupar-nos trabalho no nosso projeto de investigação? Será capaz de compreender o significado das palavras e classificá-las como nós queremos? Um grupo de colegas do projeto ESMAS-ES+, composto por Majo Domínguez, Iván Arias e por mim, propugemo-nos responder a estas perguntas. Analisámos a fiabilidade de vários modelos de IA (ChatGPT, Gemini) na anotação semântica de substantivos e comparámos os resultados cos dos restantes membros do projeto que realizárom a mesma tarefa. Quem conseguiria classificar melhor os substantivos de acordo co seu significado? As pessoas ou as IAs? Em que parte do processo ambos apresentariam mais problemas?

Por agora, os humanos ganhamos, mas não por muito. Os resultados fôrom suficientemente interessantes para os partilhar com outros especialistas, polo que fomos a Cavtat, perto de Dubrovnik (Croácia), para apresentar um póster no congresso EURALEX. Agora que o congresso acabou e estamos de volta na casa, é hora de fazermos um balanço da nossa experiência.

Durante o desenvolvimento do nosso sistema de anotação semântica, a ontologia léxica PORTLEX, aproveitamos a experiência acumulada de projetos anteriores no estudo de substantivos. Desta vez, utilizámos um texto em alemão tirado dum corpus de TED Talks. Esta fonte de textos variados e multilíngues deu-nos uma boa base, ainda que o experimento também apresentasse alguns desafios. Um dos maiores foi criar um prompt eficaz para os modelos de IA, o que nos levou a familiarizar-nos coa engenharia de prompts para podermos obter bons resultados. Além disso, os modelos de linguagem são atualizados constantemente e isto obrigou-nos a ajustar as nossas estratégias várias vezes.

Neste primeiro experimento com IA, vimos que os modelos de linguagem são bastante eficazes na identificação de substantivos num texto. No entanto, alguns substantivos escapam e não são reconhecidos corretamente, o que significa que as IAs não dão identificado tudo o que deveriam. Ainda assim, pensamos que, apesar de o desempenho destes modelos automáticos não ser ainda tão preciso como o das pessoas, os resultados representam um ponto de partida promissor, especialmente com ajustes adicionais nos prompts.

Participar no congresso EURALEX permitiu-nos apresentar o nosso trabalho à comunidade académica e profissional. O feedback doutros especialistas ajudou-nos a ver os resultados deste primeiro experimento de diferentes perspetivas e a identificar áreas-chave para melhorar as nossas metodologias. Portanto, este tipo de interação e colaboração é essencial para o crescimento de projetos tão específicos como o ESMAS-ES+. Além disso, em Cavtat, pudemos constatar que não somos os únicos a utilizar a IA na lexicografia. Em definitiva, a troca de ideias com colegas interessados no mesmo tema inspirou-nos e motivou-nos a continuar a melhorar a integração entre o trabalho humano e a inteligência artificial nesta área da linguística aplicada.