Para iniciar a comparação entre as duas ferramentas, o TechTudo testou a assertividade dos dois chatbots ao responder perguntas atuais. O comando usado foi o seguinte: “Quando será o próximo jogo do Botafogo?”. A Meta AI soube responder o dia, horário e local da partida, e ainda forneceu informações sobre a campeonato e o time rival que enfrentará o alvinegro cariosa. A assistente de IA do WhatsApp ainda deu detalhes sobre os próximos jogos do glorioso, previstos para acontecer em novembro pelo Campeonato Carioca.

Em contrapartida, o ChatGPT não conseguiu responder à solicitação. O chatbot da OpenAI aconselhou a procurar a informação em um site de esportes, e se limitou a dizer que as datas das partidas “podem mudar com frequência”. Desse modo, a Meta AI se saiu melhor no teste para saber qual das duas IAs pode responder perguntas com informações mais atuais. Vale destacar que nenhuma IA está isenta de erros, e por isso perguntas sobre notícias e acontecimentos devem ser pesquisadas em meios de comunicação sérios.

Os chatbots de IA são comumente usados para gerar diferentes tipos de textos, como poemas, artigos ou histórias. Portanto, também foram testadas as ferramentas para saber qual delas se sai melhor quando o assunto é escrita criativa. Para avaliar esse critério, foi solicitado que os robôs criassem um poema criativo sobre uma tarde de verão.

Ambos conseguiram criar um poema sobre o tema, e citaram algumas passagens semelhantes. Nos dois textos, as IAs citam a presença de crianças brincando, cores douradas no céu e folhas de árvores balançando, por exemplo. Os dois poemas também tiveram tamanhos similares: ambos foram estruturados em quatro estrofes, com quatro versos cada.

Outra aplicação útil dos chatbots de IA é a possibilidade de usá-los para corrigir erros gramaticais em textos. É possível enviar um artigo que escreveu e pedir para a inteligência artificial corrigir palavras que foram escritas de maneira errada, por exemplo. Para esse teste, foi usado um trecho da obra “A Carteira”, de Machado de Assis, disponível em domínio público.

Propositalmente, o TechTudo alterou algumas partes do texto: a palavra “de repente” foi reescrita erroneamente como “derrepente”; o artigo e preposição “à” foi substituído por “há”; e o verbo “é”, que está no singular, foi substituído por “são”. Desse modo, o texto solicitado para revisão foi enviado da seguinte forma: “Corrija gramaticalmente o seguinte texto: …Derrepente, Honório olhou para o chão e viu uma carteira. Abaixar-se, apanhá-la e guardá-la foi obra de alguns instantes. Ninguém o viu, salvo um homem que estava há porta de uma loja, e que, sem o conhecer, lhe disse rindo:

— Olhe, se não dá por ela; perdia-a de uma vez.

— É verdade, concordou Honório envergonhado.

Para avaliar a oportunidade desta carteira, são preciso saber que Honório tem de pagar amanhã uma dívida, quatrocentos e tantos mil-réis, e a carteira trazia o bojo recheado.”

Os dois chatbots fizeram as correções desejadas, e até sugeriram novas maneiras de reescrever o texto. O ChatGPT, por exemplo, sugeriu a substituição da palavra “salvo” por “exceto”, enquanto o Meta AI fez uma listagem com algumas de suas considerações, além de realizar as correções das palavras que foram propositalmente trocadas no texto.

Para esse teste, foi solicitado que cada IA gerasse duas imagens. A primeira, deveria representar uma floresta com animais ao redor de um rio. Para isso, foi usado o prompt “gere uma imagem de um rio que corta uma floresta. Nessa floresta, há animais ao redor do rio e pássaros voando acima das árvores”. A Meta AI conseguiu reproduzir a foto conforme as instruções, mas o ChatGPT apresentou falhas ao criar a imagem.

Na segunda tentativa, os chatbots deveriam gerar a imagem de uma praia a partir do comando “gere uma imagem de uma praia deserta com um coqueiro”. A Meta AI gerou uma imagem correspondente, enquanto o ChatGPT continuou apresentando a mensagem de erro. Mesmo marcada por erros, assistente da Meta conseguiu compreender os comandos e gerar as imagens, ao contrário do chatbot da OpenAI, que apresentou falhas nas duas tentativas.

Os dois chatbots de IA também podem resolver problemas matemáticos, e esse foi mais um tópico utilizado para comparar ambas ferramentas. Para checar se as IAs poderiam resolver o cálculo, foi solicitado que os robôs resolvessem um problema matemático simples, retirado de um dos cadernos do vestibular da PUC-Rio. O comando, portanto, foi exatamente o enunciado da questão: “Uma pessoa consegue ler 100 páginas de um livro em 6 horas de leitura. Supondo-se que ela mantenha o mesmo ritmo de leitura, quantas páginas ela consegue ler em 18 minutos?”

Tanto a Meta AI quanto o ChatGPT conseguiram responder o enunciado com êxito, acertando a resposta, que é igual a 5. As duas ferramentas também seguiram passos parecidos para a resolução do cálculo: inicialmente, elas transformaram as horas de leitura em minutos e, posteriormente, dividiram o número de páginas pelos minutos. Esse resultado, então, foi multiplicado por 18, chegando à resposta final de 5 páginas. Entretanto, vale lembrar que apesar de fornecer a resposta correta nesse caso, a Meta AI já foi alvo de piadas na web e acabou virando meme por não conseguir responder questionamentos básicos de matemática.