A professora não respondeu e anulou a nota de Ostovitz.
A mãe de Ostovitz, Stephanie Rizk, diz que sua filha é uma estudante de alto desempenho que se preocupa em ter um bom desempenho na escola e ficou alarmada quando a professora tirou conclusões precipitadas sobre o trabalho de Ostovitz tão cedo no ano letivo.
“Conheça o nível de habilidade deles e talvez seu detector de IA seja útil”, diz Rizk.
Rizk disse à NPR que se encontrou com a professora em meados de novembro e a professora disse que nunca viu a mensagem de sua filha.
O distrito escolar, Escolas Públicas do Condado de Prince George, deixou claro em um comunicado que o professor de Ostovitz usou uma ferramenta de detecção de IA por conta própria e que o distrito não paga por esse software.
“Durante a formação do pessoal, aconselhamos os educadores a não confiarem em tais ferramentas, uma vez que múltiplas fontes documentaram as suas potenciais imprecisões e inconsistências”, afirmou o comunicado.
A PGCPS recusou-se a disponibilizar o professor de Ostovitz para uma entrevista. Rizk disse à NPR que após a reunião, o professor não acreditava mais que Ostovitz usava IA.
Mas o que aconteceu com Ostovitz não é surpreendente.
Mais de 40% dos professores do 6.º ao 12.º ano inquiridos utilizaram ferramentas de deteção de IA durante o último ano letivo, de acordo com uma sondagem representativa a nível nacional realizada pelo Centro para a Democracia e Tecnologia, uma organização sem fins lucrativos que defende os direitos civis e as liberdades civis na era digital.
Isso apesar de numerosos estudos de pesquisa mostrarem que as ferramentas de detecção de IA estão longe de ser confiáveis.
“Está agora bastante estabelecido no campo da integridade académica que estas ferramentas não são adequadas à sua finalidade”, afirma Mike Perkins, investigador líder em integridade académica e IA na Universidade Britânica do Vietname.
Perkins descobriu que alguns dos detectores de IA mais populares – incluindo Turnitin, GPTZero e Copyleaks – sinalizaram algumas coisas como IA que não eram, e vice-versa. Suas taxas de precisão caíram ainda mais quando o texto da IA foi manipulado para parecer mais humano.
“Vimos alguns problemas realmente preocupantes com algumas das ferramentas de detecção de texto de IA mais prolíficas”, diz ele.
Apesar desses problemas, a NPR descobriu que distritos escolares de Utah a Ohio e Alabama estão gastando milhares de dólares nessas ferramentas.
Por que um dos maiores distritos do país usa software de detecção de IA
Perto de Miami, as Escolas Públicas do Condado de Broward estão gastando mais de US$ 550 mil em um contrato de três anos com a Turnitin. A antiga empresa de tecnologia educacional historicamente fornece às escolas software de detecção de plágio; em 2023, introduziu um recurso de detecção de IA. Quando os educadores colocam o trabalho dos alunos por meio dessa ferramenta, ela gera uma porcentagem, que reflete a quantidade de texto que o software determina que provavelmente foi gerado pela IA. Uma ressalva: segundo a empresa, pontuações de 20% ou menos são menos confiáveis.
“A ferramenta Turnitin é algo que nos ajuda a facilitar a conversa e o feedback, e não a avaliação”, diz Sherri Wilson, diretora de aprendizagem inovadora do distrito escolar de Broward, que matricula mais de 230 mil alunos e é um dos maiores distritos escolares do país.
Wilson diz que o distrito está “totalmente ciente” da pesquisa que mostra que as ferramentas de detecção de IA, incluindo o Turnitin, não são 100% precisas ou confiáveis.
A Turnitin também reconhece isso: no site da empresa, diz: “nossa detecção de escrita por IA pode nem sempre ser precisa… portanto, não deve ser usada como única base para ações adversas contra um aluno”.
Turnitin escreveu em uma declaração à NPR que é mais importante evitar acusar falsamente os alunos de trapaça do que capturar todos os escritos de IA.
Wilson diz que a ferramenta Turnitin ainda é valiosa porque economiza tempo dos professores ao verificar rapidamente o trabalho dos alunos em busca de suspeita de uso de IA.
Outra razão pela qual os professores de Broward têm acesso à ferramenta, diz Wilson, é que o distrito participa de programas acadêmicos, como o International Baccalaureate, ou IB, nos quais o trabalho dos alunos deve ser autenticado pelos professores antes de ser enviado para revisão externa.
Ambos os programas que Broward oferece, IB e Educação Internacional em Cambridge, disseram à NPR que as escolas não são obrigadas a usar software de detecção de IA como parte do processo de autenticação. No entanto, Broward disse à NPR em um comunicado: “optamos por fornecer aos nossos professores (Turnitin) como uma das ferramentas para atender aos requisitos”.
Mas Wilson diz que os professores são a autoridade máxima para determinar se o trabalho de um aluno é seu – e não a ferramenta de detecção de IA.
“Eles estão usando essas ferramentas como feedback para depois terem momentos de ensino com os alunos”, diz ela.
Por que um professor usa ferramentas de detecção de IA
O professor de línguas e literatura John Grady diz que, para ele, as ferramentas de detecção de IA fornecem “um ponto de partida” para iniciar uma conversa com um aluno que pode ter usado IA.
“Certamente não é infalível”, diz ele. “Mas isso lhe dá algo para pendurar o chapéu.”
Grady leciona na Shaker Heights High School, parte do distrito escolar da cidade de Shaker Heights, nos arredores de Cleveland. O distrito atende cerca de 4.400 alunos e está pagando à GPTZero, outra empresa de software de detecção de IA, cerca de US$ 5.600 este ano por licenças anuais para 27 professores do distrito. A ferramenta calcula uma probabilidade percentual de que o trabalho de um aluno seja gerado por IA.
Grady diz que coloca todas as redações dos alunos no GPTZero; se a ferramenta mostrar mais de 50% de probabilidade de IA ter sido usada para a tarefa, Grady vai mais fundo. Isso inclui o uso de ferramentas de histórico de revisões para ver quanto tempo um aluno gastou em uma tarefa e quantas edições ele fez durante o processo de redação. Se parecer que um aluno fez apenas algumas edições e quase não gastou tempo escrevendo, ele entrará em contato com esse aluno.
“E eu direi: ‘Ei, isso foi sinalizado. Você pode me falar sobre o porquê?’ Eu diria que na maior parte do tempo, cerca de 75%, se fosse IA, eles diriam, ‘Sim, eu fiz.’ E eu pensei, ‘OK, bem, agora você tem que reescrevê-lo com menos crédito’”, diz Grady.
Edward Tian, cofundador e CEO da GPTZero, diz que é assim que os educadores deve estar usando a ferramenta de sua empresa.
“Definitivamente não acreditamos que esta seja uma ferramenta de punição”, diz Tian. “Isso precisa ser uma ferramenta no kit de ferramentas e não a prova definitiva.”
Ele diz que é importante entender que uma pontuação de probabilidade GPTZero abaixo de 50% significa que é mais provável que o texto tenha sido gerado por humanos do que gerado por IA. Ele diz que pontuações acima de 50% justificam um exame mais detalhado – como o que Grady descreve.
Tian não contesta a pesquisa que mostra que o GPTZero nem sempre é confiável. Mas ele observa que há educadores, como Grady, que ainda o consideram valioso pelas informações que fornece.
Ele diz que ferramentas como a dele oferecem um “sinal sobre o que está acontecendo em sua sala de aula”, mas que os professores devem sempre acompanhar os alunos se esse sinal mostrar algo preocupante.
Os céticos da detecção de IA
Zi Shi, júnior de Shaker Heights, cuja primeira língua é o mandarim, diz que seu estilo de escrita às vezes pode parecer IA “por causa da repetição de palavras que uso. Sinto que é por causa de quão limitado é meu vocabulário”.
Shi – que não é aluno de Grady – diz que ainda está trabalhando em suas habilidades de escrita e está preocupado que o software de detecção de IA possa ser tendencioso contra falantes não nativos de inglês como ele.
Alguns educadores partilham esta preocupação, embora a investigação até agora seja limitada e contraditória.
Shi diz que uma tarefa que ele completou para sua aula de inglês no início deste outono foi sinalizada pelo GPTZero como possivelmente gerada por IA. Ele diz que seu professor sugeriu que o uso de uma ferramenta online chamada Grammarly pode ter acionado o software de detecção. Grammarly usa IA para corrigir a gramática e, se solicitado, gerar texto. (O professor confirmou o relato de Shi com a NPR.)
Shi diz que usou Grammarly apenas para limpar sua escrita e que ele mesmo escreveu a tarefa. “Foi definitivamente decepcionante ver o comentário sobre ser sinalizado como IA”, diz Shi.
Shi acha que os detectores de IA deveriam ser vistos como um “alarme de fumaça, onde é um sinal ou aviso. Mas, você sabe, às vezes pode ser como um alarme falso”.
Ele questiona se o distrito escolar deveria gastar milhares de dólares em software de detecção de IA. Ele diz que o dinheiro poderia ser melhor gasto no desenvolvimento profissional dos professores.
Carrie Cofer, professora de inglês do ensino médio no Distrito Escolar Metropolitano de Cleveland – a poucos quilômetros de Shaker Heights – compartilha dessa opinião.
No ano passado, como experiência, ela carregou um capítulo de seu doutorado. dissertação em GPTZero. “E surgiu algo como 89% ou 91% escrito por IA, e eu pensei, ‘Oh, não, não acho que isso esteja certo, porque era tudo meu’”, diz Cofer.
Cofer está ajudando seu distrito a moldar suas políticas e diretrizes de IA; ela diz que as escolas de Cleveland atualmente não pagam por software de detecção de IA e ela defenderia contra isso.
“Não creio que seja um uso eficaz do dinheiro deles”, diz Cofer. “As crianças vão contornar isso de uma forma ou de outra.”
Algumas soluções alternativas que os alunos podem recorrer incluem o uso de software de detecção de IA, tarefas de workshop para que não sejam sinalizados e o uso de programas “humanizadores de IA”, que afirmam fazer a escrita gerada por IA parecer mais humana.
Em última análise, diz ela, os professores precisarão se adaptar à IA, mudando a forma como ensinam e avaliam a aprendizagem dos alunos.
De volta a Maryland, Ailsa Ostovitz, estudante do ensino médio, também está se adaptando. Ela agora executa todas as tarefas de casa por meio de várias ferramentas de detecção de IA antes de entregá-las.
A redação é dela, diz ela, mas ela reescreverá as frases que o software identifica como possivelmente geradas por IA, uma etapa extra que acrescenta cerca de meia hora a cada tarefa.
“Acho que definitivamente fiquei mais vigilante em apresentar meu trabalho como meu e não como IA”, explica ela.
Ela não quer correr nenhum risco.
Este relatório foi apoiado por uma doação da Centro Tarbell para Jornalismo de IA.
