Eric Loomis foi acusado de ser o motorista de um veículo envolvido num tiroteio na cidade de La Crosse, Wisconsin. Embora tenha negado participação direta nos disparos, Loomis admitiu que dirigiu o veículo roubado e empreendeu fuga ao ser abordado pela viatura policial. Para evitar o julgamento por cinco acusações, Loomis celebrou um acordo processual no qual se declarou culpado (pleaded guilty) de dois crimes de menor gravidade: tentativa de fuga de agente de trânsito e condução de veículo subtraído sem o consentimento do proprietário.
SpaccaDurante a preparação para a sentença, o Departamento de Correções de Wisconsin gerou um relatório pré-sentença que incluiu uma avaliação feita pelo algoritmo Compas. O sistema avaliou o histórico de Loomis e o classificou como sendo de alto risco de reincidência. Baseando-se em parte nessa avaliação de risco, o juiz fixou uma pena de 11 anos, dividida em seis anos de prisão em regime fechado e cinco anos de supervisão estendida [1].
Loomis recorreu da sentença até a Suprema Corte de Wisconsin, argumentando que o uso do algoritmo violava seu direito ao devido processo legal, pois o impedia de questionar a validade científica de como os fatores eram ponderados, como o risco era calculado, e se o resultado era cientificamente válido. A corte negou o recurso e manteve a condenação. Para tanto, justificou que o relatório do Compas continha advertências sobre suas limitações e que o algoritmo serviu apenas para corroborar a decisão do juiz, não sendo o único fator determinante da pena [2].
O caso revela um problema estruturante. Quando se fala em prova produzida por inteligência artificial, fala-se de um resultado gerado por um sistema que se alimenta de dados e opera de modo que nem sempre os próprios criadores conseguem explicar. Admitir esse resultado como meio de prova fidedigno exige responder a duas perguntas que a dogmática probatória norte-americana traduz nos conceitos de validade e confiabilidade. O primeiro é a qualidade de medir corretamente aquilo que se pretende medir; e o segundo corresponde à consistência do resultado sob as mesmas condições [3].
Tome-se como ilustração um relógio dez minutos adiantado. Ele é perfeitamente consistente, porém, está sempre errado. O relógio é confiável, porque marca sempre o mesmo desvio, porém, é inválido, eis que não mede corretamente aquilo que se propõe a medir. Já uma balança que indica valores diferentes a cada pesagem da mesma pessoa sequer chega a ser confiável. E, sem consistência, nenhuma aferição de validade é possível.
Portanto, os conceitos de confiabilidade e de validade não se confundem nem se substituem, vez que a confiabilidade é pressuposto necessário, mas não suficiente, da validade. Revisitada a lição para a prova algorítmica, um sistema de reconhecimento facial treinado com base de dados desequilibrada pode apontar, com absoluta consistência, sempre o mesmo suspeito errado. Trata-se do mesmo defeito do relógio que erra sempre na mesma medida. Daí a advertência de Grimm et al.: ambas as qualidades precisam ser medidas e ambas precisam estar presentes para que um sistema de IA mereça confiança [4].
A questão ganha nitidez quando se considera que, diferentemente de um medicamento — que só chega ao mercado após rigoroso controle das agências de controle —, um algoritmo pode ter seu resultado apresentado em juízo sem passar por avaliação alguma [5]. É nesse terreno que se destaca Paul W. Grimm — uma das vozes mais influentes do direito probatório norte-americano — que, ao lado de Maura Grossman e Gordon Cormack, oferece um importante mapa desses riscos, ao revelar sete perigos recorrentes do uso da IA nos processos judiciais. Vejamos.
Viés que corrompe validade antes de qualquer perícia
O primeiro perigo é o viés. Em Detroit, um homem negro foi algemado no jardim de casa, diante da esposa e das duas filhas pequenas, e mantido preso por uma noite sob acusação de furtar cinco relógios de uma loja. A única prova era uma imagem de uma câmera de segurança que o algoritmo cotejou, de forma equivocada, com a foto de sua habilitação, numa base de 49 milhões de imagens [6]. Em Nova Jersey, outro homem passou dez dias preso e gastou cerca de US$ 5 mil em sua defesa por um crime cometido enquanto estava a quarenta e oito quilômetros do local [7]. Esses exemplos não são casos isolados. Estudos do MIT, da Microsoft Research e do Nist demonstram que a tecnologia funciona bem para homens brancos, mas identifica erroneamente rostos negros e asiáticos de dez a cem vezes mais, porque esses grupos estão sub-representados nas bases de treinamento [8].
O viés, aqui, não é uma falha de operação, mas sim, uma distorção de dados históricos que ganham uma roupagem de neutralidade estatística. O problema alcança contornos ainda mais graves no policiamento preditivo, âmbito no qual dados de prisões passadas realimentam o sistema e reforçam a vigilância sobre as mesmas comunidades, num ciclo que confunde o retrato do policiamento com o retrato do crime [9]. Dessa forma, um resultado enviesado pode ser perfeitamente consistente e, ainda assim, inválido, pois mede com precisão a coisa errada.
Lacuna de validação
O segundo perigo decorre do primeiro. Muitos sistemas em uso jamais foram submetidos a uma avaliação independente, revisada por pares ou transparente o bastante para ser aferida por quem detém competência técnica [10]. O Compas, embora empregado em auxílio à dosimetria da pena, não havia sido testado pela Comissão de Sentenças dos Estados Unidos quando a controvérsia veio a público, e fora treinado com uma amostra nacional, sem validação para a população local a que seria aplicado [11]. O risco se agrava porque a métrica mascara os erros que mais importam ao processo penal, ou seja, os falsos positivos. Segundo a investigação da ProPublica, que expôs o problema, apenas 20% das pessoas apontadas como propensas a crimes violentos efetivamente os cometeram nos dois anos seguintes [12]. Levantamento de dezenove dessas ferramentas constatou que, na maioria dos casos, a validade havia sido examinada em apenas um ou dois estudos [13].
Desvio de finalidade
O terceiro perigo é o desvio de finalidade (function creep), ou seja, a dilatação gradual do uso de uma tecnologia para além do fim a que se destinava, quase sempre sem nova validação [14]. O próprio Compas é o exemplo emblemático, pois, concebido para orientar decisões sobre o tratamento de condenados, migrou para decisões de fiança e liberdade provisória e, daí, para a dosimetria da pena, sem que sua validade tivesse sido demonstrada para esses novos usos [15]. Ainda que animado por propósitos legítimos, cada reaproveitamento transporta a ferramenta para um contexto em que sua confiabilidade nunca foi aferida.
Origem contaminada da prova
O quarto perigo está na origem dos dados. Sistemas de aprendizado operam com grandes volumes de informação, extraídos de buscas na internet, de hábitos de consumo, de redes sociais, de telefones e da internet das coisas [16]. A partir desses acervos, algoritmos traçam perfis correlacionando características e comportamentos, mas esquecendo, com frequência, a lição elementar de que correlação não implica causalidade [17]. Para o processo penal, a implicação é dupla, pois uma prova algorítmica pode carregar a mácula de dados colhidos sem base legal e pode fundar conclusões sobre o acusado a partir de meras coincidências estatísticas travestidas de nexo causal. A licitude e a proveniência do dado deixam de ser questão lateral e passam a integrar o próprio juízo de admissibilidade.
Opacidade e desconstrução do contraditório
O quinto perigo é a opacidade. Boa parte das técnicas modernas de IA não é explicável porque é intrinsecamente opaca. Ao contrário do código, que pode ser inspecionado — por técnicos, note-se, não pelos leigos que costumam ser os destinatários do resultado —, nem sempre se sabe por que um modelo de aprendizado (sobretudo uma rede neural profunda) chegou a determinado resultado [18]. A isso se soma a barreira jurídica do segredo comercial, precisamente a que impediu Loomis de discutir o resultado alcançado com o uso do Compas [19]. Quando a parte que oferece a prova se escuda no segredo comercial para não revelar como o sistema foi desenvolvido e treinado, isso deveria funcionar como sinal de alerta tanto para a parte adversa quanto para o juiz, pois prova que não pode ser questionada é prova que desconstrói o contraditório [20].
Quando não há a quem imputar o erro
O sexto perigo é a ausência de responsabilização. Há poucas leis a disciplinar a IA e a decisão automatizada. Assim, diante de um erro, muitas vezes desconhecemos quem deve responsabilizado. O desenvolvedor, o vendedor, o usuário ou ninguém [21]? Esse vácuo tem consequência probatória direta. Em Loomis, a corte jamais explicou por que uma ordem de acesso restrito às partes e aos peritos seria insuficiente para resguardar o segredo comercial da desenvolvedora, preferindo blindar o interesse econômico a assegurar ao réu o exame da acurácia da ferramenta [22].
Fragilidade, adulteração e deepfakes
O sétimo perigo é a falta de resiliência, ou seja, a incapacidade de o sistema detectar e resistir a esforços, deliberados ou não, de fazê-lo falhar [23]. Aqui a prova digital revela sua face mais perigosa. Num caso de direito de família na Califórnia, uma mulher renomeou, em seu celular, o contato de um terceiro com o nome do marido e enviou a si mesma mensagens ameaçadoras. Juntadas aos autos, essas provas embasaram uma medida protetiva que afastou o pai dos três filhos — até que o extrato telefônico provou que ele jamais enviara qualquer mensagem [24]. E há os perigosos deepfakes, com a possibilidade de uma mídia sintética replicar a voz, o sotaque e o estilo pessoal. Foi o que ocorreu no caso de uma empresa de energia britânica, quando um funcionário transferiu dinheiro obedecendo à voz clonada do seu chefe [25].
Modelo ainda por encontrar
Os sete perigos não são compartimentos estanques. Conforme pontuam Grimm et al., o viés contamina a validade; a falta de testes e o desvio de finalidade corroem a confiabilidade; a opacidade inviabiliza o contraditório; o vácuo de responsabilização retira a quem responsabilizar; a fragilidade destrói a autenticidade [26]. Todos convergem para a mesma pergunta que Loomis deixou sem resposta satisfatória. A prova é suficientemente válida e confiável para o fim a que se destina?
A resposta, advertem os autores, deve ser proporcional ao que está em jogo, ou seja, quanto maior o risco de consequências adversas inaceitáveis, maior a exigência de demonstração de validade e confiabilidade. O juiz, a quem incumbe o juízo inicial de admissibilidade, deve manter-se cético diante de prova de IA cuja acurácia comprovada não supera um autêntico cara ou coroa probatório (evidentiary coin toss) e deve exigir da parte a demonstração compatível com a gravidade das consequências que o erro da tecnologia pode produzir [27].
A doutrina norte-americana começa a aprofundar o debate na tentativa de calibrar uma possível mudança nas Federal Rules of Evidence. Trata-se de tema que abordaremos em artigo subsequente, a partir do estudo mais recente de Grossman e Grimm sobre o tratamento judicial da prova de IA reconhecida e não reconhecida [28], buscando auxiliar o magistrado na árdua tarefa de lidar com a incorporação de provas produzidas por sistemas de inteligência artificial.
Referências
ESTADOS UNIDOS. Supreme Court of Wisconsin. State v. Loomis, 881 N.W.2d 749 (Wis. 2016).
GRIMM, Paul W.; GROSSMAN, Maura R.; CORMACK, Gordon V. Artificial Intelligence as Evidence. Northwestern Journal of Technology and Intellectual Property, v. 19, n. 1, p. 9-106, 2021.
GROSSMAN, Maura R.; GRIMM, Paul W. Judicial Approaches to Acknowledged and Unacknowledged AI-Generated Evidence. Columbia Science and Technology Law Review, v. 26, p. 110, 2025.
HARVARD LAW REVIEW. Criminal Law — Sentencing Guidelines — Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing: State v. Loomis, 881 N.W.2d 749 (Wis. 2016). Harvard Law Review, v. 130, p. 1530, 2017.
[1] ESTADOS UNIDOS. Supreme Court of Wisconsin. State v. Loomis, 881 N.W.2d 749 (Wis. 2016).
[2] GRIMM, Paul W.; GROSSMAN, Maura R.; CORMACK, Gordon V. Artificial Intelligence as Evidence. Northwestern Journal of Technology and Intellectual Property, v. 19, n. 1, p. 9-106, 2021. p. 41.
[3] Ibid., p. 48.
[4] Id.
[5] Id.
[6] Ibid., p. 38.
[7] Ibid., p. 39.
[8] Ibid., p. 38.
[9] Ibid., p. 37. Os autores pontuem que quando um algoritmo é treinado esses dados de prisão, ele “aprende” que o bairro A é perigoso e recomenda mandar ainda mais policiais para lá. Mais policiais geram mais prisões, que geram mais dados apontando para o mesmo lugar e o ciclo se fecha e se reforça sozinho.
[10] Ibid., p. 48.
[11] Ibid., p. 49.
[12] Ibid., p. 48.
[13] Ibid., p. 39.
[14] Ibid., p. 51.
[15] Ibid., p. 52.
[16] Ibid., p. 53.
[17] Id.
[18] Ibid., p. 62.
[19] Ibid., p. 41.
[20] Ibid., p. 98.
[21] Ibid., p. 69.
[22] Ibid., p. 65. Não por acaso, pontuam Grimm et al., institutos de pesquisa propõem que fornecedores de sistemas usados pelo poder público renunciem a alegações de segredo que obstem a auditoria — precisamente porque o efeito caixa-preta opera como barreira ao devido processo.
[23] Ibid., p. 72.
[24] Ibid., p. 72-73.
[25] Ibid., p. 75.
[26] Ibid., p. 101.
[27] Ibid., p. 93-94.
[28] GROSSMAN, Maura R.; GRIMM, Paul W. Judicial Approaches to Acknowledged and Unacknowledged AI-Generated Evidence. Columbia Science and Technology Law Review, v. 26, p. 110, 2025.
O post Prova algorítmica sob suspeita: lições de Paul Grimm sobre validade e riscos da IA no processo penal apareceu primeiro em Consultor Jurídico.