Decisões sensíveis e sistemas de alto risco
No primeiro artigo, abordamos o PL 2.338/2023 que tramita no Congresso Nacional e se apresenta como um marco legal para o uso ético e responsável da Inteligência Artificial (IA) no Brasil. Neste segundo artigo, aprofundaremos um ponto sensível do projeto: os sistemas de IA classificados como de alto risco, com especial atenção às aplicações nas áreas da saúde e dos recursos humanos (RH) — setores que lidam diretamente com direitos fundamentais, como a vida, a integridade física, a dignidade e o trabalho, importantes pilares previstos na Constituição Brasileira.
Um sistema é considerado de alto risco quando suas decisões têm potencial de causar impactos graves ou irreversíveis na vida dos indivíduos. Nas áreas de saúde e RH, isso se torna evidente. Uma IA que sugere diagnósticos médicos ou indica tratamentos, se falhar, pode comprometer a saúde ou colocar a vida de alguém em perigo. Da mesma forma, um algoritmo utilizado para triagem de currículos, promoções ou demissões pode reproduzir vieses discriminatórios, gerar exclusões injustas e afetar a carreira de um profissional.
Reconhecendo esses riscos, o PL estabelece que a IA de alto risco não pode atuar de forma autônoma e sem controle humano. Apesar de reconhecer que a IA é uma ferramenta inovadora esclarece que ela não pode atuar de forma autônoma. Percebemos a preocupação do legislador de garantir a utilização da IA como uma ferramenta, sem abrir mão da supervisão humana.
Para delimitar os cenários de alto risco, o artigo 17 destaca algumas atividades que exigem atenção especial. Entre elas estão: a utilização de IA em decisões sobre contratação, avaliação de desempenho, promoções e demissões (inciso III) e em diagnósticos médicos e procedimentos clínicos (inciso IX). Ou seja, na visão do legislador, a IA pode auxiliar, mas jamais substituir a análise crítica de um profissional habilitado. Em um contexto de saúde, um médico precisa validar uma recomendação do sistema antes de definir um tratamento. Da mesma forma, em uma empresa, decisões de contratação, promoção ou desligamento devem ser confirmadas por um gestor ou profissional de RH. Tais áreas são consideradas de alto risco e um erro ou viés da IA pode causar danos significativos, expondo a empresa a litígios e à perda de credibilidade.
O legislador também tratou da responsabilidade civil, estabelecendo no artigo 27, §1 que em caso de dano decorrente do uso de uma IA de alto risco, tanto o fornecedor quanto o operador respondem objetivamente. Na prática, isso significa que, se um algoritmo apresentar falhas que gerem prejuízos, o desenvolvedor e a empresa que o utiliza podem ser responsabilizados solidariamente.
Para as empresas, esse contexto significa que não basta contratar uma solução tecnológica. É fundamental preparar a estrutura interna e os contratos antes mesmo da implantação da IA. A primeira providência é a adequação contratual, garantindo que o acordo firmado com o fornecedor do sistema estabeleça obrigações claras de conformidade com os princípios legais, como não discriminação, segurança, explicabilidade e supervisão humana. O contrato deve exigir que o fornecedor elabore e mantenha atualizado um Relatório de Avaliação de Impacto Algorítmico (AIA), documento que descreve detalhadamente os dados utilizados, os riscos identificados, as medidas de mitigação e os protocolos de segurança adotados.
Também é indispensável prever que todas as falhas ou incidentes graves sejam comunicados imediatamente ao operador e às autoridades competentes, garantindo uma resposta rápida e eficiente. Neste ponto, será fundamental apresentar o AIA, comprovando a conformidade da IA com os requisitos legais para a operação de sistemas de alto risco.
Além das obrigações do fornecedor, a empresa que utiliza a IA deve adotar compromissos internos, garantindo a supervisão humana, de modo que nenhuma decisão seja tomada exclusivamente pela máquina. As equipes envolvidas precisam ser treinadas para interpretar os resultados gerados, identificar possíveis falhas e agir preventivamente. Além disso, os usuários e colaboradores devem ser informados, de maneira clara, sobre o caráter automatizado das interações e decisões, promovendo a transparência.
O contrato também deve definir como será tratada a responsabilidade em caso de danos. Embora a lei preveja a responsabilidade objetiva solidária, é possível estabelecer regras de ressarcimento entre fornecedor e operador. Por exemplo, se o dano tiver origem em um viés discriminatório decorrente de falha no algoritmo, a empresa poderá ser responsabilizada perante a vítima, mas terá direito a exigir ressarcimento desenvolvedor da IA.
Como se observa, a adoção de uma IA de alto risco exige planejamento, governança e alinhamento com os valores éticos e jurídicos. O PL 2.338/2023 deixa claro que a inovação tecnológica deve caminhar lado a lado com a proteção dos direitos fundamentais. Implementar sistemas de IA de alto risco sem a devida preparação é expor a empresa e as pessoas a perigos desnecessários. Por isso, a preparação prévia, baseada em contratos robustos e sistema de governança é uma vantagem estratégica em um mercado que valoriza a confiança, a transparência e a ética.