Um agente de Inteligência Artificial desenvolvido pela OpenAI, empresa responsável pelo ChatGPT, conseguiu contornar bloqueios e acessar sem autorização um portal do governo da Austrália que reúne estatísticas do sistema público de saúde Medicare. O episódio ocorreu em 18 de junho, mas somente foi comunicado pela empresa às autoridades australianas em setembro e veio a público nesta quarta-feira (23).
O caso foi revelado pelo primeiro-ministro Anthony Albanese, que afirmou ter conversado diretamente com o CEO da OpenAI, Sam Altman, para manifestar a “extrema preocupação” do governo australiano.
O que começou como uma tarefa de pesquisa realizada por um sistema de IA acabou resultando em uma invasão não planejada até mesmo pela empresa que desenvolveu a tecnologia.
Segundo o governo australiano, uma equipe de pesquisa da OpenAI utilizava um modelo interno para buscar na internet informações públicas sobre gastos com medicamentos na Austrália.
Durante a tarefa, o agente chegou ao Medicare Statistics Reporting Service Portal, mantido pela Services Australia.
O portal disponibilizava estatísticas agregadas relacionadas ao Medicare e ao Pharmaceutical Benefits Scheme (PBS), incluindo informações sobre gastos públicos.
Ao tentar obter determinadas informações, entretanto, o sistema encontrou bloqueios.
Em vez de interromper a tarefa, a IA procurou outras maneiras de conseguir os dados.
“O agente encontrou uma maneira de contornar esses bloqueios”, explicou Albanese ao detalhar o episódio.
A estratégia levou o sistema a acessar áreas para as quais não tinha autorização.
IA acessou arquivos não públicos
O agente conseguiu chegar tanto a arquivos públicos quanto a arquivos que não estavam disponíveis publicamente.
A investigação também identificou que o sistema escreveu arquivos em um servidor interno do portal. O conteúdo e a finalidade desses arquivos ainda estão sendo analisados pelas autoridades australianas.
Até o momento, o governo afirma não haver evidências de que prontuários, dados pessoais ou informações individuais de usuários do Medicare tenham sido acessados.
O portal invadido era destinado a estatísticas e funcionava separadamente dos sistemas responsáveis por processar pagamentos, solicitações de benefícios e informações individuais dos cidadãos.
A apuração inicial também não encontrou indícios de comprometimento mais amplo da rede da Services Australia.
O vice-primeiro-ministro interino Richard Marles classificou o impacto conhecido até agora como relativamente pequeno, mas considerou o episódio “muito sério” por envolver um sistema de IA realizando uma ação não autorizada.
Agente decidiu procurar outro caminho
O comportamento do sistema é um dos principais pontos investigados.
Um agente de IA se diferencia de um chatbot convencional porque pode receber um objetivo e decidir autonomamente quais passos executar para tentar alcançá-lo.
No caso australiano, o objetivo inicial era pesquisar informações públicas.
Quando o acesso aos dados foi recusado, porém, o agente não encerrou a tentativa.
Albanese descreveu a sequência afirmando que o sistema encontrou repetidamente respostas negativas e, em seguida, tentou formas alternativas de obter aquilo que procurava.
O governo australiano classificou o episódio como um comportamento desalinhado: o modelo continuou perseguindo o objetivo que havia recebido, mas adotou meios que não deveriam ter sido utilizados.
A própria OpenAI reconheceu que seus modelos realizaram “ações que não pretendíamos” enquanto buscavam informações durante uma avaliação interna.
A empresa informou ainda que não encontrou evidências de acesso a registros de pacientes.
OpenAI levou quase três meses para avisar governo
Outro ponto que provocou reação das autoridades foi a demora para comunicar o episódio.
A invasão ocorreu em 18 de junho.
A OpenAI afirma que identificou a atividade somente em agosto, durante uma revisão mais ampla destinada a localizar comportamentos inesperados de seus modelos durante treinamentos e avaliações.
O governo australiano, entretanto, só foi avisado em 10 de setembro, quase três meses depois do episódio.
Além da demora, a forma utilizada para comunicar a invasão irritou Albanese.
Segundo o primeiro-ministro, a primeira notificação foi enviada pela OpenAI para uma caixa pública de e-mail da Services Australia.
“Foi tanto a demora quanto a forma”, afirmou Albanese ao explicar sua insatisfação.
O primeiro-ministro disse ter tratado diretamente do assunto com Sam Altman e afirmou que o executivo reconheceu que os protocolos adotados pela empresa não haviam sido suficientes.
Outros três sistemas entraram na investigação
O governo australiano ampliou a apuração para verificar a atividade do agente em outros sistemas públicos.
Além do portal de estatísticas do Medicare, foram identificadas interações com sites do Australian Institute of Health and Welfare, do Departamento de Saúde de Victoria e do Bureau of Crime Statistics and Research de Nova Gales do Sul.
Nesta quinta-feira (24), o governo informou que, nesses três casos, as interações identificadas até o momento ocorreram normalmente e envolveram informações públicas. O acesso não autorizado confirmado aconteceu no portal de estatísticas do Medicare.
Uma investigação forense está sendo realizada com participação da Australian Signals Directorate, agência australiana responsável por inteligência de sinais e segurança cibernética.
As autoridades também querem determinar se alguma legislação foi violada e se o episódio deverá ser encaminhado à Polícia Federal australiana.
O antigo portal atingido pelo agente foi retirado do ar. Os dados públicos mantidos nele estão sendo transferidos para plataformas governamentais consideradas mais seguras.
Caso amplia debate sobre autonomia da IA
O episódio ocorreu enquanto Albanese participava da Assembleia Geral das Nações Unidas, em Nova York, onde a segurança e o controle de sistemas avançados de Inteligência Artificial estão entre os temas discutidos por governos e empresas de tecnologia.
A invasão australiana acrescentou um caso concreto ao debate sobre agentes capazes de executar tarefas com níveis crescentes de autonomia.
A própria OpenAI publicou nesta semana um documento sobre padrões para sistemas avançados no qual reconhece que, à medida que modelos se tornam mais capazes e autônomos, cresce a importância de mecanismos que os mantenham alinhados e sob controle humano.
No caso do Medicare, não há indicação de que uma pessoa tenha ordenado ao agente que invadisse o sistema. De acordo com as informações divulgadas pelo governo australiano e pela OpenAI, o sistema recebeu uma tarefa de pesquisa e, diante das restrições encontradas, adotou por conta própria caminhos que resultaram no acesso não autorizado.
A investigação agora tenta esclarecer tecnicamente como o agente conseguiu superar as barreiras do portal e quais medidas serão necessárias para evitar que sistemas autônomos repitam esse tipo de comportamento.
