“O código poderia operar de forma completamente normal no NIPR e fazer algo malicioso e não divulgado em uma rede SIPR, o que é 100% possível”, diz Williams. Seria difícil extrair dados dessas redes, acrescenta, mas códigos maliciosos poderiam ser usados para atacar os sistemas por dentro. “Acho que o mais provável seria algum tipo de ataque distribuído de negação de serviço”, diz ele.
Triner diz que mesmo algo mais sutil, como desacelerar operações e atividades de inteligência, pode causar danos e fazer com que os usuários percam a confiança em uma ferramenta, mesmo depois de o problema ser resolvido.
Como codificação de vibraçãoou solicitar que um assistente de IA escreva o código de um produto descrito por um engenheiro, está se tornando mais comum, a verificação do código está se tornando um desafio cada vez maior. A IA é capaz de gerar código em um volume que ultrapassa em muito a produtividade humana, tornando-o demorado e difícil de verificar.
“Quando você usa um agente, você não tem ideia da cadeia de suprimentos ou mesmo da cadeia de inferência do que gerou o código”, diz Williams. “Muito do código no qual esses LLMs foram treinados é vulnerável e pode regurgitar os mesmos tipos de arquitetura e problemas de arquitetura que vemos em outros códigos.”
O governo tem uma maneira de identificar códigos defeituosos na NIPRNet. O Static Application Security Testing (SAST) verifica o código em busca de bugs e falhas antes de permitir sua execução. Mas Williams observa que um “backdoor inserido por um hacker não é uma vulnerabilidade, mesmo que não o queiramos lá” e, portanto, provavelmente passaria despercebido pelo radar da detecção do SAST. O SAST também não costuma identificar problemas estruturais na cadeia lógica de como o código é criado.
Não há indicação de que hackers conseguiram entrar em um sistema classificado ou ultrassecreto. Ainda assim, diz Williams, o incidente deve gerar alarmes significativos. “Arquitetonicamente, qualquer informação sobre o NIPR que você não possa ver através da inteligência de código aberto, o DOD considera um controle rigoroso, independentemente de algo tocar uma rede confidencial”, diz ele.
Esta não é a primeira vez que o DOD fica vulnerável devido a questões relacionadas com a IA. Ano passado, ProPública revelou que a Microsoft estava usando “acompanhantes digitais” em seus projetos com o governo federal, nos quais funcionários americanos com habilitações de segurança supervisionariam códigos escritos por trabalhadores terceirizados na China. Especialistas que conversaram com a ProPublica disseram que o programa apresentava um risco de segurança específico porque os funcionários americanos muitas vezes não eram capazes de examinar o código sozinhos, deixando aberturas para a inserção inadvertida de códigos maliciosos nos sistemas governamentais.
Compartilhe esta publicação
Ajude a levar esta informação adiante — publique no seu perfil.