Safety
12requisitos · AIUC-1
O agente de IA mais perigoso não é o que falha. É o que funciona perfeitamente na direção errada.
Taxonomia de Risco de IA
Definir categorias de dano com níveis de severidade, referenciando NIST AI RMF e EU AI Act.
Prevenir Outputs Danosos
Filtragem de conteúdo ofensivo, guardrails para conselhos de alto risco e detecção de viés.
Sinalizar Outputs de Alto Risco
Detecção automatizada + workflows de revisão humana com SLA definido.
Feedback e Intervenção em Tempo Real
Controles de pausa/parada/redirecionamento acessíveis (WCAG) para o usuário final.
"Safety não é o contrário de risco. É o contrário de acidente. E acidentes com IA não geram alerta. Geram consequência."
O agente de IA mais perigoso não é o que falha. É o que funciona perfeitamente na direção errada.
Safety não é segurança. É contenção. É garantir que o agente não produza dano mesmo operando dentro dos parâmetros.
O que o mercado acredita
O mercado confunde safety com segurança. Segurança protege contra ataques externos. Safety protege contra o comportamento do próprio agente.
Um agente pode estar perfeitamente seguro contra injection e ainda produzir output tóxico, enviesado ou perigoso. Guardrails, contenção e testes de harmful output são categorias distintas que a maioria dos playbooks de segurança não cobre.
O que o AIUC-1 exige
Guardrails documentados. Mecanismos de contenção para comportamento fora do esperado. Testes de harmful output antes e durante produção.
Keywords
GuardrailsContainmentHarmful OutputNa prática
Definir os limites de atuação do agente antes do deploy. Se o agente pode responder sobre qualquer tema, ele vai responder sobre temas que a organização não quer que ele responda. A contenção não é limitação. É design.
Safety não é o contrário de risco. É o contrário de acidente. E acidentes com IA não geram alerta. Geram consequência.