P04IBDIA Responsible AI
Governança, Segurança, Fairness, Explicabilidade e Risco em IA
Núcleos ligados
- N01Inteligência Artificial e Dados, relação central
- N02Geotecnologias e Aplicações
- N03Saúde e Biomedicina, colaboração potencial
- N04Indústria e Manufatura, colaboração potencial
- N05Cidades Inteligentes e Infraestrutura, colaboração potencial
- N06Meio Ambiente e Clima
- N07Defesa e Segurança, colaboração potencial
- N08Educação e Capacitação
- N09Políticas Públicas e Sociedade, relação central
- N10Inovação Aberta e Startups, colaboração potencial
- N11Agronegócio e Agricultura Digital
- N12Energia e Recursos Naturais, colaboração potencial
Preenchido: relação central. Tracejado: colaboração potencial. Inclui o núcleo de domínio do sistema avaliado.
Missão e propósito
Desenvolver métodos, instrumentos e software para avaliar e governar sistemas de IA ao longo do ciclo de vida, com abordagem proporcional ao risco e adaptável a diferentes domínios.
Perguntas estratégicas de pesquisa
- Q1Como transformar princípios de IA responsável em controles e métricas verificáveis?
- Q2Como avaliar fairness, explicabilidade, robustez e drift sem reduzir a análise a um único score?
- Q3Como documentar modelos, dados, limitações e decisões de forma auditável?
- Q4Como adaptar governança a diferentes níveis de risco e contextos de uso?
Linhas de pesquisa
- Model Cards e Data Cards
- Fairness e análise de bias
- Explicabilidade e interpretabilidade
- Robustez e testes de estresse
- Drift e monitoramento
- Governança e inventário de modelos
- Avaliação de LLMs e GenAI
- Privacidade, segurança e documentação
- Métricas compostas e Responsible AI Score
Projetos e ativos iniciais
| Projeto ou ativo | Escopo | Prioridade | Destino |
|---|---|---|---|
| Responsible AI Framework | Metodologia institucional de avaliação | P1/P2 | Framework |
| Responsible AI Engine | Componentes automatizados de avaliação | P2 | Technology Core |
| Responsible AI Score | Indicador multidimensional com contexto e evidências | P2 | Produto e metodologia |
| Responsible AI Platform | Interface para inventário, avaliações e relatórios | P2 | IBDIA Intelligence |
Prioridade P0 a P3 conforme o Caderno dos Programas. Projetos podem ser pausados, reformulados, incorporados ou arquivados sem extinguir o Programa.
Roadmap 2026-2030
- 2026
Definir framework, taxonomia de risco e templates.
- 2027
MVP, Model Cards e protótipo do Score.
- 2028
Pilotos em sistemas reais e Responsible AI Engine.
- 2029
Ampliação metodológica e verticais.
- 2030
Referência institucional e serviço e plataforma maduros.
Entregáveis esperados
Framework, checklists, métricas, Score, Engine, Platform, relatórios de avaliação, publicações, benchmarks e capacitação.
Datasets e fontes de dados
Datasets de benchmark públicos e conjuntos autorizados de projetos internos e de parceiros, sempre respeitando direitos, sensibilidade e finalidade. Avaliações devem documentar grupos, métricas e limitações.
Indicadores
Cobertura de controles; modelos avaliados; problemas detectados e corrigidos; documentação completa; tempo de avaliação; pilotos; estudos publicados; adoção interna do framework.
Riscos e pontos de atenção
Score simplista; métricas sem contexto; falsa garantia de conformidade; dados insuficientes para fairness; rápida mudança regulatória e técnica; conflito entre transparência e segurança ou PI.