​O conceito de "confiabilidade" é amplo, e envolve diferentes objetivos que o sistema deve atender:

​

• Performance - O sistema deve ter um bom desempenho, com um nível aceitável de erros de acordo com alguma métrica (acurácia, precisão, recall etc.).

• Confiabilidade - O sistema deve funcionar de forma compatível com suas especificações, ou seja, deve se comportar exatamente como foi planejado, ainda que precise se adaptar à mudanças no ambiente. Ou seja, confiabilidade aqui tem o sentido de "aderência às especificações" definidas no design do sistema. 

• Segurança - Idealmente, o sistema de IA deve ser capaz de manter a sua própria integridade (do modelo) e dos dados que manipula, além de ter proteções contra violações de confidencialidade de dados e privacidade.

• Robustez - O sistema também precisa ser robusto, no sentido de preservar sua operação normal e seus níveis de performance e segurança mesmo em condições anormais de operação ou situações não antecipadas. ​

​​

O princípio da Confiabilidade e Uso Seguro (Reliability & Safety)  requer que a solução de IA opere de forma confiável e segura, sem oferecer riscos substanciais para a vida humana. O atendimento a este objetivo requer processos de teste e verificação adequados.  

​

Há muitos contextos em que a confiabilidade de soluções de IA é importante, como no caso dos diagnósticos médicos. Por exemplo, em 2018 a IBM teve problemas quando utilizou sua aplicação Watson para fazer recomendações médicas para pacientes com câncer. Os médicos entenderam que o algoritmo ainda não estava "treinado o suficiente" e interromperam o projeto, pois algumas das recomendações feitas pelo sistema podiam ser fatais para os pacientes.

 

​Dado que são passíveis de falha, a possibilidade de responsabilização (accountability) é um outro requisito importante. Quando um sistema de IA falha e ocorre um incidente grave, quem é o responsável?