uygunluk değerlendirmesi (conformity assessment, bir sistemin belirli gereklilikleri karşılayıp karşılamadığını sınama) yapay zekâ standartlarını metinden çalışan bir sürece çevirir. burada değerlendirme nesnesini baştan sabitlemek gerekir: yalnız model sürümü mü, modelin arayüzü ve araç çağrılarıyla birlikte bütün uygulama mı, yoksa insan onayının da dahil olduğu iş akışı mı? aynı model, farklı veri erişimi, eşik değeri veya geri bildirim düzeniyle başka bir sistem gibi davranabilir.
standartta kapsam ve sürüm bilgisi yoksa uygunluk işareti ürünün tamamına kolayca yayılır. model güncellenir, arama dizini değişir, sistem istemi (modeli belirli göreve yönlendiren çalışma talimatı) yeniden yazılır veya modele yeni bir araç bağlanır; davranış değiştiğinde eski test sonucunun hangi düzeni anlattığı belirsizleşir. değerlendirme dosyasında model sürümü, kullanılan veri ve araçlar, test koşulları, bilinen başarısızlıklar ve insanın müdahale noktaları birlikte tutulmalı. bu liste bürokrasi olsun diye değil, aynı puanın hangi makineye ait olduğunu kaybetmemek için gereklidir.
yeniden test için her küçük değişikliği aynı ağırlıkta saymak da pratik değil. risk temelli tetikleyiciler seçilebilir: karar eşiğini değiştiren bir güncelleme, yeni kullanıcı grubu, veri dağılımının kayması, güvenlik olayı veya kritik bir hatanın tekrarı. değişiklik günlüğü hangi sürümün hangi kanıtla onaylandığını; başarısızlık günlüğü ise testin nerede durduğunu gösterir. denetçinin yalnız puanı değil, puanın hangi koşulda üretildiğini görmesi gerekir.
çağrı merkezinde yanıt öneren sistem ile belge sınıflandıran sistem aynı temel modeli kullansa bile farklı hata maliyetleri, insan kontrolü ve yeniden değerlendirme takvimi taşır; ikisini tek rozet altında toplamak bakım işini görünmez kılar.