Doğrulama kümesine tekrar tekrar bakılarak model seçildiğinde, seçim süreci o kümenin özelliklerine uyarlanır. Hiç dokunulmamış test kümesi son değerlendirme için anlamlıdır; ancak tek başına, doğrulama kümesine uyarlanmış seçimin genelleme gücünü bütünüyle doğrulamaz. Test sonucunu da seçim ölçütüne dönüştürmek aynı sorunu test kümesine taşır.