Yapay zekâ eğitim verisi, bir modelin örüntü öğrenmesi için kullanılan metin, görüntü, ses ve başka örneklerin bütünüdür. Fiziksel kitapların bu amaçla satın alınıp taranması, veri üretiminin yalnızca çevrimiçi dosyalardan ibaret olmadığını; basılı nüshaların satın alınması ve sonrasındaki akıbeti gibi maddi adımlar içerdiğini gösteriyor.
kaynak: teyit.org
Yapay zekâ eğitim verisi, çalışma anında modele verilen bağlamla aynı şey değildir: ilki parametreleri öğrenme sürecinde etkiler, ikincisi modelin o oturumdaki yanıtını yönlendirir.
Modelin eğitiminde neyin kullanılmadığı, kullanılan örnekler kadar hangi örüntülerin öğrenilemeyeceğini de belirler.
Bir şeyin veri kümesinde bulunması, orada iyi temsil edildiği anlamına gelmez. Aynı dilin çok sayıda metni; farklı lehçeleri, gündelik kullanımları, bölgesel deneyimleri ya da karşıt görüşleri dengeli biçimde içermeyebilir. Bu yüzden eğitim verisi yalnızca içeriğin mevcut olup olmadığıyla değil, kimin hangi bağlamda ve ne kadar görünür olduğu üzerinden de düşünülür. Veri arttıkça temsil kendiliğinden adil hale gelmez.
Veri kümesi büyüdükçe kaynak çeşitliliği de artmış olur mu? Aynı metnin kopyalarının, yeniden biçimlendirilmiş sürümlerinin veya birbirinden türemiş içeriklerin çoğalması veri miktarını artırabilir; fakat modelin gördüğü bağımsız bakışların sayısını aynı ölçüde artırmaz. Bu yüzden dosya sayısı ile kaynak çeşitliliği ayrı ölçülmelidir; aksi hâlde örneklem yanlılığı yalnız kimlerin dışarıda kaldığıyla değil, kimin içeride gereğinden fazla çoğaldığıyla da ilgilidir. Bana göre iyi veri, yalnızca kalabalık değil, izlenebilir biçimde çeşitli olandır. verinin kaynağı kadar kullanım izni de veri kümesinin parçasıdır.
eğitim verisinin tarihi de içeriğin kendisi kadar önemlidir: eski bir veri kümesi güncel dili, yeni kullanım biçimlerini ve sonradan değişen bilgileri kaçırabilir. modelin hafızası bazen arşiv memuru gibi davranır; dosyayı saklar ama raf tarihini söylemez.
veri kümesi yalnızca hangi metinlerin toplandığından ibaret değil; ayıklama, tekrarları silme, dili etiketleme ve örnekleri nasıl sınıflandırma kararı da modelin neyi öğrenebileceğini biçimlendiriyor. aynı kaynaklar farklı filtrelerden geçirilince başka bir veri kümesi ortaya çıkabilir. bu yüzden veri var mı sorusu kadar, verinin hangi işlemlerden geçtiği ve hangi örneklerin elendiği de önemli. miktarı büyütmek bu kararları kendiliğinden tarafsız ya da temsil gücü yüksek yapmıyor.
bence veri kümesi bir kere hazırlanıp rafa kaldırılan bir dosya değil. yanlış örnekler ayıklandığında, etiketler değiştiğinde veya yeni bir sürüm çıktığında hangi değişikliğin model davranışını etkilediği geriye dönük izlenebilmeli. bu iz yoksa hata görüldüğünde sorunu veride mi, temizleme kararında mı arayacağımızı bilemeyiz.
modelin eğitim verisine giren bir örnek, yalnız neyi öğrenebileceğini değil, başarısını nasıl ölçtüğümüzü de etkileyebilir. bir sınav sorusu, değerlendirme ölçütü ya da kullanıcıların testte kullandığı yanıtlar eğitim kümesine sızmışsa, model aynı görevi gerçekten genelleyerek mi çözüyor, yoksa soruyu veya kalıbı daha önce görmüş mü ayırmak zorlaşır. bu yüzden veri kümesini temizlemek kadar eğitim ve test verisinin ayrımını, sürüm tarihlerini ve olası tekrarları izlemek gerekir. yüksek test puanı tek başına öğrenme kanıtı değildir; ölçüm aracı cevabı önceden fısıldıyorsa cetvel başarıyı değil, sızıntıyı sayar. bunu dışarıdan anlamak da kolay değildir.
eğitim verisindeki etiket de bir ölçüm sonucu gibi düşünülmeli. aynı metin ya da görüntü, değerlendiren kişiye ve kullanılan yönergeye göre farklı sınıfa girebilir; sınırda kalan örnekleri sessizce tek etikete zorlamak modelin belirsizliğini veri içinde saklar. etiketleme kılavuzu, anlaşmazlıkların nasıl çözüldüğü ve hangi örneklerin dışarıda bırakıldığı açıklanmadığında, yüksek doğruluk iddiasının ne kadarının etiket düzenine borçlu olduğunu anlamak güçleşir.
bir örneği veri kümesinden çıkarmak, modelin o örnekten öğrendiği etkinin de silindiği anlamına gelmez. eğitim sırasında örüntü parametrelere dağıldıysa dosyayı veri hattından kaldırmak sonraki eğitimlerde yeniden kullanılmasını önleyebilir; eski etkinin giderilmesi için yeniden eğitim ya da makine öğrenmesinde unlearning denen, öğrenilmiş etkiyi gidermeye yönelik yöntemler gerekebilir. zor soru şu: modelin gerçekten unuttuğunu hangi sınav gösterecek? arşivden sayfayı çekip fotokopileri unutmasını beklemek gibi bir durum bu.
sentetik veri, insan gözlemi veya ham belge yerine model ya da simülatör tarafından üretilen örneklerin eğitim kümesine alınmasıdır. kolayca çoğaltılabilir; fakat çeşitlilik diye sayılan şey aynı hatanın farklı kılıklarda tekrarı olabilir. yanlış etiketli veya uydurma örnekler sonraki modeli besler. gerçek dünyadan toplanan, insan üretimi ve sentetik örneklerin oranı; üretim koşulu ve ayıklama ölçütü ayrı tutulmazsa dosya sayısı büyürken bağımsız bilgi azalabilir. megafon veri analizi yapınca kalabalık görünür, koro değil.
yapay zekâ eğitim verisi, yalnızca dosyaların toplandığı bir havuz değil; onları seçen, ayıklayan ve etiketleyen insanların emeğiyle kurulan bir çalışma alanı. bu emek görünmez kaldığında hatalı etiketler ve eksik temsil teknik arıza gibi görünür. veri kümesinin sınırlarını verilen talimat, ayrılan süre ve işin nasıl ücretlendirildiği de çizer. (bkz: emek) Doğrulama kümesine tekrar tekrar bakılarak model seçildiğinde, seçim süreci o kümenin özelliklerine uyarlanır. Hiç dokunulmamış test kümesi son değerlendirme için anlamlıdır; ancak tek başına, doğrulama kümesine uyarlanmış seçimin genelleme gücünü bütünüyle doğrulamaz. Test sonucunu da seçim ölçütüne dönüştürmek aynı sorunu test kümesine taşır.
eğitim, doğrulama ve test kümelerini rastgele ayırmak, aynı kişinin, belgenin ya da cihazın izlerini üçüne birden dağıtabilir. model yeni örneği çözmek yerine kaynağın alışkanlığını tanıyor olabilir; puan da bunu başarı diye yazabilir. benzer örnekleri kaynak, kişi, ürün veya zaman bloğu üzerinden birlikte bölmek bu sızıntıyı azaltmaya yarar. aynı kaynağın izini taşıyan üç dosya, gerçekten üç bağımsız örnek sayılır mı?
etiket, modelin hangi sonucu öğrenmeye çalıştığını belirleyen işarettir. vekil etiket (proxy label), doğrudan gözlenemeyen bir durumu onunla ilişkili varsayılan başka bir belirtiyle temsil eder. tıklama, başvuru, moderasyon kararı ya da geçmiş puan; yararlılık, risk veya başarı için kullanılabilir. ama bunların hiçbiri hedef durumun kendisi olmak zorunda değildir.
tersten okuyalım: veri kümesi yalnızca sınıf adlarını taşımaz, bu adları üretmiş insan ve kurum süreçlerini de taşır. bir içeriğin raporlanmış olması, tek başına içeriğin zararlı olduğunu göstermeyebilir. raporlama alışkanlığı, erişim imkânı ve inceleme süreci gruplar arasında değişiyorsa model zararı değil görünürlük farkını öğrenebilir. benzer biçimde, yüksek tıklama çıktısı anlaşılmayı; bir başvuru kaydı gerçek ihtiyacı; eski bir karar da her durumda doğru sonucu göstermeyebilir. burada hata payı, modelin tahmini ile etiketin kuruluş biçimi arasında paylaşılır.
neden önemli: eğitim ve test bölmeleri ayrılmış olsa bile yanlış hedef iyi ölçülmüş olabilir. model tıklamayı isabetle tahmin ederken okurun bilgiyi anlayıp anlamadığını ölçemeyebilir. bu nedenle etiketin üretim kuralı, kararı veren taraf, gözlenmeyen durumlar ve hedefle kurulan ilişkinin varsayılan mı yoksa doğrulanmış mı olduğu belgelenmelidir. spesifikasyon yalnızca alan adlarını değil, bu kararların sınırlarını da açıklamalı. mümkünse aynı çıktı doğrudan sonuç ölçütüyle veya bağımsız insan değerlendirmesiyle karşılaştırılmalı; aksi halde yüksek skor gerçek sonucu değil, eski vekil işaretin düzgün taklidini gösterir.
Bu başlığa yazmak için giriş yapın.