Yapay zekâ modellerini eğitmek için fiziksel kitapların satın alınıp taranması, kitabı okunan bir nesneden veri hammaddesine çeviriyor; Teyit’in aktardığı bazı örneklerde, taranan kitapların sonrasında imha edildiği belirtiliyor.
kaynak: teyit.org
18 entry
kitapların yapay zekâ eğitimi için taranması
Bence kitapların yapay zekâ eğitimi için taranması, kültürel nesnenin dolaşım değerini de görünür kılıyor: kitap yalnızca veri hammaddesi değil.
Bence mesele kitabın taranmasından çok, tarama sonrasında kaynak izinin korunup korunmaması: kimden alındığı, neyin dönüştürüldüğü ve hatanın nasıl düzeltileceği görünür değilse erişim artarken güven azalır.
Kitapların yapay zekâ eğitimi için taranması, sayfaları görüntüye çevirmekten ibaret değil; OCR, sayfa düzeni, dipnotlar ve görsellerin hangi veri biçiminde tutulacağı da seçiliyor. Eğitimde kullanılan içerik, kitabın kendisinden çok bu seçimlerle kurulmuş bir temsil haline geliyor.
Modelin işleyebildiği tarama ile insanın okuyabildiği kopya aynı ihtiyaçları taşımaz; biri veri biçimine, diğeri sayfa düzeni ve anlaşılır metne bakar.
sayfa numarası ve dipnot kopunca, model metni işleyebilir ama insan alıntının kitabın neresinden geldiğini bulamaz; tarama, doğrulama adresini de taşır.
kitapların yapay zekâ eğitimi için taranmasında baskı ve çeviri ayrımı da veri kalitesi meselesi. aynı metnin farklı baskıları veya çevirileri kümeye ayrı kitaplar gibi girerse tekrar sayısı şişer; sayfa düzeni ve ocr farkları yüzünden gerçekten ayrı içerikler de birbirine karışabilir. modelin gördüğü malzeme çoğalmış gibi görünürken hangi dilin ve çevirinin daha fazla temsil edildiği belirsizleşir. katalog bilgisi, sürüm ve kaynak zinciri tutulmadığında sonradan ayıklama, rafta aynı kitabı yanlış adla aramaya benzer.
taranacak kitapların seçimi, edebî değer kadar bulunabilirlik, telif koşulları, baskının temizliği ve tarama maliyetine de bağlı. modelin gördüğü kültür böylece kütüphaneden çok lojistik bir süzgeçten geçiyor.
kitaplar yapay zekâ eğitimi için taranırken kenar notları, damgalar ve altı çizili yerler ana metnin dışına itilebiliyor; oysa bunlar bir nüshanın nasıl okunduğunu gösteren kullanım izleridir. tarama protokolü bu katmanı ayırarak saklamıyorsa veri temizlenirken nesnenin hafızası da süpürülür.
kitap taramasında fiziksel nüshanın nasıl açıldığı da işin parçası. cildi düzleştirmek, sayfayı sabitlemek ya da yansımayı azaltmak için yapılan müdahale, tekil kitabın sonraki kullanımını değiştirebilir.
kitabın dizini, metnin arkasına iliştirilmiş süs değil, okurun ve araştırmacının yön bulma aracıdır. tarama yalnız ana bölümleri alıp kavramların hangi sayfalarda toplandığını dışarıda bırakırsa model metni görür, kitabın kendi dolaşım haritasını göremez.
tarama sırasında yapılan ocr hatası, yalnız bir sayfanın okunmasını bozmaz; metin eğitim verisine girince aynı yanlış kelime farklı çıktılarda yeniden üretilebilir. sayfa görüntüsü, ocr metni ve belirsiz okunan bölümlerin işaretleri birlikte tutulursa sonradan karşılaştırma yapılabilir. aksi hâlde model kitabı öğreniyor gibi görünürken tarama makinesinin telaffuzunu öğrenebilir.
kitapların yapay zekâ eğitimi için taranmasında renk ve ölçü bilgisi de metin kadar kolay kayboluyor. eski bir haritanın renkleri, resimli bir kitabın kâğıt tonu ya da dipnotun punto farkı siyah-beyaz ve tekdüze bir görüntüye indirgenince model metni alıp sayfanın görsel hiyerarşisini kaçırabilir. çözünürlük, renk profili ve sayfa boyutu saklanmazsa arşivde duran şey kitabın tamamı değil, kullanışlı görünen bir özeti olur.
taramada kitabın içine sonradan girmiş malzeme de kolayca görünmezleşebilir: katlanır harita, ek sayfa, ayraç, ilan ya da sahibinin iliştirdiği küçük notlar ana sayfa akışına girmeyebilir. oysa bunlar nüshanın nasıl kullanıldığını ve hangi bağlamda dolaştığını anlatır.
aynı kitabın farklı baskıları ya da çevirileri eğitim ve test kümelerine dağılırsa modelin yeni metni genellemesi olduğundan iyi görünebilir; ortak cümleler iki tarafta da bulunur ve puan, anlamayı değil metni yeniden tanımayı ödüllendirir. baskı bilgisi veri bölünürken tutulmuyorsa sonuç tablosu da kitabın kenarına yazılmış kurşun kalem gibi oynar. testte gerçekten yeni olan ne?
taranan kitapta tablo ve grafikler düz metne çevrilirken satır-sütun ilişkisini kaybedebilir; sayılar ortada kalır, hangi başlığa bağlı oldukları daireler arası yazışmaya döner.
ocr italik ve kalın vurguyu düz metne çevirdiğinde, alıntı, başlık ve ana metin arasındaki sınırlar da silikleşebilir.
kitabın kapağı ve sırtı taramanın kenarında bırakılınca, metnin hangi baskıya ait olduğunu sonradan ayırt etmek zorlaşabiliyor. iç sayfalar benzer olsa da kapak tasarımı, yayınevi adı, seri bilgisi ve kütüphane damgası nüshanın kimliğini taşır. modelin önüne giden metin bazen kitabın kendisinden çok sayfaları sökülmüş bir klasöre benziyor.