Bilgisayarların işaret dilini “görmesi” son yıllarda hızla gelişti. İşaretMetin'in de kullandığı yaklaşım üç adımdan oluşur.
1. Noktaları bulmak
Yapay sinir ağları her kamera karesinde ellerin 21 eklem noktasını ve omuz, dirsek, bilek gibi vücut noktalarını bulur. Böylece görüntü yerine sayılarla çalışılır; bu hem hızlıdır hem de gizliliği korur.
2. Kişiden bağımsız hâle getirmek
Herkesin boyu, el büyüklüğü ve kameraya uzaklığı farklıdır. Noktalar omuz genişliğine göre ölçeklenir ve el şekli parmak açılarıyla tanımlanır. Böylece farklı kişilerin aynı işareti benzer sayılarla ifade edilir.
3. Hareketleri karşılaştırmak
İşaretler zamana yayılmış hareketlerdir. Dinamik Zaman Bükme (DTW) algoritması iki hareketi, biri hızlı biri yavaş yapılsa bile hizalayarak karşılaştırır. En benzer kelime, güven yüzdesiyle birlikte yazılır.
Sınırlamalar
- Yüz ifadeleri bu sürümde değerlendirilmez.
- TİD'in dil bilgisi metne birebir aktarılmaz; işaretler kelime kelime çevrilir.
- Işık, kamera açısı ve kişisel işaret biçimi doğruluğu etkiler.
Daha fazla teknik ayrıntı için Nasıl Çalışır? sayfamıza bakın ya da çevirmeni hemen deneyin.