Kısaca
Her kamera karesinde ellerinizin ve kollarınızın iskelet noktaları çıkarılır. Bu noktalar vücudunuza göre ölçeklenip bilinen işaret örnekleriyle karşılaştırılır. En çok benzeyen işaret yeterince güvenilirse ekrana yazılır. Bu işlemlerin tamamı tarayıcınızın içinde, saniyede 25–60 kez tekrarlanır.
1. El ve kol algılama
Google'ın açık kaynaklı MediaPipe kütüphanesindeki iki yapay sinir ağı modeli doğrudan tarayıcıda (WebAssembly ve WebGL ile) çalışır:
- El modeli (Hand Landmarker): Görüntüdeki iki elin her biri için 21 eklem noktası bulur: bilek, avuç içi boğumları ve her parmağın üç eklemi ile ucu.
- Vücut modeli (Pose Landmarker): Omuzları, dirsekleri, bilekleri ve başı izler. İşaret dilinde kolun nerede durduğu ve nasıl hareket ettiği anlamı değiştirir. Bu yüzden İşaretMetin yalnızca ellere değil kollara da bakar.
2. Normalleştirme: kimin, nerede durduğu fark etmesin
Her kare 137 sayılık bir özellik vektörüne dönüştürülür. Konumlar omuzlarınızın ortasına göre hesaplanır ve omuz genişliğinize bölünür. El şekli ise bileğe göre ve el boyuna göre ölçeklenir. Böylece:
- Kameraya yakın ya da uzak durmanız,
- Kadrajın sağında ya da solunda olmanız,
- Uzun ya da kısa boylu olmanız
tanımayı neredeyse etkilemez. Kişiden kişiye değişen parmak titreşimleri ise bir yumuşatma filtresiyle azaltılır.
Kişiden bağımsız el tanımlayıcısı
Karşılaştırma sırasında el, ham koordinatlar yerine parmak bükülme açıları (her parmakta 3 eklem), parmak açılma açıları ve avuç yönü ile tanımlanır. Açılar elin büyüklüğünden ve kameraya göre dönüşünden etkilenmez. Bu yüzden başka kişilerin kayıtlarıyla oluşturulan hazır paket sizin elinizde de çalışır. Ayrıca bel hizasında dinlenen elin ağırlığı otomatik olarak düşürülür; yalnızca işaret yapan el belirleyici olur.
3. Tanıma: iki tür işaret, iki yöntem
Sabit pozlar (harf, rakam)
k-en yakın komşu (k-NN) yöntemi kullanılır. Son karelerin ortalaması kayıtlı örneklerle karşılaştırılır. Eliniz kısa bir süre sabit kalınca harf yazılır; bu süre ekranda yeşil bir çubukla gösterilir.
Hareketli işaretler (kelimeler)
Dinamik Zaman Bükme (DTW) kullanılır. Her kelime için en yakın iki örneğin ortalaması alınır; bu, tek bir benzer kayda aldanmayı önler. DTW, iki hareket dizisini zaman ekseninde esneterek hizalar; bir işareti kayıttakinden hızlı veya yavaş yapsanız da eşleşme bulunur. 226 kelimede gerçek zamanlı kalmak için iki aşamalı arama yapılır: önce tüm kelimeler hızlı bir özetle elenir, sonra en yakın adaylar ayrıntılı karşılaştırılır.
Yanlış tanımayı azaltmak için iki güvenlik kontrolü vardır. Eşik kontrolü yeterince benzemeyen hareketleri reddeder. Ayırt edicilik kontrolü, en iyi iki aday birbirine çok yakınsa kararı erteler.
4. Hazır Türk İşaret Dili paketi
Paket, Ankara Üniversitesi'nin bilimsel araştırma amacıyla yayımladığı AUTSL (Ankara University Turkish Sign Language) veri setindeki videolardan oluşturuldu. 18 farklı işaretçinin 2955 videosundan iskelet noktaları çıkarıldı. Videoların kendisi pakette yer almaz; yalnızca sayısal hareket özetleri bulunur.
Hazır paket, eğitimde hiç yer almayan kişilerin videolarıyla test edildi (kişiden bağımsız değerlendirme). 226 kelime arasından doğru kelimeyi ilk tahminde %52, ilk 3 tahmin içinde %70 oranında buldu. Kendi örneklerinizi ekledikçe sistem sizin işaret yapma biçiminize uyum sağlar ve bu oran belirgin şekilde yükselir.
5. Kendi modelinizi eğitmek
Eğitim Stüdyosu'nda bir işaret ekleyip 5 kez kaydettiğinizde, sistem her örneği birini-dışarıda-bırak yöntemiyle test eder. Ardından size özel kabul eşiklerini hesaplar ve birbirine karışan işaretleri raporlar. Uzun süren bir “eğitim” beklemesi yoktur; sonuç birkaç saniyede hazırdır.
6. Gizlilik tasarımın parçası
Görüntü işleme cihazınızda yapılır; video hiçbir yere gönderilmez ve kaydedilmez. Modelleriniz tarayıcınızın yerel veritabanında saklanır. Ayrıntılar için Gizlilik sayfasına bakın.
Sınırlamalar
- Yüz ifadeleri ve dudak hareketleri (el dışı işaretler) bu sürümde değerlendirilmez.
- TİD'in kendine özgü dil bilgisi metne birebir aktarılmaz; sistem işaretleri sırayla kelimeye çevirir.
- Ellerin yüzü veya birbirini kapattığı anlarda algılama zayıflayabilir.