Terjemahan bahasa isyarat real-time SLAIT menjanjikan komunikasi online yang lebih mudah diakses – TechCrunch


Bahasa isyarat digunakan oleh jutaan orang di seluruh dunia, tetapi tidak seperti bahasa Spanyol, Mandarin, atau bahkan Latin, tidak ada terjemahan otomatis yang tersedia bagi mereka yang tidak dapat menggunakannya. SLAIT mengklaim alat pertama yang tersedia untuk penggunaan umum, yang dapat menerjemahkan sekitar 200 kata dan kalimat sederhana untuk memulai – hanya menggunakan komputer dan webcam biasa.

Orang dengan gangguan pendengaran, atau kondisi lain yang membuat sulit berbicara vokal, jumlahnya ratusan juta, bergantung pada alat teknologi umum yang sama dengan populasi pendengaran. Tetapi meskipun email dan obrolan teks berguna dan tentu saja sangat umum sekarang, mereka bukanlah pengganti komunikasi tatap muka, dan sayangnya tidak ada cara mudah untuk penandatanganan diubah menjadi kata-kata tertulis atau lisan, jadi ini tetap menjadi penghalang signifikan.

Kami telah melihat upaya penerjemahan bahasa isyarat otomatis (biasanya Amerika / ASL) selama bertahun-tahun. Pada tahun 2012 Microsoft menganugerahkan Imagine Cup kepada tim siswa yang melacak pergerakan tangan dengan sarung tangan; pada tahun 2018 saya menulis tentang SignAll, yang telah mengerjakan booth terjemahan bahasa isyarat menggunakan beberapa kamera untuk memberikan pemosisian 3D; dan pada 2019 saya mencatat bahwa algoritme pelacakan tangan baru yang disebut MediaPipe, dari lab AI Google, dapat mengarah pada kemajuan dalam deteksi tanda. Ternyata itulah yang sebenarnya terjadi.

SLAIT adalah perusahaan rintisan yang dibangun dari penelitian yang dilakukan di Aachen University of Applied Sciences di Jerman, di mana salah satu pendiri Antonio Domènech membangun mesin pengenalan ASL kecil menggunakan MediaPipe dan jaringan saraf khusus. Setelah membuktikan gagasan dasarnya, Domenech bergabung dengan pendiri bersama Evgeny Fomin dan William Vicars untuk memulai perusahaan; mereka kemudian melanjutkan untuk membangun sistem yang dapat mengenali 100 gerakan pertama, dan sekarang 200 gerakan ASL individu dan beberapa kalimat sederhana. Terjemahan terjadi secara offline, dan hampir secara real-time di ponsel atau komputer yang relatif baru.

Kredit Gambar: SLAIT

Mereka berencana untuk membuatnya tersedia untuk pekerjaan pendidikan dan pengembangan, memperluas kumpulan data mereka sehingga mereka dapat meningkatkan model sebelum mencoba aplikasi konsumen yang lebih signifikan.

Tentu saja, pengembangan model saat ini sama sekali tidak sederhana, meskipun dicapai dalam waktu yang sangat singkat oleh tim kecil. MediaPipe menawarkan metode sumber terbuka yang efektif untuk melacak posisi tangan dan jari, tentu saja, tetapi komponen penting untuk model pembelajaran mesin yang kuat adalah data, dalam hal ini data video (karena akan menafsirkan video) dari ASL yang digunakan – dan tidak banyak yang tersedia.

Seperti yang baru-baru ini mereka jelaskan dalam presentasi untuk konferensi DeafIT, tim pertama mengevaluasi menggunakan database Microsoft yang lebih lama, tetapi menemukan bahwa database akademis Australia yang lebih baru memiliki data yang lebih banyak dan lebih berkualitas, memungkinkan pembuatan model yang 92% akurat di mengidentifikasi salah satu dari 200 tanda secara real time. Mereka telah menambahkan ini dengan video bahasa isyarat dari media sosial (dengan izin, tentu saja) dan pidato pemerintah yang memiliki penerjemah bahasa isyarat – tetapi mereka masih membutuhkan lebih banyak.

Gambar animasi seorang wanita yang berkata "tuli mengerti pendengaran" dalam ASL.

GIF yang menunjukkan salah satu prototipe yang sedang beraksi – produk konsumen tidak akan memiliki wireframe, jelas. Kredit Gambar: SLAIT

Tujuan mereka adalah untuk membuat platform tersedia bagi komunitas tunarungu dan pelajar ASL, yang semoga tidak keberatan penggunaan sistem mereka dialihkan ke perbaikannya.

Dan tentu saja ini bisa menjadi alat yang sangat berharga dalam keadaannya saat ini, karena model terjemahan perusahaan, bahkan sebagai pekerjaan yang sedang berjalan, masih berpotensi transformatif bagi banyak orang. Dengan jumlah panggilan video yang terjadi saat ini dan kemungkinan besar untuk selamanya, aksesibilitas ditinggalkan – hanya beberapa platform yang menawarkan teks otomatis, transkripsi, ringkasan, dan tentu saja tidak ada yang mengenali bahasa isyarat. Tetapi dengan alat SLAIT orang dapat masuk secara normal dan berpartisipasi dalam panggilan video secara alami daripada menggunakan fungsi obrolan yang diabaikan.

“Dalam jangka pendek, kami telah membuktikan bahwa 200 model kata dapat diakses dan hasil kami semakin baik setiap hari,” kata Evgeny Fomin dari SLAIT. “Dalam jangka menengah, kami berencana merilis aplikasi yang berhubungan dengan konsumen untuk melacak bahasa isyarat. Namun, ada banyak pekerjaan yang harus dilakukan untuk mencapai perpustakaan lengkap dari semua isyarat bahasa isyarat. Kami berkomitmen untuk mewujudkan keadaan masa depan ini. Misi kami adalah meningkatkan aksesibilitas secara radikal untuk komunitas Tunarungu dan yang mengalami gangguan pendengaran. ”

Dari kiri, Evgeny Fomin, Antonio Domènech dan Bill Vicars. Kredit Gambar: SLAIT

Dia memperingatkan bahwa itu tidak akan terjadi sama sekali lengkap – sama seperti terjemahan dan transkripsi dalam atau ke bahasa apa pun hanyalah perkiraan, intinya adalah untuk memberikan hasil praktis bagi jutaan orang, dan beberapa ratus kata sudah cukup untuk mewujudkannya. Saat data mengalir masuk, kata-kata baru dapat ditambahkan ke kosakata, dan frasa multigesture baru juga, dan kinerja untuk kumpulan inti akan meningkat.

Saat ini perusahaan sedang mencari pendanaan awal untuk mengeluarkan prototipe dan mengembangkan tim melebihi kru pendiri. Fomin mengatakan mereka telah menerima minat tetapi ingin memastikan mereka terhubung dengan investor yang benar-benar memahami rencana dan visinya.

Saat mesin itu sendiri telah dibangun agar lebih dapat diandalkan dengan penambahan lebih banyak data dan penyempurnaan model pembelajaran mesin, tim akan melihat pengembangan dan integrasi aplikasi lebih lanjut dengan produk dan layanan lain. Untuk saat ini produk tersebut lebih merupakan bukti konsep, tetapi bukti yang luar biasa – dengan sedikit lebih banyak pekerjaan SLAIT akan melompati industri dan menyediakan sesuatu yang diinginkan oleh orang-orang yang tuli dan mendengar selama beberapa dekade.

Posted By : Togel Online