Deep Vision mengumumkan prosesor AI latensi rendah untuk edge – TechCrunch


Deep Vision, startup AI baru yang sedang membangun chip inferensi AI untuk solusi komputasi edge, keluar dari mode siluman hari ini. Prosesor ARA-1 baru dari perusahaan berusia enam tahun ini menjanjikan keseimbangan yang tepat antara latensi rendah, efisiensi energi, dan daya komputasi untuk digunakan dalam segala hal mulai dari sensor hingga kamera dan server edge yang lengkap.

Karena kekuatannya dalam analisis video waktu nyata, perusahaan mengarahkan chipnya pada solusi seputar ritel pintar, termasuk toko tanpa kasir, kota pintar, dan Industri 4.0 / robotika. Perusahaan ini juga bekerja sama dengan pemasok untuk industri otomotif, tetapi lebih sedikit tentang mengemudi otonom daripada memantau aktivitas di dalam kabin untuk memastikan bahwa pengemudi memperhatikan jalan dan tidak terganggu atau mengantuk.

Kredit Gambar: Deep Vision

Perusahaan didirikan oleh CTO-nya Rehan Hameed dan Kepala Arsitek Wajahat Qadeer, yang merekrut Ravi Annavajjhala, yang sebelumnya bekerja di Intel dan SanDisk, sebagai CEO perusahaan. Hameed dan Qadeer mengembangkan arsitektur Deep Vision sebagai bagian dari gelar Ph.D. tesis di Stanford.

“Mereka datang dengan arsitektur yang sangat menarik untuk AI yang meminimalkan pergerakan data di dalam chip,” jelas Annavajjhala. “Itu memberi Anda efisiensi yang luar biasa – baik dalam hal kinerja per dolar dan kinerja per watt – saat melihat beban kerja AI.”

Jauh sebelum tim memiliki perangkat keras yang berfungsi, perusahaan berfokus pada pembuatan kompilernya untuk memastikan bahwa solusinya benar-benar dapat memenuhi kebutuhan pelanggannya. Baru setelah itu mereka menyelesaikan desain chip.

Kredit Gambar: Deep Vision

Seperti yang dikatakan Hameed kepada saya, fokus Deep Vision selalu pada pengurangan latensi. Sementara pesaingnya sering kali menekankan throughput, tim percaya bahwa untuk solusi edge, latensi adalah metrik yang lebih penting. Sementara arsitektur yang berfokus pada throughput masuk akal di pusat data, Deep Vision CTO Hameed berpendapat bahwa ini tidak selalu membuat mereka cocok di edge.

“[Throughput architectures] membutuhkan sejumlah besar stream yang diproses oleh akselerator pada saat yang sama untuk sepenuhnya memanfaatkan perangkat keras, baik melalui batching maupun eksekusi pipeline, ”jelasnya. “Itulah satu-satunya cara bagi mereka untuk mendapatkan hasil yang besar. Hasilnya, tentu saja, adalah latensi tinggi untuk tugas individu dan itu membuatnya tidak sesuai menurut pendapat kami untuk kasus penggunaan edge di mana kinerja waktu nyata adalah kuncinya. ”

Untuk mengaktifkan kinerja ini – dan Deep Vision mengklaim bahwa prosesornya menawarkan latensi yang jauh lebih rendah daripada Google Edge TPUs dan Movidius ‘MyriadX, misalnya – tim menggunakan arsitektur yang mengurangi pergerakan data pada chip seminimal mungkin. Selain itu, perangkat lunaknya mengoptimalkan aliran data keseluruhan di dalam arsitektur berdasarkan beban kerja tertentu.

Kredit Gambar: Deep Vision

“Dalam desain kami, alih-alih memasukkan strategi akselerasi tertentu ke dalam perangkat keras, kami malah membangun primitif yang dapat diprogram ke dalam prosesor kami sendiri, yang memungkinkan perangkat lunak untuk memetakan semua jenis aliran data atau aliran eksekusi yang mungkin Anda temukan di grafik jaringan saraf secara efisien di atas kumpulan primitif dasar yang sama, ”kata Hameed.

Dengan ini, penyusun kemudian dapat melihat model dan mencari cara terbaik untuk memetakannya pada perangkat keras untuk mengoptimalkan aliran data dan meminimalkan pergerakan data. Berkat ini, prosesor dan kompiler juga dapat mendukung hampir semua kerangka jaringan saraf dan mengoptimalkan model mereka tanpa pengembang harus memikirkan batasan perangkat keras tertentu yang sering membuat bekerja dengan chip lain menjadi sulit.

“Setiap aspek tumpukan perangkat keras / perangkat lunak kami telah dirancang dengan dua tujuan tingkat tinggi yang sama,” kata Hameed. “Salah satunya adalah meminimalkan pergerakan data untuk mendorong efisiensi. Dan juga untuk menjaga agar setiap bagian dari desain tetap fleksibel sehingga rencana eksekusi yang tepat dapat digunakan untuk setiap jenis masalah. “

Sejak didirikan, perusahaan mengumpulkan sekitar $ 19 juta dan telah mengajukan sembilan paten. Chip baru telah mengambil sampel untuk sementara waktu dan meskipun perusahaan sudah memiliki beberapa pelanggan, ia memilih untuk tetap berada di bawah radar sampai sekarang. Perusahaan jelas berharap arsitekturnya yang unik dapat memberikan keunggulan di pasar ini, yang semakin kompetitif. Selain orang-orang seperti Intel Chip Movidius (dan chip kustom dari Google dan AWS untuk cloud mereka sendiri), ada juga banyak startup di ruang ini, termasuk perusahaan seperti Hailo, yang mengumpulkan $ 60 juta putaran Seri B awal tahun ini dan baru-baru ini meluncurkan chip barunya, terlalu.

Posted By : Togel Online