Лідер виробництва датчиків зображень компанія Sony передчуває насичення цією продукцією головного споживача ― ринку смартфонів. Компанії потрібні нові напрямки для збуту датчиків. Цим напрямком може стати ринок розумних речей з функціями ефективного відстеження людей і об'єктів.
На думку Sony, розвиток сфери Інтернету речей впирається в ряд обмежень: це високі затримки при зверненні до хмари (які тільки будуть рости); передумови для порушення приватності (погано контрольоване зростання витоків з хмари); і збільшення енергоспоживання (на канал зв'язку та віддалені ресурси). Всього цього можна уникнути або значно послабити вплив цих факторів, якщо в кожен датчик зображення вбудувати свій ШІ. Тоді дані будуть оброблятися в режимі реального часу прямо в датчику без звернення до хмари.
Першою продукцією Sony в області датчиків зображень з ШІ став 12,3-Мп сенсор IMX500, досвідчені поставки якого почалися в квітні. Ціна питання 10 тис. ієн ($93). Це вартість збірки без упаковки. У корпусі чіп буде пропонуватися у вигляді мікросхеми IMX501 по 20 тис. ієн ($186). Різницю між одним та іншим виконанням можна побачити на фото вище.
IMX500 складається з зібраних у стек двох кристалів. Верхній кристал ― це датчик зображення діагоналлю 7,857 мм (у форматі 1/1,23), а нижній ― це чіп з пам'яттю, блоком ШІ і цифровим сигнальним процесором. Дані з датчика зображення попіксельно передаються на нижній чіп і повністю на ньому обробляються.
Обробка даних у кадрі вбудованим ШІ проводиться миттєво. Наприклад, з використанням згорткової нейромережі MobileNet V1.2 дані в кадрі обробляються за 3,1 мс. Запропонована Sony система здатна з високою ефективністю стежити за рухомими об'єктами в режимі реального часу. Ось воно майбутнє.
