Після впровадження підтримки сферичних фотографій і відеороликів Facebook представила в 2018 році функцію, що дозволяє переглядати і публікувати 3D-фотографії. Однак її робота залежить від здатності смартфона робити стереоскопічні знімки апаратними засобами. Але Facebook працює на тим, щоб донести цей новий візуальний формат до більшої кількості людей.
Компанія задіяла методи машинного навчання для створення тривимірних фото практично з будь-якого зображення. Будь то нова фотографія, щойно зроблена на пристрої Android або iOS за допомогою стандартної одиночної камери, або фотографія десятирічної давності - Facebook може перетворити її на стереоснімок.
Створення технології потребувало подолання безлічі технічних проблем, таких як навчання моделі, яка б правильно визначала тривимірні позиції надзвичайно широкого спектру об'єктів, і оптимізація системи для роботи на типових мобільних процесорах за частку секунди.
Фахівці навчили згорткову нейронну мережу (CNN) на мільйонах пар повноцінних 3D-зображень, що знаходяться у відкритому доступі, і супроводжуючих їх карт глибини і використовували раніше розроблені Facebook AI методи оптимізації FBNet і ChamNet. Основний етап тренування нейромережі зайняв приблизно три дні і зажадав 800 графічних процесорів Tesla V100.
Нову функцію 3D Photos вже можна випробувати в додатку Facebook на смартфонах iPhone і Android. Більш детально ознайомитися зі створенням алгоритмів і прикладами їх роботи можна в блозі компанії.
