Metalenz купила PxE Imaging готовит замену фильтру Байера — до 2,5 раз больше света
Фильтр Байера стоит почти в каждой цветной цифровой камере уже скоро как полвека, но он снижает чувствительность матрицы к свету. Американская Metalenz объявила о покупке израильского стартапа PxE Imaging, а вместе с ним — технологии Holocoder: это слой, который наносят на сенсор вместо цветной мозаики.
По заявлению Metalenz, до пикселей с Holocoder доходит в 2,5 раза больше света.
Как устроен фильтр Байера, мы подробно разбирали: над каждым пикселем стоит крошечный красный, зелёный или синий светофильтр, и он пропускает только свой цвет. По данным Metalenz, так теряется до 60% света. Holocoder не поглощает ничего — он обрабатывает свет как с волну.
Как работает Holocoder:
⚬ Это прозрачный неподвижный дифракционный слой на обычном CMOS-сенсоре. Он заменяет собой сразу два слоя — мозаику Байера и массив микролинз над пикселями. Объектив и сам сенсор остаются прежними.
⚬ Вместо того чтобы отсекать «чужие» цвета, слой отклоняет световые волны к нужным пикселям. До сенсора доходит весь доступный свет.
⚬ На сенсоре получается голографическое изображение. Специальный процессор изображения в реальном времени раскладывает его на цветную картинку (RGB), инфракрасный канал и карту глубины: длина волны даёт цвет и ИК, а кривизна волнового фронта — расстояние до объекта.
⚬ В остальном конструкцию камеры или оптики менять не нужно.
«Мы создали Holocoder, чтобы улавливать ту информацию в свете, которую обычные сенсоры выбрасывают или просто не видят. Так камера становится чувствительнее к свету и может снимать горзадо лучше», — сообщает автор технологии, сооснователь и глава PxE Йоав Берлацки.
Ночью смартфоны вытягивают кадры программно: склейкой нескольких кадров и нейросетевым шумодавом. Глава Metalenz Роб Девлин уверен, что у этого подхода есть предел: «Apple, Samsung, Google — все каждый год бьются за то, чтобы камера стала лучше. И в основном вкладывают сотни миллионов долларов в софт, чтобы хоть как-то её улучшить. Но если информация потеряна, вернуть её в оригинальном виде уже не получится».
Больше света на пикселе — это меньше шума при той же выдержке. Самый заметный выигрыш компания обещает для ночных фото и видео, а ещё для контрастных сцен: на селфи на фоне яркого окна сенсор должен сохранить и света без пересвета, и тени без шумов. Определение глубины пространства на матрице — это портретный режим и размытие фона без необходимости использования второй камеры, отдельного датчика глубины или догадок локального ИИ. А раз лишние модули не нужны, блок камер на задней панели смартфона может стать проще и компактнее, а сам смартфон при этом дешевле.
Кто такие Metalenz
Компания основана в Гарварде в 2016 году и делает плоскую оптику — метаповерхности. По данным Metalenz, в потребительских устройствах уже используется больше 300 миллионов таких линз. Дебютировали они в 2022 году в ToF-модуле STMicroelectronics VL53L8, который отвечает в том числе за лазерный автофокус, — его находили в Samsung Galaxy S23 Ultra, Google Pixel 8 Pro и iPad Pro на M4.
Похожие «цветовые маршрутизаторы» вместо фильтра Байера разрабатывают также Samsung и стартап Eyeo. Первые устройства с применением подобных технологий ожидаются в конце 2027 — начале 2028 года. Кроме смартфонов, камеры могут использоваться в автомобилях, дронах и роботах.
Как думаете, кто первым поставит такой сенсор в смартфон?