Snapdragon 8 Elite Gen 6 научил камеры смартфонов понимать каждый пиксель
22 сентября на Snapdragon Summit Qualcomm представила флагманские процессоры Snapdragon 8 Elite Gen 6 и 8 Elite Extreme Gen 6 — первые 2-нанометровые чипы компании. Для мобильных фотографов главное в них — новый конвейер обработки изображения Spectra ISP. Теперь в Qualcomm подробно рассказали, как он работает и что изменится в снимках.
Главная фишка — Intelligent Pixel Control. Нейропроцессор размечает каждый пиксель кадра: лицо, волосы, небо, трава, ткань, еда, — а ISP обрабатывает каждую область по-своему. На рубашке можно добавить текстуры, на лице — сгладить кожу, траве — прибавить детализации и чуть-чуть зелени. Система различает даже возраст людей в кадре.
Что нового в обработке камеры:
⚬ На каждый пиксель приходится 16 бит ИИ-данных вместо 8. В файл они не попадают: размер JPEG не растёт, а сведения о том, кто в кадре, не сохраняются.
⚬ Трекинг людей: человек, который вышел из кадра и вернулся, распознаётся и обрабатывается так же, как раньше.
⚬ Ночные снимки: тёмное лицо можно высветлить и поправить баланс белого отдельно от фона, без эффекта «искусственного дня» на всём кадре.
⚬ Elite Color Engine — цветокоррекция с 3D LUT в реальном времени прямо в чипе. Можно сдвинуть один диапазон цветов, например зелень к жёлтому, не трогая кожу и небо.
⚬ Motion Intelligence уменьшает смаз и подёргивания при съёмке с рук.
⚬ Многокадровое шумоподавление с ИИ перенесли на самый ранний этап — в RAW, ещё до основной обработки. На выходе можно получить RAW-файл с меньшим шумом.
⚬ Нулевая задержка затвора теперь работает сразу с тремя камерами по 64 Мп (было 48 Мп) или с одной на 108 Мп, снимки — до 320 Мп. Внутри три 20-битных ISP с поддержкой 16-битных LOFIC-матриц.
⚬ Одновременная запись трёх потоков 4K 30p с трёх камер и поворот кадра «на лету» для квадратных матриц — вертикальное видео без поворота телефона.
⚬ Подпись снимков по стандарту C2PA прямо в смартфоне: будет доступна вся история файла от съёмки до правок в Photoshop.
Возможности двух чипов различаются. Extreme Gen 6 впервые в смартфонах снимает 8K 60p и 4K 240p и пишет видео в профессиональном кодеке APV. У обычного Gen 6 — 8K 30p и 4K 120p, но разметка пикселей, Color Engine, Motion Intelligence и шумодав в RAW есть у обоих.
Для тех, кто снимает на смартфон, это шаг к более естественной картинке: кожа без «пластика», ночные портреты без пересвеченного фона и шумодав для RAW.
Впрочем, многое решает производитель смартфона: насколько сильно сглаживать кожу, давать ли эти настройки пользователю, какой глубины буфер задержки затвора держать и включать ли C2PA. Применить Color Engine к уже снятому кадру пока нельзя — всё работает только в момент съёмки. В Qualcomm изучают, как по запросу пользователя прогонять снимок через ISP повторно.
Первыми на новых чипах вышли Xiaomi 18 Pro и 18 Pro Max (пока в Китае, глобальный запуск — до конца года) и Honor Magic9 Pro Max. Одним из первых на Extreme Gen 6 станет Motorola Signature 27 — смартфон выйдет в IV квартале. Смартфоны на Gen 6 также готовят iQOO, Nubia, OnePlus, Oppo, Redmi, RedMagic, vivo и ZTE.