Как Apple удалось создать доступные лидары без движущихся частей для iPhone
На презентации iPhone 12 во вторник Apple представила возможности нового лидара. По словам Apple, лидар позволит усовершенствовать камеру iPhone за счёт ускорения фокусировки, особенно в условиях низкой освещённости. Возможно, таким образом появится новое поколение сложных AR-приложений.
Во вторник на презентации было рассказано о том, как работает лидар в iPhone, хотя это не первое устройство с лидаром от Apple. Впервые компания представила устройство, использующее эту технологию, в марте – это был обновленный iPad. И хотя пока еще никто не успел разобрать iPhone 12, мы можем многое узнать из недавних разборок последнего iPad.
Принцип работы лидара заключается в том, что он посылает лазерный свет и измеряет, сколько времени ему потребуется на возврат. Поскольку свет движется с постоянной скоростью, время пути туда и обратно может быть преобразовано в точную оценку расстояния. Повторяйте этот процесс на двумерной сетке, и в результате получится трехмерное «облако точек», показывающее расположение объектов вокруг комнаты, улицы или другого места.
, проведенный компанией «System Plus Consulting», показал, что лидар в iPad посылает свет, используя матрицу вертикально-излучающих лазеров (VCSEL), изготовленную компанией «Lumentum». Затем он фиксирует обратную вспышку, используя массив однофотонных лавинных диодов (SPAD), поставляемых компанией Sony. Я объясню что это такое в следующем разделе.
Я нашел презентацию Apple особенно интересной, потому что я работал над текстом о компаниях, которые используют эти технологии (VCSEL и SPAD) для создания гораздо более мощного лидара для автомобильного рынка. Вертикально-излучающие лазеры и однофотонные лавинные диоды интересны тем, что они могут массово изготавливаться с использованием обычных технологий производства полупроводниковых приборов. Таким образом, выгода возникает за счет огромной экономии на производстве в больших объемах. По мере того, как растет распространенность датчиков на основе лазеров с вертикальным излучением, будет расти их качество (а цена будет снижаться).
Две компании, работающие над топовыми лидаром на основе лазеров с вертикальным излучением (Ouster и Ibeo) уже сейчас получают больше поддержки, чем большинство игроков на тесном рынке лидаров. Решение Apple о принятии этой технологии (и возможность того, что другие производители смартфонов последуют примеру Apple), обеспечит им попутный ветер в ближайшие годы.
Лазеры с вертикальным излучением позволили Apple создать очень простые лидары
Компания Velodyne стала пионером на рынке лидаров, выпустив 64-лазерный датчик
Первый трехмерный лидар был представлен компанией Velodyne более десяти лет назад. Вращающееся устройство стоило около 75 000 долларов и по габаритам было значительно больше смартфона. Apple должна была удешевить и уменьшить лидары, чтобы их можно было вставлять в iPhone, и лазеры с вертикальным излучением позволили компании этого добиться.
Что такое лазер с вертикальным излучением? Если вы создаете лазер, используя традиционные методы производства полупроводниковых устройств, у вас есть две основные технологии. Вы можете сделать лазер, излучающий свет со стороны подложки (такие называют лазерами с торцевым излучением) или сверху (лазеры поверхностного излучения с вертикальным резонатором – VCSEL).
Лазеры торцевого излучения традиционно были более мощными. Лазеры с вертикальным излучением десятилетиями используются в самых различных устройствах – от оптических мышей до сетевых передатчиков. Считалось, что они не подходят для высокотехнологичных решений, где требовались большие пучки света, но технология развилась, и лазеры с вертикальным излучением стали более мощными.
Для обнажения излучателя лазера с торцевым излучением обычно требуется небольшой надрез пластины. Это увеличивает стоимость и сложность производственного процесса и ограничивает количество лазеров, которые могут быть размещены на одной пластине. В свою очередь, лазеры с вертикальным излучением выпускают свет перпендикулярно пластине, поэтому их не нужно разрезать или упаковывать по отдельности. Таким образом, один чип может содержать сотни (и даже тысячи) лазеров с вертикальным излучением. В целом, при условии производства в больших масштабах, микросхема с тысячами лазеров с вертикальным излучением может стоить не больше нескольких долларов.
То же самое и с однофотонными лавинными диодами. Как следует из названия, они достаточно чувствительны, чтобы обнаружить одиночный фотон. Высокая чувствительность означает, что они страдают от шумов. Для того, чтобы использовать такие диоды в таких устройствах, как лидары, необходима сложная постобработка. Большое преимущество однофотонных лавинных диодов заключается в том, что как и лазеры с вертикальным излучением, они могут производиться с использованием привычных технологий, и тысячи таких диодов могут размещаться на одном кристалле.
Сочетание лазеров с вертикальным излучением и однофотонных лавинных диодов позволяет значительно упростить конструкцию лидара. Оригинальный трехмерный лидар, созданный Velodyne, содержал 64 отдельно упакованных лазера на вращающейся установке. Каждый лазер имел соответствующий ему детектор. Сложность этой конструкции и необходимость точной подгонки каждого лазера были одними из причин дороговизны устройств от Velodyne.
В последнее время некоторые компании экспериментировали с использованием маленьких зеркал, чтобы «направлять» лазерный луч в соответствии с заданным паттерном сканирования. В такой конструкции достаточно всего одного лазера, но она все еще нуждается в подвижной части.
В свою очередь, Apple, Ouster и Ibeo производят лидары без движущихся частей. Лидары на основе чипов с сотнями/тысячами лазеров с вертикальным излучением могут использовать отдельные лазеры для каждой точки в поле зрения датчика. А поскольку все эти лазеры предварительно упаковываются на одном чипе, сборка этих устройств намного проще по сравнению с лидарами от Velodyne.
В последних моделях iPhone использовался еще один трехмерный датчик под названием TrueDepth Camera – он обеспечивал работу функции FaceID. Также сообщается, что в этом модуле использовался массив лазеров с вертикальным излучением от Lumentum. Принцип работы TrueDepth заключается в проецировании 30 000 точек на лицо пользователя для формирования трехмерной модели и сравнения сохраненной модели с полученной (с учетом ее деформаций).
Лидар в iPad проецирует намного меньше точек, чем камера TrueDepth. Видео от iFixIt, снятое ИК-камерой показало, что лидар проецирует сетку размерностью в несколько сотен пикселей. При этом если датчик TrueDepth распознавал глубину на основе формы света, падающего на лицо человека, то лидар в iPad измеряет расстояние напрямую, засекая время на полет света до объекта и обратно. Такой подход, вероятно, обеспечивает более высокую точность измерения глубины, а также увеличивает дальность работы датчика.
В более мощных лидарах также используются лазеры с вертикальным излучением (VCSEL) и однофотонные лавинные диоды (SPAD)
Лидары OS-1 и OS-2 от Ouster
Производительность лидаров от Apple намного ниже, чем у топовых датчиков, производимых компаниями, специализирующимися на лидарах. Velodyne, компания выпустившая первый трехмерный лидар, утверждает, что их датчик может работать с дальностью в 200 метров, в то время как датчик от Apple работает с дальностью 5 метров.
Многие лидары, использующие лазеры с вертикальным излучением, более мощны чем датчики, которые используются в устройствах от Apple. Например, самый мощный лидар от Ouster на основе VCSEL-лазеров может похвастаться дальностью около 100 метров при 10-процентной отражательной способности.
Все нынешние датчики от Ouster похожи на вращающиеся устройства от Velodyne. В них используются чипы, в которых установлены от 16 до 128 лазеров с вертикальным излучением – эти чипы устанавливаются столбцами на вращающейся основе. Простота этой цельной конструкции позволила Ouster снизить цену своих устройств и стать одним из крупнейших конкурентов Velodyne. Впрочем, эти датчики все еще стоят тысячи долларов – слишком дорого для использования в автомобилях, не говоря уже о смартфонах.
На прошлой неделе Ouster объявила о планах выпустить новый твердотельный лидар без движущихся частей. Вместо того, чтобы выставлять в ряд от 16 до 128 лазеров, в новом устройстве от Ouster будут использоваться 20 000 лазеров с вертикальным излучением, расположенных в двумерной сетке.
Ibeo придерживается аналогичной стратегии и может превзойти Ouster. Компания Ibeo разработала самый первый лидар, когда-либо поставляется на рынок автомобилей массового потребления — датчик для Audi A8. Это было абсолютно примитивное устройство с разрешением всего в 4 линии по вертикали. Сейчас компания занимается разработкой нового устройства под названием IbeoNext. Данная модель будет иметь лазерную сетку размером 128 на 80 пикселей – чуть меньше чем в проектируемом датчике от Ouster, но значительно больше, чем в последних устройствах от Ibeo. Компания утверждает, что ее новый датчик будет иметь дальность работы 150 метров и 10-процентную отражательную способность.
Последний игрок, о котором стоит упомянуть – Sense Photonics, компания, о которой мы рассказывали еще в январе. Как и другие компании, о которых мы говорили, Sense в своих лидарах использует лазеры с вертикальным излучением и однофотонные лавинные диоды. При этом, при работе с лазерами Sense используют технологию, которая называется микротрансферной печатью. С ее помощью лазеры могут потребять больше энергии, не перегреваться и оставаться безопасными для человеческих глаз. Пока что устройства от Sense не отличались большой дальностью работы, но генеральный директор компании Шона Макинтайр сказала Ars, что компания стремится разработать датчик, работающий с дальностью 200 метров – об этом устройстве Sense объявит в начале 2021 года.
Лидары скоро ворвутся на автомобильный рынок
Лидар от Ibeo
Ibeo, Sense и Ouster выпускают новые недорогие модели, поскольку ожидают резкого роста спроса со стороны автомобильной промышленности. Лидары могут значительно улучшить ADAS-системы.
Например, многие считают, что у Tesla одни из передовых ADAS-систем в индустрии. При этом у компании есть постоянная проблема – ее автомобили врезаются в неподвижные объекты, иногда со смертельным исходом. Лидары справляются с обнаружением неподвижных объектов лучшем, чем камеры и радары, а значит внедрение лидаров может предотвратить множество аварий, за счет чего системы ADAS будут более полезными для водителей.
До нынешних времен считалось, что лидары слишком дороги для автомобильного рынка, но ситуация меняется. Некоторые компании обещают, что в следующие несколько лет выпустят лидары, стоящие менее 1000 долларов.
Ouster планирует подготовить свой датчик ES2 к массовому производству для автомобильной индустрии в 2024 году. Компания заявляет, что изначально устройство будет стоить 600 долларов, а в будущем цена снизится до 100.
Ibeo не объявила цену на IbeoNext, но компания заявляет, что уже заключила сделку с Great Wall Motors (крупным автопроизводителем в Китае) о начале серийного производства в 2022 году.
Компании, не использующие лазеры с вертикальным излучением, также устремились на этот рынок. Одной из наиболее известных компаний в этом пуле является компания Luminar – она объявила о сотрудничестве с Volvo в мае. Volvo планирует выпустить автомобили с лидаром от Luminar в 2022 году.
Все эти конструкции имеют свои сильные и слабые стороны (причем разные). Пока что Luminar может похвастаться значительной дальностью – целых 250 метров. Возможно дело в том, что Luminar использует лазеры с длиной волны 1550 нм, которая находится далеко за пределами диапазона видимого света. Жидкость в человеческом глазу непроницаема для такого света, а значит Luminar может использовать мощные лазеры, которые не будут опасны для человеческих глаз. Также у лидаров от Luminar более широкое поле зрения, чем у устройств от Ouster.
Самый большой вопрос к Luminar – смогут ли они уложиться в заявленную цену, равную 1000 долларов. Когда я два года назад брал интервью у генерального директора Luminar Остина Рассела, он сказал, что Luminar нужно будет «снизить цену до нескольких тысяч», чтобы выйти на массовый рынок. Тогда я предположил, что лидар от Luminar стоит больше, чем «несколько тысяч». Теперь же компания утверждает, что цена на их лидары упадет ниже 1000 долларов.
Ouster и Ibeo же не имеют проблем с тем, чтобы сделать свои устройства дешевыми. Вероятно, у компаний возникнет проблема с достижением дальности работы в 200 метров – считается, что она необходима для работы на скоростях езды по магистрали.
«Лазеры с вертикальным излучением уступают по яркости тем лазерам, что используются в привычных лидарах», – так мне сказал генеральный директор Ouster Ангус Пакала. «Если вы создадите физическую модель, подключите однофотонный лавинный диод и лазер с вертикальным излучением, то в результате получите невысокую производительность». Впрочем, Пакала сказал, что Ouster разработала ряд «фундаментальных решений на разных уровнях», которые могут заставить это сочетание работать. Пакала сказал, что в перечень этих решений входят «исключительное» подавление света, выбивающегося из диапазона, и «размещение устройств обработки сигнала рядом с диодами», что помогает отличить возвращающиеся лазерный свет от шумов.
Таким образом, в ближайшие годы Ouster, Ibeo и Sense столкнутся с большой проблемой: развить производительность сочетания лазеров с вертикальным излучением и однофотонных лавинных диодов до такой степени, чтобы их устройства могли работать с дальностью в 200 метров. Если им удастся решить эту задачу, то низкая стоимость и простота чипов дадут этим компаниям решающее преимущество. Если же им не удастся, то они могут опуститься на более низкий уровень этого рынка.
