Многие знают о технологиях VR с их шлемами и очками, которые постоянно на слуху. Но стоит спросить о том, что такое AR, большинство растеряется. Что странно, ведь эта технология куда больше вплетена в нашу обыденную жизнь и уже давно. Исправляем эту несправедливость: поговорим о дополненной реальности, её примерах, свойствах и возможностях.
· Обновлено 27 марта 2023
Что такое AR и чем она отличается от других -R?
Augmented Reality (AR) — это технология, которая позволяет расширять физический мир с помощью цифровых объектов. Это могут быть звуки, 3D-модели, изображения, анимации и многое другое.
При этом дополненную реальность не стоит путать с другими видами похожих технологий. Например, нашумевшая Virtual Reality или VR позволяет человеку полностью погрузиться в цифровое пространство — оно как бы замещает собой реальное. А AR просто дополняет его, добавляет новые слои через экраны устройств.
Но и это ещё не всё. Есть технология, которая позволяет не просто накладывать виртуальные объекты на окружающий мир, а совмещать цифровую и физическую реальности. Она называется Mixed Reality или MR. Если проще, это что-то среднее между VR и AR. С помощью такой технологии человек может видеть, как цифровые и реальные объекты могут взаимодействовать, располагаться относительно друг друга и т. д.
Вещи В Майнкрафте, Которые Сломают Ваш Мозг 🤯 / майнкрафт секретные факты
Итак, закрепим, чтобы не запутаться:
- VR погружает в виртуальную реальность, где нет ничего настоящего;
- AR оцифровывает физическую реальность и накладывает поверх неё виртуальные элементы, которые мы можем видеть через экран;
- MR совмещает две эти технологии.
Все эти три технологии (VR, AR и MR) объединяет одно название — XR или Extended Reality. Теперь вы знаете, что такое дополненная реальность, и не перепутаете все эти термины.
Получай лайфхаки, статьи, видео и чек-листы по обучению на почту
Краткая история дополненной реальности
Всё, что связано с AR, звучит так футуристично, что кажется, будто это совсем новая технология. Но на деле это не так. О волшебных очках, которые дополняют мир новой информацией, писатели фантазировали ещё с начала XX века.
В 1956 году мир увидел первое такое изобретение. Это была громоздкая машина с большим количеством мониторов и другой аппаратуры, которая была совсем не похожа на современные очки и смартфоны. Она называлась Sensorama, и изобрёл её Мортон Хейлиг. Это были лишь первые шаги в сторону симуляций и виртуальной реальности, но уже они взбудоражили научное сообщество.
После этого последовала череда из попыток добиться большего. Вот несколько особенно громких примеров:
- 1968 год — Айвен Сазерленд создаёт первую модель шлема виртуальной реальности «Дамоклов меч»;
- 1980 год — изобретён шлем EyeTap, который умеет показывать информацию прямо поверх взгляда носителя;
- 1985 год — NASA изобретают шлем VIEW;
- 1990 год — технологии используют в инженерии Boeing и впервые называют дополненной реальностью;
- 1994 год — AR распространяется на сферы развлечений и искусства через шоу «Танцы в киберпространстве», где реальные актёры танцуют вместе с виртуальными;
- 2005 год — по миру распространяются смартфоны и появляются связанные с ними новые возможности AR, например, игры;
- 2014 год — Google презентует AR-очки Google Glass;
- 2016 год — AR-игра Pokemon Go обретает всемирную популярность: люди высыпают на улицы, чтобы через смартфоны ловить существ из одноимённого аниме.
- 2022 год — начинаются испытания контактных линз, которые обеспечили бы носителю «компьютерное зрение».
Какие ещё новшества ждут нас в AR, можно только фантазировать. Но уже сейчас технология проникла во все сферы нашей жизни. О том, как именно, — далее.
МАЙНКРАФТ В РЕАЛЕ ! ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ МАЙНКРАФТ ОТКРЫТИЯ
Как работает технология дополненной реальности
Если не вдаваться в сложные технические подробности, то работу AR можно объяснить всего за три пункта:
- Камера устройства (чаще — смартфона) захватывает окружающее пространство.
- AR-софт определяет, где будет размещать изображение, по особой разметке и маркерам, а также выбирает тип наложения.
- Виртуальное изображение дополненной реальности возникает на экране устройства поверх настоящего.
При этом существует два основных типа наложения: конструктивный и деструктивный. В первом виртуальная картинка просто дополняет физический мир, а во втором — заменяет собой реальные объекты. К примеру, танцующего на столе бобра можно отнести к конструктивному типу, а бьюти-маску в TikTok — к деструктивному.
Чтобы понять, какой именно объект заменить или куда вставить картинку, приложение распознаёт объекты и отслеживает маркеры. С первым всё просто: разработчики сначала учат систему видеть определённые вещи. Для этого они загружают в его память библиотеки с их изображениями во всех ракурсах. Так программа будет распознавать предмет по форме.
С маркерами всё немного иначе. Это может быть распечатанный QR-код на плоскости, где нужно отобразить виртуальный объект. Камера захватит его, а приложение поймёт, что накладывать картинку нужно именно в этом месте. Также маркером может быть любой предмет.
Теперь, когда мы разобрались, как это всё работает, можем назвать и основные свойства дополненной реальности:
- AR добавляет виртуальные модели в настоящий мир;
- действует в реальном времени;
- поддерживает трёхмерный режим.
Именно это делает AR уникальной технологией, которая дарит новые возможности в разных сферах. О них и поговорим дальше.
Источник: skysmart.ru
Minecraft Earth
Minecraft Earth — это бесплатная мобильная игра с дополненной реальностью (AR), разработанная Mojang Studios и выпущенная Xbox Game Studios. В ней игроки могут строить здания и собирать ресурсы, путешествуя в реальном мире. [5]
- 1 Дизайн
- 2 Игровой процесс
- 2.1 Основания
- 2.2 Главные отличия игрового процесса
- 5.1 Закрытое бета-тестирование
- 5.1.1 iOS
- 5.1.2 Android
- 9.1 Постеры
- 9.2 Уникальные мобы и предметы
Дизайн
Minecraft Earth не является портом существующей игры. Это адаптация Minecraft Bedrock Edition и Minecraft: Java Edition. Игра построенная на Bedrock Edition. Она имеет множество уникальных игровых аспектов и взаимодействий, похожих на основную игру. [6]
К Minecraft Earth требуется учётная запись Xbox Live. [7]
В игре используются новые пространственные привязки Azure вместе с технологией Open Maps, чтобы помочь с опытом. Это помогает определить местоположение определённых объектов и закрепить сборки игроков. [8]
Было раньше объявлено, что Край и Нижний мир запланированы для Minecraft Earth в будущем обновлении. [9]
Игровой процесс
В Minecraft Earth игроки могут строить структуры с другими игроками и размещать их в реальном мире в натуральную величину. [10]
На карте игроки могут видеть своего игрового персонажа, скин которого может быть изменён на один из купленных во внутриигровом магазине. Вокруг карты разбросаны подарки, которые пользователь может открыть, если находится в их зоне досягаемости. В подарках игрок получить различные блоки, предметы и мобов в свой инвентарь.
Кроме того, на карте можно найти приключения — режим, в котором игроки могут сражаться с мобами, собирать дополнительные ресурсы, недоступные для получения через подарки, и получать награды.
Данная версия Minecraft работает на движке «Bedrock Engine» и имеет множество уникальных аспектов и взаимодействий с игровым процессом, схожих с Java Edition и Bedrock Edition. [11]
Для входа в Minecraft Earth требуется аккаунт Xbox Live. [12]
Для улучшения игрового опыта, игра использует технологию «пространственных якорей» от Azure и «Open Maps». Это помогает определять правильное положение объектов и конструкций игроков в пространстве. [11] [13]
В игре отсутствуют Нижний мир и Край, но разработчики раньше заявляли, что эти миры планируются к добавлению в будущих версиях игры. [14]
Основания
Основания — это миры, которые игроки могут использовать для постройки различных сооружений. Над основаниями может работать как владелец, так и приглашённые им пользователи. [11] [13]
Размер оснований варьируется и может достигать 60 метров. [11] Игроки могут получать новые миры и улучшения к ним как через систему уровней, так и через внутриигровой магазин.
Основания могут быть размерами 8×8, 16×16 или 32×32 блока. Ограничение по высоте вверх составляет 221 блок [15] , вниз — 3 блока от уровня земли. Ограничителем самой нижней высоты является коренная порода.
Основания работают как персональные Realms, доступные к использованию в любой точке мира. Из-за того, что игра работает на движке «Bedrock Engine», физика, красная пыль и другие механики игры идентичны Bedrock Edition. [11] [13]
Игрок может сохранить и закрепить проекцию своего основания в любой точке мира. Она будет доступна для просмотра всем пользователям, находящимся в том же месте, где основание было закреплено. Перед публикацией, основание просматривается модераторами Mojang AB, работающими круглосуточно. [11]
Если у пользователя есть приглашение от владельца основания, то он может вносить изменения в структуры и забирать ресурсы. У игроков, не имеющих доступа, есть возможность только локально взаимодействовать с миром — все изменения будут сбрасываться при выходе из основания и не отображаться у других пользователей. [13]
Приключения в Minecraft Earth также имеют свои собственные основания с заранее построенными надземными и подземными структурами и враждебными мобами. Подобно любым другим основаниям, игрок таким же образом может поместить основание приключений в любом месте и начать с ним взаимодействовать. Несколько игроков могут взаимодействовать с одним и тем же приключением одновременно. Основания приключений не могут быть сохранены или перемещены.
Главные отличия игрового процесса
Minecraft Earth имеет несколько отличий от оригинальных изданий игры.
- Игрок не сможет перемещаться вверх или вниз, если это не позволяет реальное пространство.
- Цикл дня и ночи в игре отсутствует. Освещённость виртуальных построек не зависит от времени суток реальной жизни и всегда остаётся на одном уровне. Но, некоторые основания всё же могут быть доступны с ночным светом.
- Инвентарь в игре не ограничен как по количеству слотов, так и по количеству блоков или предметов в одной стопке.
- В игре нет сетки крафта, из-за чего починка повреждённых предметов невозможна.
- Инвентарь не имеет слотов для брони.
- Мобы могут быть сохранены в инвентаре. За получение мобов игроку выдаются достижения. Время от времени, в подарках можно найти враждебного моба, которого можно собрать и поместить на основания.
- После смерти инвентарь сохраняется, за исключением предметов на панели быстрого доступа и предметов, собранных во время приключений.
- Крафт и плавка предметов занимает какое-то время, длительность которого зависит от предмета и может достигать нескольких минут. Игрок может покинуть экран крафта или плавки, пока процесс не завершится.
- Некоторые предметы, такие как сундук, верстак, броня, книжный шкаф и блоки профессий жителей, не могут быть созданы вовсе.
- Инструменты и оружие ближнего боя имеют больший охват. Оружие дальнего боя в игре практически не требуется.
- Здоровье и голод объединены в одну шкалу здоровья, которая исчерпывается атаками мобов и пополняется за счёт еды.
- Еду можно съесть только во время приключений, но приготовить её можно лишь вне этого режима.
- Железные слитки являются редкими и никогда не выпадают из подарков. Железная руда может быть получена только в шахте в режиме приключения.
- Лестницы доступны для создания, но не могут быть использованы для перемещения вверх или вниз.
Внутриигровые покупки
В игре присутствуют внутриигровые покупки, которые могут быть использованы для приобретения оснований и ускорения создания или переплавки предметов. [16]
Валютой являются рубины (не следует путать с Minecoin). [11]
Разработка
Во время Microsoft Build 2015, команда Microsoft HoloLens представила версию Minecraft с дополненной реальностью. [17] 6 мая 2019 года, Microsoft выпустили видео, в котором раскрывались некоторые функции Minecraft Earth. 8 мая 2019 года выпущен трейлер, посвящённый модификациям с дополненной реальностью. [18] Официальный анонс Minecraft Earth состоялся на десятилетие игры, 17 мая 2019 года. Открытая бета-версия Minecraft Earth была запущена в середине 2019 года для AR-совместимых устройств на Android и iOS. [10]
5 января 2021 года разработчики объявили о прекращении поддержки игры, выпустив последнее обновление. С 30 июня 2021 года Minecraft Earth будет удалена с магазинов приложений, а 1 июля данные игроков будут удалены. [19]
Релиз игры
Закрытое бета-тестирование
iOS
| 16 июля 2019 г. | Лондон, Великобритания [1] |
| Сиэтл, Вашингтон, США [1] | |
| 17 июля 2019 г. | Стокгольм, Швеция [20] |
| Токио, Япония [21] | |
| 18 июля 2019 г. | Мехико, Мексика [22] |
Android
| 22 августа 2019 г. | Открыта предварительная регистрация на бета-тестирование и полную версию игры в Google Play Store. |
| 30 августа 2019 г. | Закрытое бета-тестирование игры началось в тех же городах, что и на iOS. [23] |
Ранний доступ
| 17 октября 2019 г. (0.5.0) | Исландия, Новая Зеландия [2] |
| 29 октября 2019 г. (0.6.0) | Австралия, Мексика, Швеция [24] |
| 31 октября 2019 г. | Канада, Филиппины, Южная Корея [25] |
| 5 ноября 2019 г. | Великобритания [26] |
| 12 ноября 2019 г. (0.7.0) | США [27] |
| 19 ноября 2019 г. (0.7.1) | Япония, Австрия, Бельгия, Дания, Финляндия, Франция, Германия, Ирландия, Италия, Люксембург, Нидерланды, Норвегия, Португалия, Испания, Швейцария [28] |
| 21 ноября 2019 г. | Индия [29] |
Мировой доступ
11 декабря 2019 года Minecraft Earth был выпущен во всём мире под версией 0.8.0. [3]
Системные требования
iPad Air (начиная с 3rd gen)
iPad Mini (начиная с 5th Gen)
iPad Pro (Все модели)
На устройствах с Android 8.0+ без поддержки ARCore и полученным через Magisk Root доступом можно установить модуль Magisk «ARCore/Playground Pather», неофициально разблокировка поддержку ARCore. Игра при этом начнет работать на неподдержеваемом устройстве.
История версий
| 20 сентября 2019 г. | |
| 0.3.1 | |
| 2 октября 2019 г. | |
| 0.11.0 | 28 января 2020 г. |
| 0.12.0 | 11 февраля 2020 г. |
| 0.13.0 | 27 февраля 2020 г. |
| 0.14.0 | 12 марта 2020 г. |
| 0.21.0 | 16 июля 2020 г. |
| 0.22.0 | 31 июля 2020 г. |
| 0.23.0 | 12 августа 2020 г. |
| Трейлеры |
Источник: minecraft.fandom.com
Технология AR: как работает и на чём создать проект
Технология дополненной реальности способна на многое: показать, куда идти, помочь определить объект перед вами и даже поймать Пикачу. В статье расскажем о том, что такое AR, и с чего начать разработку собственного приложения.
Григорий Дядиченко
Технический продюсер, занимаюсь подбором команд и разработкой проектов под заказ
Рафаиль Галиев
СРО МТС Live
- Виды дополненной реальности: маски, объекты, эффекты
- Технологии, которые вписывают AR в пространство вокруг вас
- Как телефон «видит»
- Ограничения мобильной дополненной реальности
- Приложения, которые позволяют создавать примитивные AR-сцены на смартфоне
- Интерактивная и анимированная дополненная реальность своими руками
- Где брать модели для своих AR-проектов: бесплатно и красиво
- Приложения для разработки масок
- Когда в AR-проекте нужен код?
Виды дополненной реальности: маски, объекты, эффекты
Вся дополненная реальность базируется на технологиях трекинга — отслеживания позиций объектов в реальном пространстве. Это позволяет привязывать графику к реальным объектам.
Виды AR разделяются на виды трекинга — какая технология используется, чтобы разместить виртуальный объект в реальном пространстве:
- Если точкой отсчёта является лицо — это AR-маска. Интересно, что технология берёт начало в задачах компьютерной безопасности. Когда-то многие компании вложили деньги в то, чтобы сделать автоматическую систему пропусков, распознавания лиц для поиска преступников и мошенников. Заодно это привело к буму масок.
- Если точкой отсчёта является реальное пространство — это AR-объект.
- Всё остальное — это AR-эффект. Например, технологии примерки одежды или обуви. Некоторые из них работают по принципу отслеживания лица, головы, но бóльшая часть — по принципу карты глубины (о ней ниже), либо построения скелета тела.
Технологии, которые вписывают AR в пространство вокруг вас
Маркерная технология (marker-based). Позволяет привязываться к меткам, которыми чаще всего выступают картинки или 3D-объекты (работает сильно хуже). Для меток лучше всего подходят контрастные и малоградиентные изображения. Получаются эффекты вроде оживающих картин из «Гарри Поттера».
Под капотом у неё решается задача Perspective-n-Point — восстановление точек в 3D-пространстве по их перспективной проекции на плоскость камеры устройства. Благодаря ей можно восстановить положение телефона относительно картинки с камеры.
Источник: «Pose Estimation for Augmented Reality: A Hands-On Survey» Eric Marchand, Hideaki Uchiyama, Fabien Spindler
Основной плюс маркерной технологии — широкое покрытие устройств и стабильность работы. Она отлично подходит для решений, рассчитанных на широкую аудиторию, так как не требует большой производительности.
Как создать дополненную реальность, написав 12 строк кода
Безмаркерная технология (marker-less). Появилась позже, она отслеживает положение устройства в пространстве, используется не только в мобильных телефонах, но и в шлемах виртуальной реальности. Базируется на методе, который называется SLAM. Благодаря ему можно размещать графику в реальном пространстве, ходить вокруг, при этом нет необходимости, чтобы в кадре камеры присутствовала метка. Они, в принципе, не нужны, графика будет работать где угодно, пример — Pokemon GO.
Как телефон «видит»
Очевидный ответ — через камеру. Однако изображение уточняется набором датчиков.
- Магнитометр выступает как компас, определяет, где находится север.
- Гироскоп определяет угол наклона и положение устройства.
- Акселерометр определяет изменения скорости движения и вращения устройства.
- Датчик глубины вычисляет расстояние до объекта.
Уточнять данные, полученные смартфоном от датчиков, помогает искусственный интеллект. Алгоритмы компьютерного зрения помогают отличать объекты друг от друга, понимать, где заканчивается один объект и начинается другой. Например, Google Depth API — библиотека, которая позволяет при помощи компьютерного зрения составлять 3D-карту пространства.
Такие библиотеки также помогают реализовать окклюзию — это когда реальный физический объект перекрывает виртуальный и наоборот.
Ограничения мобильной дополненной реальности
Обсчёт AR сильно расходует заряд батареи, поэтому в AR-опытах, как правило, не делают скидок на качество графики — то, что можно увидеть, должно быть красиво, хотя и недолго. На этом построен принцип использования технологий дополненной реальности.
Телефон быстрее нагревается, из-за чего процессор начинает тормозить. Это называется троттлинг — снижение частоты процессора.
Есть проблемы с реалистичностью. Ощущение реальности в 3D-графике связано с отражениями, бликами и тенями на материалах объектов. В играх — окружение виртуальное, там можно строить карты отражений, чтобы всё правильно отражалось. А в AR окружение реальное, причём вся известная о ней информация поступает с камеры.
Положение источников света во всей комнате или на улице по кадру определить невозможно, поэтому в дополненной реальности свет и тень имитируют, чтобы картинка была похожа на реальную. К физическим процессам это отношения не имеет.
Приложения, которые позволяют создавать примитивные AR-сцены на смартфоне
Есть приложения, которые поставляются с готовым набором встроенных моделей. К сожалению, импортировать свои объекты в них не получится.Такие приложения ограничены в функциональности и не позволяют подгружать свои модели и делать более проработанные сцены. Все эти приложения, кроме Assmblr, работают без маркеров:
— Around позволяет размещать 3D-объекты из готовой библиотеки, а также смотреть проекты других пользователей в определённом радиусе.
— Scenecam позволяет располагать сразу несколько объектов из библиотеки приложения на плоскости, добавлять к ним различные эффекты — например, огонь.
— Assemblr позволяет создать сцены с видео, объектами из встроенной галереи, изображениями и гифками. Также есть возможность распечатать маркер и воспроизводить сцену в любом месте, где он расположен. Можно снимать видео или фото со сценой.
— Holo включает в себя библиотеку платных и бесплатных анимированных моделей, которые можно располагать в реальном пространстве.
Чтобы работать с дополненной реальностью более прицельно необходимо освоить редакторы дополненной реальности, движок Unity и прилагающиеся к нему SDK по работе с AR — например, AR Foundation или Vuforia.
Что посмотреть для знакомства с предметом:
AR for everyone — full course
Курс по AR Foundation
Интерактивная и анимированная дополненная реальность своими руками
Один из инструментов — Reality Composer — чтобы пользоваться им не требуется никаких навыков кодинга. Это редактор дополненной реальности для iOS, iPadOS и Mac, он работает только с форматом .usdz. Размещать, двигать и поворачивать объекты дополненной реальности можно обычным перетаскиванием. Можно задавать триггеры, чтобы, например, по нажатию пальца у ваших объектов запускалась анимация.
Вот ссылка на уроки по инструменту.
Рабочее пространство Reality Composer. Источник — Lyndsey Stuttard / youtube.com
Другой полезный конструктор — Adobe Aero. Уроки по инструменту здесь.
Рабочее пространство Adobe Aero. Источник — J. Stephen Lee / youtube.com
Он способен работать с .fbx и .gltf моделями, принимать сцены из компьютерного 3D-редактора Adobe Dimension. Это открывает большие возможности для моделирования и анимации. Недостаток — приложения доступны только для платформ iOS, iPadOS и Mac.
Где брать модели для своих AR-проектов: бесплатно и красиво
Готовые модели лучше всего скачивать из следующих источников:
Форматов много, но самые распространённые — .fbx, .obj, .c4d. Для ПО от Apple — главный формат это .usdz. Процесс импорта модели не идеален, разные приложения поддерживают разные форматы. Можно столкнуться с проблемами неподцепившихся текстур или пропавших анимаций.
Не все 3D-форматы содержат информацию о текстурах, анимации и так далее. Формат .obj, например, несёт только данные о геометрии, обычно вместе с ним идёт .mtl файл, который содержит цвет и текстуры.
Приложения для разработки масок
Одно из самых крупных принадлежит Snapchat — это Lens Studio. Это инструмент визуального программирования, разобраться с которым можно без знания программирования. В нём можно проектировать как маски, так и эффекты. Он не ограничивается созданием визуальных эффектов для лица. В приложении можно переключиться на основную камеру девайса и разрабатывать AR-сцену для любой плоскости.
Оно доступно как для WIndows, так и для MacOS. Предлагает большой инструментарий: работа с текстурами, со светом, анимирование и подключение звука к цифровым объектам.
Когда в AR-проекте нужен код?
Для минимального AR-приложения достаточно Unity и AR Foundation. Чтобы поставить кубик в трёхмерном пространстве, не нужно написать и строчки кода. Код потребуется для описания логики поведения объектов. Если хочется, чтобы объект, например, по нажатию подпрыгивал, этого не сделать без скрипта.
Нереальное реально. 9 эффективных кейсов AR-технологий
Представим базовый кейс: вы прошлись с телефоном по квартире, просканировали пространство, поставили кубик. Теперь вы хотите, чтобы он отлетал от стен по нажатию. С некоторой точностью это можно сделать на ARKit, ARCore и AR Foundation. Они позволяют сканировать пол и стены и делать базовые физические взаимодействия. Но для того чтобы их сделать, нужно будет написать скрипт — обработчик того, что нажатие применяет импульс к объекту.
Примечание Технологии виртуальной и дополненной реальностей широко распространены в строительстве. Рекомендуем взять приведённые инструменты на заметку.
Во всём остальном SDK Unity реализовано так, что без сложной логики всё делается без кода. В большом проекте без кода не получится — там начинаются сложности, связанные с бизнес-логикой системы и тонкими настройками технологий ARCore или ARKit. В небольшом проекте можно сделать полный no-code, за исключением физических взаимодействий, описанных выше.
Источник: tproger.ru