同时支持手机与AR眼镜使用!光感科技发布多任务XR操作系统feelar OS beta版
支持安卓数百万App,光感科技发布多任务XR操作系统feelarOS
4月7日,光感科技公布了一项全新的研发成果,XR操作系统feelarOS。该操作系统可以安装在任何安卓手机上运行,并能够将手机App以“超大悬浮屏”的形态开启在智能眼镜的3D空间中,实现“腾空点击交互”。
XR操作系统feelar OS手机配合AR眼镜的使用效果图
据了解,feelar OS是针对安卓操作系统进行了重构,光感科技采用自主研发的三维引擎,给操作系统换上一颗“XR心脏”,使同一个App既可以在手机中使用,又可以在智能眼镜中使用。feelar OS支持数百万安卓应用3D化,包括浏览器、视频、音乐、社交等全部安卓应用,解决了AR眼镜及VR头盔应用种类欠缺的一大痛点。
小屏变大屏,手机能用的XR智能操作系统
光感feelarOS安装在手机中,具有多用的特点:当用户不使用AR眼镜时,feelar OS就是智能手机操作系统;而通过TYPE-C或者无线连接到智能眼镜后,安卓App可以启动在智能眼镜中的3D空间中,以多窗口形态呈现多个80英寸左右的悬浮式界面,让手机App从小屏变成虚拟的超级大屏。更重要的是,在智能眼镜中呈现的App全都支持虚拟触控等多种交互方式,用户可以用手柄或手指“腾空”触控安卓App的图形界面完成交互。通过AR和VR眼镜,能让App实现大视场角显示,高效多任务交互,从而让用户摆脱手机小屏幕的束缚。
在技术路线上,feelarOS并非通过传统“同屏/投屏”功能开启应用,而是将应用启动在三维空间中,通过左右眼视差渲染出具有不同深度的3D页面。
真正的XR,AR和VR技术首次融为一体
作为XR操作系统,光感科技feelarOS首次将AR和VR两大技术体系融合到一个操作系统中。feelarOS除了能安装在手机中,还能直接安装在主流的AR眼镜和VR头盔中,并支持AR多任务模式、VR沉浸模式以及在两种模式中灵活切换。
“AR多任务模式”下,feelar OS追求高效的多任务、多进程同时运行,尤其适用于办公用户或者观影爱好者,系统将多个安卓App以固定限制的视场角大小显示在三维空间中。限制应用显示大小的好处是不会过于遮挡视线,用户可以在移动出行过程中安全使用AR眼镜。feelarOS的操作界面适用于Unity开发的3D应用和安卓2D应用,安卓2D应用可以轻易的贴附在现实空间的墙壁、桌面上,在降低了交互的复杂度的同时减轻多任务的渲染量,实现设备的低功耗、长时间运行。
XR操作系统feelar OS手机配合AR眼镜的使用效果图
feelarOS的“VR沉浸模式”主要用于沉浸式游戏、应用或者全景视频等,让用户获得完全沉浸式的VR体验。例如用户开启180°至360°视场角的的沉浸式应用,系统会自动进入全视角显示模式,其它的App窗口暂时消失,在AR眼镜中获得与VR头盔一致的沉浸式体验。
新开发的应用支持App内的AR与VR灵活切换。feelar OS提供系统级的接口,为新开发的应用提供多种模式的切换支持与系统级交互支持,根据应用场景的需要变化AR和VR模式,动态扩展应用显示的视场角大小。在系统上为开发人员在AR与VR空间自由拓展的交互场景提供了更灵活的技术。
强大的人工智能AI团队,实现高精度SLAM和三维手势算法
光感团队应用最新的人工智能技术,在AI计算机视觉领域取得了较大突破。光感科技投入研发了Insideout方案的VIO SLAM算法和双手26DoF手势追踪,经过两年的研发,目前也进入测试阶段,将在不久的将来发布。其中,SLAM算法针对移动平台进行了优化,在占用较低的资源情况下实现高精度的定位跟踪,并支持回环检测,能够在ARM架构的嵌入式平台高效流畅运行。基于IMU和视觉的多传感器融合算法,克服卷帘相机带来的低照条件下图像模糊问题,实现流畅稳定运行。此外,该SLAM算法中还有自动标定相机内外参功能,能够应用于各种型号的机型设备。
光感还利用计算机视觉技术开发了激光雷达自动泊车、智能安防、人脸识别、手势识别、人脸口罩检测、三维重建等技术。在XR交互方面,利用深度学习技术,实现了双手26DOF三维手势追踪识别。目前,光感团队在计算机视觉领域经过多年的积累,已逐步达到了行业技术的领先水平。
光感科技双手26DOF手势追踪识别
据了解,光感(上海)科技有限公司在成立前,公司的团队已经在AR和VR领域埋头研发了多年,主要创业方向是致力于下一代计算平台XR的相关技术研发,通过研究XR中最重要且必须迈过去的最关键技术,推动XR产业发展。光感除了有应用于5G的XR操作系统feelar OS,还有XR三维引擎、人工智能、计算机视觉等领域积累的多项研发成果,此后将陆续推出一系列的行业解决方案。