互联网

微美全息(NASDAQ:WIMI)开发基于头戴式显示器通过脑机接口实现的人形机器人控制系统

来源:    作者:      2023年05月08日 10:52

导语:

随着脑机接口(BCI)技术的发展以及其应用的特性,大量的的研究机构开始研发基于BCI的人形控制系统。其中,WIMI微美全息开发一种基于头戴式显?器 (HMD) 的脑机接口 (BCI) 控制的人形机器人交互控制系统。这种交互方式通过稳态视觉诱发电位 (SSVEP) 控制机器人,让它与环境和人类互动。在该方案中,机器人内嵌式摄像头提供实时反馈,将刺激反馈集成到HMD上显示。

据悉,微美全息(NASDAQ:WIMI)研究人员在实验中,通过使用这种新的交互方式控制了人形机器人,并进行了一项任务来测试其性能。在任务中,测试者被要求将机器人导航到特定位置以执行任务。这个任务基于视觉SLAM反馈,通过机器人摄像头捕获的环境图像提供了导航指示。

在该研究中,WIMI微美全息采用了稳态视觉诱发电位 (SSVEP) 作为控制信号,通过脑电信号采集设备采集用户的脑电信号,并使用头戴式显?器显示机器人的实时反馈。为了提供导航指示,研究人员在机器人上嵌入了一个内嵌式摄像头,并将其实时反馈与头戴式显?器上的SSVEP信号相结合,形成一种交互方式。在控制算法方面,研究人员采用了基于视觉 SLAM (Simultaneous Localization and Mapping) 的算法来提供导航指示。该算法通过机器人摄像头捕获的环境图像,建立起环境模型并提供导航指示。

1683509989294693.jpg

基于头戴式显?器的BCI的人形机器人控制系统需要包括多个组件,包括信号采集设备、头戴式显?器、人形机器人、内嵌式摄像头、控制算法等。WIMI微美全息基于头戴式显示器的BCI控制的人形机器人的辅助控制系统的技术实现步骤和结果如下:

脑电信号采集和处理:

微美全息的研究人员首先使用了一套基于脑电信号的交互平台,用于采集用户的脑电信号,并对这些信号进行处理。平台由多通道放大器、电极帽和数据采集软件组成,能够实时采集并存储用户的脑电信号。在处理脑电信号时,使用了一种高效的方法,即通过信号的频率分析提取稳态视觉诱发电位 (SSVEP)。该方法将特定频率的光闪烁呈现给用户,用户的脑电信号会在这个频率上产生同步振荡,从而实现控制信号的提取。

该研究采用了头戴式显?器的BCI控制?形机器?的方法,其中控制信号基于稳态视觉诱发电位(SSVEP)。研究人员使用脑电信号采集设备来采集用户的脑电信号,通过头戴式显?器来显示机器人的实时反馈,并通过内嵌式摄像头提供导航指示。控制算法采用了基于视觉SLAM的算法来提供导航指示,该算法通过机器人摄像头捕获的环境图像,建立起环境模型并提供导航指示。

头戴式显示器的应用:

为了提供控制信号的反馈,微美全息的研究人员使用了一种头戴式显示器,显示器通过内置的显示器显示机器人的实时图像和状态。头戴式显示器采用了高分辨率的显示技术,以提供更加真实的虚拟环境体验。

此外,为了更好地提供控制信号反馈,研究人员还将显示器与机器人的内置式摄像头相结合。通过机器人摄像头捕获环境图像并显示在头戴式显示器上,用户可以更加直观地了解机器人的状态和环境信息。具体来说,用户需要注视头戴式显?器上的特定频率的光刺激,这将引起用户的大脑发出特定的SSVEP信号。信号被捕获并处理后,控制算法可以根据信号的频率和振幅确定用户的意图,例如移动机器人向左或向右转等。内嵌式摄像头可以实时捕获机器人的视角,提供环境图像以及机器人当前位置的反馈信息。

导航算法的实现:

为了实现机器人的导航控制,微美全息的研究人员采用了一种基于视觉 SLAM 的算法。该算法通过机器人内置的摄像头,捕获机器人所在环境的图像,并将其转换成机器人的环境模型。同时,该算法还能够对机器人的位置进行估计,并为用户提供导航指示。用户可以通过SSVEP信号来控制机器人的移动方向,同时头戴式显示器会显示机器人的状态和环境信息,为用户提供更加直观的反馈信息。

此外,微美全息的研究人员还对该控制系统进行了实验评估,评估了其控制精度、交互体验等方面的性能。通过实验结果表明,该控制系统能够提供精确的控制信号,同时也能够提供沉浸式的交互体验,为用户提供了一种新颖的机器人控制方式。

实验评估:

为了评估该系统的性能,微美全息的研究人员开展了一系列实验。实验包括用户使用该系统进行机器人导航任务,以及使用传统遥控器进行任务的对照实验。实验结果表明,用户在使用该系统时能够更加准确地完成导航任务,并且获得了更好的交互。

研究人员对该控制系统进行了实验评估,包括控制精度、交互体验等方面的性能。实验中,参与者需要在一个模拟的环境中,控制机器人走到特定位置,完成任务。实验结果表明,该控制系统可以提供精确的控制信号,平均控制精度高达98.1%。同时,用户评价该系统的交互体验非常好,认为这是一种非常自然、直观的交互方式。

目前,微美全息(NASDAQ:WIMI)基于头戴式显?器 (HMD) 通过脑机接口 (BCI) 实现的人形机器人控制系统的研究,展示了基于头戴式显?器的BCI控制?形机器?的一种新的交互方式,提供了一种更为自然、直观的机器人控制方式。实验结果表明,该控制系统可以提供精确的控制信号,并且用户对其交互体验非常好。这一控制方式具有潜力,可用于许多需要精确控制的场景,例如医疗、教育、娱乐等领域。后续,该控制系统还可以与其他传感器技术结合,例如语音、手势等,以提供更多样化的控制方式。这种基于头戴式显?器的BCI 控制的?形机器?的导航辅助方案为用户提供了一种新颖的交互方式,可以提高机器人的操作效率和交互体验。


(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号