伦斯勒理工学院启用『汉语学分课』VR沉浸式教学系统

查看引用/信息源请点击：technologyreview

学中文正在成为一项全球趋势

（映维网 2019年07月19日）人们常说，学习一门语言的最佳方式是沉浸在母语环境中。除了能听到最地道的发音和用词之外，这同时会逼迫着你用自己不熟悉的外文与人交流，从而帮助你迅速掌握这门语言。然而，不是所有人都能获得这样的机会。

在与IBM研究院的合作中，伦斯勒理工学院为学生提供了另一种学习中文的选择：360度虚拟环境（动力墙powerwall属于VR形态之一）。学生将能传送到北京最为繁忙的街道或者中餐馆里面。你可以与街头小贩讨价还价，或者在餐厅下单。这个环境配备了不同的AI功能，并能够实时响应学生。实际上，这个项目早已存在，而且在很大程度上属于实验性质，但它将在今年夏天首次用在为期六周的学分课程中。

这个项目的灵感来源于两位伦斯勒理工学院教职工，他们经常通过角色扮演游戏来帮助学生学习汉语。另外，过去数年间的多项研究表明，交互式学习环境可以提高语言理解和知识留存。一份2018年发布的研究表明，当在3D虚拟环境中学习日文时，学生更有可能掌握他们偶然遇到的词汇。所以，教授团队开始与IBM研究院进行合作，并且探索利用沉浸式学习优势的方法。

除了将学生沉浸在数字投影中，系统同时利用多种传感器来动态适配学生的用词与行为。被试携带的麦克风会把语音直接馈送至语音识别算法。摄像头可以追踪被试的运动和手势。例如，如果学生在餐厅里询问某种菜肴是什么，虚拟角色就能马上回答相应的名字和配料。这项叙事生成技术同时允许虚拟角色利用维基百科为随机问题提供更为在行的回答。

对于这个投影墙式的360度环境，其采用的大多数技术都可以从当前的市场中找到，但少数需要进行专门的开发。汉语有四种声调，而这对刚刚接触的外国人而言相当困难。比如说卖和买，读音不同，而意义则完全相反。所以研究人员创建了一套分析学生声调的算法。然后，系统会将学生的发音与中文母语者进行比较，并直接在投影墙中直接提供音频和视觉反馈。这能够允许学生与虚拟角色交流，并马上练习新的词汇。

负责这个计划的IBM坎布里奇研究院用户认知体验总监Hui Su表示，团队仍处于确定其有效性的早期阶段。但在2017年底的一次实验中，研究人员发现它提高了学生在语言学习中的参与度，并能帮助他们快速掌握新词汇。

例如，在下单之前，学生从未学过如何支付埋单，但通过观察同伴并与虚拟角色交谈，许多学生都掌握了必要的词汇。Hui Su表示：“这有点令人感到意外。其中一名学生评论说，这应该成为教授语言的方式。”

在第一年里，新课程将在近一半的时间里采用虚拟环境，其余时间则选择传统教室（这种安排将来可能会发生变化）。

如果这个课程提供了改善学生学习成果的有力证据，它将可以作为其他课程的榜样。最符合逻辑的下一步是将其扩展到其他语言。但这同时可以用于指导高管，培训政府工作人员，或进行任何可能受益于情景模拟和角色扮演的活动。

Su Hui表示，这项计划将有助于研究人员探索认知和沉浸式环境将如何影响学习，协作和感知。