基于VR/AR的新时代档案文化传播展示方式研究

发布时间:2024-04-12 20:54:30被阅览数:302 次信息来源:《中国档案》

  文/付正刚   项敏刚

  在5G技术、人工智能及智能穿戴设备快速发展下,VR/AR(虚拟现实/增强现实)技术大量应用于体育赛事、远程医疗、新闻传播、虚拟仿真教学等场景。湖北省档案馆、武汉蓝海科创技术有限公司和湖北大学共同承担的“基于VR/AR的新时代档案文化传播展示方式研究”课题于2018年5月被国家档案局正式立项,2021年9月通过国家档案局验收,获2022年度国家档案局优秀科技成果三等奖。课题围绕“互联网+档案”“档案馆爱国主义教育”“档案服务创新”3个诉求点,将VR/AR技术确定为新时代档案文化传播展示的媒介工具,并以创新“丰碑—庆祝新中国成立70周年暨湖北解放70周年档案史料展”为目标,提出了“网上展览+VR”“移动客户端展览+VR”“档案基本陈列+VR”3种档案展示形式;构建了“S-T-S”档案展示模型;制作了该档案史料展中“中原突围”展区的VR/AR体验实例,在讲好红色故事,做好以“档”育人方面取得较好效果,满足了湖北省档案馆档案服务创新的需求,为其他档案馆创新展览形式提供了“VR+档案”的展览模式参考。

  课题主要研究成果

  课题组调研了档案文化传播的现状、特点及方式,梳理了网上档案展览形式,分析了网上档案展厅国内外案例,结合VR/AR技术特点,以沉浸理论指导研究,形成3个主要成果。

  1.基于VR/AR的档案展示形式

  网上展览+VR:网上展览可利用VR/AR技术对静态化、平面化的文书、照片、音视频等档案赋予空间位置并组合排列,实现展览的虚实映射,或根据不同档案的布展需要,以虚构实,创设并不存在的虚拟展品或展览场景。观众利用鼠标或键盘向VR系统发出指令,可在虚拟展厅漫游、观察展品细节、听多媒体式解说等,有了视觉听觉的纵深感,能与虚拟环境中的人物及情景互动,容易产生沉浸感。一般不需额外的VR设备,观众可以不受固有时间、空间和逻辑的限制,是一种经济、易推广的VR展览形式。

  移动客户端展览+VR:移动终端在5G技术的加持下,涌现出如《未来之城》VR图书、改革开放40周年AR图鉴、高德AR实景导航等移动端的VR/AR技术应用优秀案例。移动客户端的VR展览除能获得与“网上展览+VR”相似体验外,还可通过手机摄像头、陀螺仪、北斗定位、音视频等手机功能,将观众行走轨迹、头部转动、眼动焦点、语音对话等现实行为与虚拟世界相连相融。观众还可搭配智能手机用的VR眼镜,辅以运动传感器,便能通过手机屏幕进入三维虚拟展厅,观展的沉浸感倍增。一般需要移动端VR系统(App)调用手机相关功能及外联VR设备,才能获得比“网上展览+VR”更好的互动体验。它可与档案基本陈列配合使用,采用虚实结合的方法,在移动端显示展品的三维图像、音视频解说,还能进行展品对比鉴赏、与展品合影等互动操作。

  档案基本陈列+VR:为克服档案基本陈列效果单调、特殊形制或载体的档案不易展览的不足,空气成像技术、多通道立体环幕、360度幻影成像等新技术被用于档案展览中。档案基本陈列中,VR/AR技术的应用思路是围绕档案展品建立具有沉浸感的虚拟展厅,在展厅中将具有立体感的档案和再现或重构的档案故事呈现给观众。观众借助VR头盔、数据手柄等设备实现边“走”边看。对于不能触碰的珍贵档案,通过档案实体三维建模,外接感应终端,传递展品形态、重量、质感等特征为观众感知。观众对立体展品进行旋转、放缩、虚拟翻页等操作,获得深度的沉浸式交互体验。

  2.基于VR/AR的“S-T-S”档案展示模型

  以档案为素材讲好中国故事,需要抓住现实社会中的热点焦点问题,将相关联的档案资源,用信息技术将其活灵活现的串联在一起,全方位、立体式地呈现给观众,从而实现档案文化传播之效能。课题将档案记录的历史故事(Story)、故事演绎场景(Scene)及呈现故事的技术手段(Technology)3个要素组成的整体称为“S-T-S”档案展示模型。

  “S-T-S”模型的应用以档案资源为基础,其技术要素将观众、故事、场景三者联结,是实现档案文化传播虚实共生的关键。

  (1)观众—技术

  观众在与虚拟世界互动中,须借助于身体直接或间接感知到档案展品,“S-T-S”模型中的“T”是观众感官功能的延展,也是构建故事及场景的工具。通过VR设备,观众在虚拟世界中获得视觉、听觉、触觉等感官的真实性体验。借助VR/AR技术,能实现档案故事的零距离、综合立体式呈现效果,弥补了传统档案展览内容静态多、动态少,展览方式单向多、互动少以及叙事线性化、平面化的不足。

  (2)故事—场景

  结合历史活动背景能更加准确理解档案故事,说明“S-T-S”模型中呈现故事场景的重要性。由于讲述的故事不一定能找到所需的完整档案,但为了更好进行档案文化传播展示,需要为“故事”构设符合历史逻辑的虚拟化、非真实的场景,以增强档案的可读性、观赏性与感染力。在这里,VR/AR技术成为了独特的叙事媒介,既讲档案记录的故事,也讲故事发生的背景,它将两者融合在一起,生动的呈现给观众。

  (3)档案—故事

  档案是历史活动的记录,其形成是多维度多载体形式。若运用VR/AR技术将同一历史活动的不同记录聚合在一起,将其记录的某个故事或相关故事组合成一个能吸引观众的“3D电影”,能把历史场景、活动角色和情感生动地传达给观众,让档案展览更“走心”。“档案—故事”综合立体式呈现,不仅需要建立三维场景和三维档案数字资源,更需要对纸质、声像、实物等类型档案进行内容聚类和关联挖掘,为运用VR/AR技术创作、讲述档案故事做好档案准备。

  (4)档案—场景

  影视剧中的“穿帮”镜头,是故事与场景的失配,拉低了观众对影视剧质量的评价。在创建场景时,应尽可能符合档案所载历史活动发生时的逻辑。无论是从档案内容中去还原创建,还是推理虚设呈现故事的场景,要注重“档案—场景”的逻辑一致性,当观众认为故事“真实”时,容易生发出历史的临场感和虚拟世界的沉浸感。

  3.基于“S-T-S”模型的VR/AR体验实例建设

  “中原突围”展区的VR/AR体验实例建设采用“档案基本陈列+VR”的展示形式。课题组运用VR/AR设备及系统平台,按“S-T-S”模型要求大致分为5步完成了体验实例建设。

  (1)展厅故事大纲的建立

  课题组首先依据“中原突围”档案展解说词,将体验实例确定为某场突围战斗。然后根据该场战斗相关的档案资源,确定了发起战斗、攻城、谈判3个主要环节的故事大纲。每个环节有全景漫游和相关文字、图片或视频的热点查看。观众也可通过VR头盔、手持VR设备进入战斗场景,体验急速行进、射击、枪炮声等。

  (2)Technology的应用设计

  体验实例中,VR系统平台实现了如下功能:

  漫游功能。浏览者通过键盘、鼠标等在展厅中可进行场景切换,可移动旋转到合适的视点观看战场情况。

  导航地图功能。向观众提供展厅的地图引导服务,提示当前的所在位置和参观导示。

  虚拟导游功能。采用虚拟漫游技术,向观众提供虚拟战场中的虚拟解说员导示。

  交流互动功能。借助VR设备,向观众提供战斗中急速行进、射击等互动操作。

  信息展示功能。通过虚拟展厅中事先预设的信息热点,通过鼠标点击操作,向观众更加详细展现该场战斗相关的文字、图片、音视频等信息。

  (3)Story的内容设置与档案准备

  在发起战斗、攻城、宣化店谈判3个一级故事大纲基础上,从战斗发生的背景、参战人员、战场情况、战斗结果、谈判背景、谈判结果、战斗意义等方面进一步细化展示内容,直至虚拟展厅中每个视觉元素。展厅参观顺序设置,解说录音等,与已定稿的“中原突围”解说词相适匹。

  档案准备中,一是将参展档案进行三维数字化,主要采取的是360度全景拍摄。对正在射击的士兵特写,采用了三维建模软件进行数字人建模;二是查阅档案内容,将档案中能反映历史故事的空间信息、环境特征等信息汇总整理,用于场景重建。

  (4)Sence的三维建模

  根据档案中提取的场景描述,运用3DMax和Maya软件,在虚拟展厅中创建了破损的城垣、满地弹坑的阵地、战壕中射击的士兵、宣化店谈判会场等场景,并对模型的材质、灯光、摄像机等信息进行设定。有些场景是在已有的三维模型上修改而来,基本满足“档案—场景”逻辑一致性要求。

  (5)“S-T-S”的模型输出

  “S-T-S”模型虚拟展厅建成后,需要输出为后期虚拟漫游系统制作所需要的格式。课题中输出的是符合蓝海科创VR/AR引擎的格式文件。可通过工具将模型转换为符合WebGL引擎的格式,便于浏览器使用。

  创新点和实施效果

  课题创新点主要包括,分析了VR/AR技术特点及其在档案展示中优势,提出了基于VR/AR技术的3种档案展示形式;构建了基于VR/AR的“S-T-S”档案展示模型;基于“S-T-S”模型,结合参研单位VR/AR设备及平台表现力,将“中原突围”中的某场战斗进行了虚拟现实展示。课题组调查了参与现场VR体验的103人,体验者均认为这种档案展示形式“很有意思”;体验者中约82.5%是年轻人,调查发现其中部分人是听说有VR虚拟展示才来参观展览;约93.2%的人希望档案馆举办展览时,加入VR档案展示体验。

  课题研究中基于“S-T-S”档案展示模型建设了VR/AR体验实例,改善了传统档案展览在内容和形式上的局限性,提高了档案展览的趣味性、互动性和影响力。研究成果建立在广泛的调查研究基础上,研究过程中得到了许多档案管理部门及专业人员有价值的建议,增强了研究成果的科学性和实用性。

  [本文系2022年度国家档案局科技项目获奖成果]

  作者单位:湖北大学、湖北省档案馆

  责任编辑:王辉