基于大模型技术的档案文化遗产自动问答平台构建研究

发布时间:2025-01-08 08:23:50被阅览数:338 次信息来源:《山西档案》

  作者:李根

  摘要:大语言模型的出现为档案工作的数智化转型提供了新契机。在梳理了大模型技术特点的基础上,分析其在图情档领域的应用现状,并剖析了档案文化遗产传承弘扬面临的困境,进而提出档案文化遗产自动问答平台的整体构建框架,并围绕领域知识库构建、大模型与知识库融合的问答、档案知识可视化、问答质量评估等关键技术展开了深入探讨。旨在为档案知识服务创新提供理论视角,也为智能问答系统的实践应用提供借鉴,助力新时代档案事业的高质量发展。

  关键词:大语言模型;智能问答;档案文化遗产;知识库;数字人文

  《“十四五”全国档案事业发展规划》强调全面加快数字转型和智能升级,“加强大数据、人工智能等新一代信息技术在数字档案馆(室)建设中的应用,推动数字档案馆(室)建设优化升级”。[1] 在新一轮科技革命和产业变革背景下,档案工作面临着资源形态多元化、用户需求高阶化等环境变化,迫切需要创新工作理念、方式和模式,进而加快数字化、智能化转型的全面升级。然而,当前档案领域的信息处理技术与工具的智能化程度相对不足,大语言模型的出现为档案工作带来新的技术支点,有望推动档案信息化从数字化管理迈向智慧化管理[2]。纵观当前研究现状,国内外学界已开始开展大模型在图情档领域应用的相关研究。例如,图书馆界学者认为,ChatGPT等大模型有望应用于咨询服务、智能检索、辅助阅读、知识发现等场景,能够提升业务效率、构建智慧服务体系;同样,档案学者也提出了大模型在文本摘要、分类整理、智能检索、安全保护等方面具有应用潜力[3]。总体来看,学界对大模型应用的潜力达成了共识,但尚缺乏对其在档案文化遗产领域的深入研究。档案文化遗产蕴含着丰富的历史记忆,是我国文化软实力的重要组成部分。传承弘扬档案文化遗产的关键在于释放档案价值,从而实现公众的广泛参与。然而,专业门槛高、获取渠道少等因素成为限制档案文化遗产传播的瓶颈[4]。因此,本文提出利用大模型技术,从理论层面探索并构建面向公众的档案文化遗产自动问答平台的结构框架,并通过知识库积累、智能推理、人机交互等方式,为用户提供个性化、沉浸式的档案文化遗产知识服务,打造“活态化”传承弘扬的新途径。

  1  大语言模型在图书情报领域的研究现状

  1.1 大语言模型技术发展态势

  大语言模型作为当前人工智能领域的重大技术突破,标志着自然语言处理进入全新阶段。首先,以ChatGPT为首的AIGC大模型通过海量语料进行预训练和人类反馈调优,在通用性、交互性、扩展性等方面实现了跨越式发展。大模型能够处理文本翻译、信息抽取、文本分类等多种类型任务,在涵盖自然科学、社会科学等领域的标准化考试中取得优异成绩,展现出强大的知识理解和推理能力。其次,随着大模型的不断迭代,GPT-4、文心一言等通用大模型已经能够实现跨文本、图像等多模态的内容生成,通过人类自然语言的交互方式使非专业用户也能够享用其强大的语言生成服务。再次,大模型技术及其在法律、医疗等复杂场景的落地应用,为其在图情档领域的深度应用奠定了基础。

  1.2 大语言模型驱动图书馆智慧化发展

  在当前信息资源管理学科领域有关大语言模型的应用研究中,多数学者以图书馆这一公共文化服务体系的重要组成机构展开智慧服务等探讨,指出ChatGPT的出现为智慧图书馆建设带来新的技术路径。例如,学者们普遍认为,大模型能够应用于咨询服务、智能检索、辅助阅读、知识发现等场景,为用户提供更加精准、高效的知识服务。具体而言,基于大模型构建的智能问答系统能够实现自然语言交互,快速生成符合用户需求的个性化答案;基于大模型的文本分析能力,可实现馆藏资源的自动摘要、分类和推荐,为读者提供沉浸式知识探索体验;通过构建大模型驱动的虚拟馆员机器人,可与读者进行人性化交流,提供情感关怀和引导服务。从整体上来看,大模型技术正成为推动图书馆服务创新、重塑用户体验的新引擎,也为档案文化遗产相关服务提供了参考指南[5]。

  1.3 大语言模型赋能档案智慧管理与服务

  《“十四五”全国档案事业发展规划》强调要加快档案信息化建设进程。然而,面对档案资源形态多样化、用户需求复杂化等挑战,亟须创新档案工作理念、方法与模式。大模型技术为档案工作的全面数智化转型提供了新思路。例如,在档案管理方面,大模型可用于档案文本的知识组织、知识抽取、自动摘要、主题分类等流程,极大地提高了管理效率;在档案利用方面,大模型驱动的智能检索、知识问答系统能够支持用户便捷获取档案知识,深度挖掘档案资源的价值[4]。此外,基于大模型构建的虚拟档案员可为用户提供业务咨询、情感交流等服务,拓展服务边界。不难预见,随着大模型技术的持续发展,必将为档案管理与服务注入新的智慧动能。

  2  大模型驱动的档案文化遗产自动问答平台构建框架

  2.1 档案文化遗产知识的采集、表示与组织

  档案文化遗产蕴含着丰富的历史记忆,其知识的获取、管理与应用是信息化建设的基础。随着档案资源数字化进程加速,档案知识呈现出资源粒度细化、语义融合加深等特点。具体而言,档案知识获取包括命名实体识别、关系抽取、事件抽取等环节,需借助信息抽取等技术手段从档案资源中提取关键知识元。在知识表示方面,传统的语义三元组虽具备可解释性,但泛化能力不足。利用嵌入式知识表示技术,可将档案知识编码为低维稠密向量,携带更丰富的语义信息。基于向量数据库存储的档案知识,可提供快速检索、推理的数据基础。此外,知识图谱是档案知识组织的重要方式。通过构建覆盖档案载体、内容、管理等要素的知识图谱,形成档案知识的关联网络,实现并支撑相关领域的知识推理与应用。

  2.2 基于大模型的档案知识推理与智能问答

  大语言模型拥有强大的语义理解和逻辑推理能力,能够成为实现档案知识智能应用的关键技术。将预训练的大模型与档案领域知识相结合,可显著提升模型处理档案专业垂直领域问题的能力。例如,GPT、BERT等大规模预训练模型在文本分类、信息抽取、摘要生成等档案管理任务中已取得良好效果。在档案资源开发与利用方面,通过提示学习的方式引导大模型进行档案领域内的知识推理。例如,设计合理的问题模板,将档案资源中的关键信息如档号、责任者等填入模板中,即可利用大模型进行知识推理和问题生成。在智能问答方面,“大模型+知识库” 的技术架构已成为主流方案。用户通过自然语言表达档案咨询需求,系统利用大模型理解问题语义,并结合档案知识库进行推理,生成意图明确、语义连贯的答案[1]。同时,虚拟档案员也是大模型的重要应用形态,通过与用户进行多轮对话交互,提供专业的业务指导服务。

  2.3 档案文化遗产问答平台的交互设计与功能实现

  档案文化遗产自动问答平台是集知识组织、智能检索、人机交互等功能于一体的智慧化系统。从交互设计方面考虑,需突出以人为本、以用户为中心的理念,交互界面布局简洁友好,操作流程清晰高效。用户通过文字、语音等方式输入要咨询的档案问题后,系统能给出简明扼要的答复。同时,结合硬件打造“数字人”,如上文提到的虚拟馆员,以营造沉浸式交互氛围。在功能实现方面,问答平台以大模型为核心引擎,集成知识图谱、语义检索等技术模块,实现档案的知识采集、挖掘、语义关联、推理和智能问答等功能。此外,问答平台还要能对接馆藏数据库,将档案目录、全文等资源映射为知识要素,进而构建领域知识库。在实际应用中,用户提出问题后,问答模块能够对问题进行语义解析,构建检索词,结合知识推理实现档案知识的快速匹配与组织,生成直观、准确的答案,同时提供相关档案的导航链接,便于用户进一步查阅。不难预见,大模型驱动的档案文化遗产问答平台有望打造智能化、个性化的档案知识服务生态。

  3  档案文化遗产自动问答平台的关键技术

  3.1 面向档案领域知识库的构建技术

  构建顺应时代需求的高阶知识库是实现档案智能化管理与服务的核心要素。面向档案文化遗产领域构建知识库,需要从档案资源中提炼知识要素,并建立要素间的语义关联。首先,利用自然语言处理技术对档案相关文本资源进行结构化解析,提取档号、责任者、文种、主题等关键要素形成结构化档案。其次,运用本体构建方法,定义档案领域核心概念、属性及关系,构建档案本体知识库,形成概念层语义网络。再次,档案知识库也需融入辞典、百科、地理信息等外部知识源,扩充知识边界,确保知识的互联互通。最后,在构建知识库后,还需引入知识图谱质量评估方法,从准确性、一致性等维度审核知识质量,并通过人机协作方式持续优化更新。高质量的档案领域知识库为后续智能问答提供了可靠的知识基础。

  3.2 大模型与知识库融合的问答技术

  一方面,大模型依托海量语料训练,具备广泛的常识性知识,但缺乏档案领域专业知识,容易产生错误或不相关的答案,降低问答平台的可信度。另一方面,档案知识库虽含有丰富的专业知识,但缺乏灵活的语义理解与表达能力。因此,需在现有大模型基础上融入档案本体知识,提升模型的专业性。在技术实现上,主要采用基于检索的问答方法,即利用大模型理解自然语言问题并借助向量检索技术在知识库中匹配相关档案资源,然后通过阅读理解技术分析资源语义并抽取关键信息形成答案。同时,还可利用持续学习策略,将新的档案知识持续融入预训练模型,实现模型的迭代优化。通过大模型与知识库的融合应用,有望从多角度提升档案问答效果。

  3.3 档案知识可视化与智能交互技术

  档案文化遗产问答平台的用户体验感很大程度上依赖于知识呈现方式与人机交互质量。首先,在知识可视化方面,传统的检索结果罗列方式难以揭示档案知识间的内在联系。因此,需引入知识图谱可视化技术,通过节点、边图、层次树等形式直观展现档案知识网络,便于用户把握知识脉络。同时,随着大模型在多模态内容生成方面的进步,档案馆能够充分利用AIGC技术,将档案文本内容转化为图像、音频、视频等形式,丰富知识的多层次展示维度。其次,在智能交互方面,问答平台应支持多种人机对话模式,并结合文本语音转换技术,为用户提供更加自然的交互体验。再次,智能问答系统还应具备上下文理解、多轮交互、错误纠正等对话管理能力,以提供连贯、准确的档案咨询服务。

  3.4 档案文化遗产问答质量评估与优化技术

  在档案这一要求信息真实、准确的领域,评估问答系统生成结果的质量对于持续改进系统性能至关重要。传统的人工评估方式主观性强、效率低下,亟须引入自动化评估技术。针对档案领域问答任务,可从相关性、专业性、连贯性、可解释性等角度构建多维度的质量评估体系。在评估方法上,可结合人工标注数据与无监督指标,综合考量答案质量[2]。例如,借助预训练语言模型计算问题与答案的语义相关度,利用知识库验证答案的事实准确性,通过可读性指标评估答案的语言流畅性等。此外,评估结果可用于识别系统薄弱环节,并指导优化策略制定,常见的优化方法包括扩充知识库覆盖范围、优化模型预训练方法、改进问答生成算法等。

  参考文献

  [1]杨鹏,金波.数智时代智慧档案建设的逻辑理路与运行线路[J].档案学通讯,2023(2):48-56.

  [2]刘文俏.大模型与古籍档案文化遗产数字化:价值、挑战与应对[J].山西档案,2024(1):104-107.

  [3]牛力,金持,黎安润泽.大模型在档案工作数智转型中的应用:新机遇、新模式和新转变[J/OL].档案学通讯:1-11[2024-07-05].https://doi.org/10.16113/j.cnki.daxtx.20240511.001.

  [4]牛力,黎安润泽,刘慧琳,等.从物理到数据:智慧档案2.0体系构建研究[J].档案学研究,2022(3):84-90.

  [5]何雯,王琼.智慧图书馆与智慧档案馆建设的经验互鉴[J].山西档案,2024(3):171-174.

  【基金项目】2023年广东省教育厅青年创新人才项目(自然科学)“基于大数据图像处理的工业瑕疵检测系统”(项目编号:2023KQNCX143)。

  【作者简介】李根(1981—),男,汉族,吉林辽源人,广东工商职业技术大学人工智能与大数据学院副教授,硕士,研究方向:大数据技术、人工智能、信息安全。