基于生成式人工智能的图档博资源的集中开发与应用创新

发布时间:2024-09-03 20:03:01被阅览数:24 次信息来源:《山西档案》

  作      者:张义祥

  摘      要:随着人工智能技术的快速发展与迭代革新,以ChatGPT为代表的大规模预训练语言模型展现出强大的自然语言理解和生成能力,为各领域、各行业的数字化转型、智能化应用和智慧化服务注入新动能。聚焦于图书馆、档案馆、博物馆等公共文化机构面临的资源融合、知识挖掘、智慧服务等挑战,探讨生成式人工智能技术在图档博领域的集中开发与应用创新策略。

  关键词:图档博;图档博资源开发;图档博资源应用;生成式人工智能

  自2022年底ChatGPT横空出世以来,大规模预训练语言模型(Large  Language  Model,LLM)迅速成为业界和学界关注的焦点。在以ChatGPT技术为代表的大语言模型和生成式AI的加持下,人工智能技术进入创新发展与变革的新阶段,人类的内容生产范式即将迎来新一轮革命[1]。以往泾渭分明的信息边界正在消解,文本、图像、音频、影像等不同模态的信息正在借助深度神经网络实现统一的模型表示。依托海量数据训练形成的大语言模型展现出强大的自然语言理解和生成能力,在智能问答、知识推理、内容创作等任务中取得了显著成效。大语言模型不仅能够实现文本生成、语义理解、知识管理等基础功能,还可以通过多轮对话实现个性化、情感化的人智交互,以及跨越多模态进行内容的理解、组织、关联和生成。人类拥有了从未企及的信息操纵能力,并正在将其融入生产生活等各个方面。大语言模型在通用型和专业型应用场景中显示出广阔前景,为各领域的数字化转型、智能化应用、智慧化服务升级注入新的动力[2]。

  图书馆、档案馆、博物馆作为国家重要的公共文化服务机构,肩负着管理文化遗产资源、传播历史文化知识、传承人类社会文明、服务社会发展的神圣使命。在文理融通的通用人工智能时代下,随着图档博事业现代化建设的不断推进与深入落实,以及社会公众对图档博资源的知识需求不断深化与拓展,传统图档博机构面临着资源数字化、业务网络化、服务智慧化等方面的困境与挑战。海量异构资源的汇聚使得资源管理难度加大,割裂分散的业务系统导致资源共享困难,粗放低效的服务模式难以满足大众个性化、精准化的知识需求[3]。在图档博物理与数字双空间建设并重的宏观视域下,如何利用现代信息技术推动图档博资源的融合集成与共享、知识的关联挖掘与发现、服务的智慧创新与拓展,成为图档博领域亟待破解的关键问题。以ChatGPT为代表的大语言模型凭借强大的数据处理、知识抽取、智能生成等能力为破解这一难题提供新思路,培育新动能。一方面,大语言模型能够实现对图档博多源异构资源的统一表示和语义关联,为资源平台化管理奠定基础。另一方面,大语言模型可以利用知识推理、智能问答等能力为用户提供交互式、个性化的知识服务,延展了传统图档博机构的服务内涵和外延。

  1  基于生成式人工智能的图档博资源集中开发策略

  1.1 构建图档博资源融合知识库

  第一,知识获取与表示。图档博资源蕴含着丰富的显性知识和隐性知识。大语言模型驱动的知识空间建设是图档博资源创新应用的基础。基于大语言模型的自然语言理解和生成能力可实现对多来源、多模态资源的自动化知识提取[4]。例如,利用信息抽取技术识别文本中的实体、关系等显性知识要素,基于预训练语言模型挖掘文本中蕴含的隐性知识。采用知识图谱等技术对提取的知识进行结构化表示,形成跨领域、跨平台、跨模态的知识库。基于嵌入模型将知识编码为语义向量,实现人工智能模型之间的互通互联。

  第二,知识存储与管理。知识库作为大语言模型的长期记忆,是开展多元化应用的基础。构建图档博融合知识库,需要合理利用向量数据库解决海量知识的高效存储与科学管理。通过自动化管理知识向量,向量数据库可实现存量知识的快速组织和增量知识的实时摄入,并具备容错、备份等数据安全保障机制。此外,向量数据库可以严格管控模型的数据访问权限,平衡知识开放共享与版权隐私保护。

  1.2 发展集成大语言模型的综合开发框架

  第一,大语言模型与AI技术的互补集成。多技术线路融合是提升大语言模型可解释性、可信赖性的重要途径。一方面,可采用大语言模型与小样本学习模型联合的方式,利用大语言模型理解非结构化数据的特性,辅助解决小模型的标注数据匮乏问题,进而提升知识抽取的精确性和全面性[5]。另一方面,在大语言模型基础上引入知识图谱、因果推理等符号化推理能力,补足大语言模型在逻辑严谨性方面的不足。通过与专家知识库对接等方式纠正大语言模型中的外挂领域知识在生成过程中出现的幻觉与谬误。

  第二,面向场景的模型微调和训练。面向图档博实践工作,可结合特定馆藏主题对大语言模型进行调优,利用图档博融合知识库对通用大语言模型进行再训练,强化其在图档博领域语料的理解和生成能力,提供更专业化、个性化、智慧化的知识服务。此外,大语言模型支持以自然语言形式自定义任务提示,通过平台化、低代码化的开发框架使用户参与定制适用于不同场景的个性化预训练模型。

  1.3 构建生态化发展机制

  第一,推动开放共享和增值利用。一方面,依托大语言模型技术平台可以实现图档博机构间的资源共建共享与互通互融。统一的知识表示标准,让各机构可基于既有知识库开展增量开发,形成资源互通、模式互融、优势互补的多中心知识网络[6]。另一方面,平台开放性有助于降低创新门槛,鼓励和吸引多元社会主体与力量接入平台,参与开发面向不同群体、不同需求的创新应用与服务模式,实现知识价值增值。

  第二,探索多元主体协同参与模式。AIGC的发展与革新离不开多元主体协同形成的有效合力。一是加强政府统筹引导,制定AIGC阶段与长期发展规划,健全法律法规,营造和谐环境。二是强化产学研用协作,发挥高校、科研院所的基础研究优势,推动关键技术创新突破,依托企业的产业化能力加速成果转化落地。三是注重公众的参与度,开展全民普及教育,提升公众对AIGC的认知和运用能力。

  2  基于生成式人工智能的图档博资源应用创新

  2.1 面向用户的知识服务创新

  第一,智能问答与知识推荐。ChatGPT、Claude、文心一言等大语言模型具备认知交互、内容创造、跨模态融合等能力,可应用于智能问答、资源推荐、检索增强等服务场景,为图档博用户提供高效、准确、即时的知识问答服务,实现从被动响应到主动服务的模式创新。基于大语言模型的多轮对话理解与生成能力,可实现知识的自然获取与即时呈现,结合情感识别、语义分析等技术,以及多轮人机对话反馈,深入理解用户的意图和真实需求,并根据用户画像、行为偏好等主动推荐个性化、定制化的知识资源。随着大语言模型功能的更新迭代以及多模态信息的引入与识别,知识服务将进一步拓展延伸至图像、视频、3D模型等复杂领域。

  第二,情境感知与沉浸式体验。大语言模型在与虚拟现实、增强现实、数字孪生等技术的有机结合下,可感知并理解用户所处的物理环境和虚拟环境,并提供沉浸式、体验式知识服务新场景。例如,在智慧图书馆场景中,当用户走进某个书架前,系统自动识别其位置和偏好,从而为用户推荐书架中的优质书目,并呈现出书籍简介、馆藏信息等内容,用户可利用AR辅助设备在虚拟书架中浏览、检索图书。在虚实融合、立体生动的数字档案馆中,参观者可通过AR设备观赏高仿真文物三维模型,并实时获取文物相关知识。在多模态交互的大语言模型的加持下,不仅可以实现用户与虚拟环境实时交互的自然对话,而且依托智能分析与辅助决策,AIGC可根据参观者的需求、想法和行为生成个性化的展陈内容和讲解路线,定制个性化知识场景,进一步提升其交互性和沉浸感,创造图档博知识服务新态势。

  第三,虚拟数字人服务。虚拟数字人是栩栩如生的智能AI形象,具备类人的交互体验,融合语音识别、人脸识别、情感计算等AI技术,虚拟数字人可作为用户的贴身顾问和知识助手,提供面对面的引导、解答、陪伴服务。例如,国家图书馆的“小图”虚拟馆员通过语言提问与应答可为读者提供导览、咨询、推荐等服务。随着智能可解释性和因果推理技术的发展,虚拟数字人将具备缜密的、更精确的分析和决策能力,参与用户的知识创造过程。

  2.2 面向业务的智能辅助创新

  第一,智能编目与主题标引。当前,机器学习方法已广泛应用于图书分类、主题标引等任务,但仍面临标注数据缺乏、模型泛化性差等问题。生成式人工智能可从海量文本中自主学习知识,具有良好的迁移学习和小样本学习能力,为编目工作带来新思路。例如,利用指令微调,可将编目任务转化为Prompt形式,从而实现无监督或半监督的自动编目。在主题标引方面,ChatGPT等大语言模型展现出从标题、关键词、文摘等生成主题词的能力,为传统的基于规则或词典的方法提供了有益补充。

  第二,智能检索与关联分析。大语言模型擅长处理长文本查询,可识别和理解复杂检索意图并融合多源信息进行推理,从而实现跨库、跨模态、跨语言的智能检索。基于共现分析、主题模型等算法,大语言模型可发现资源间的隐性关联,实现相关资源的自动关联与智能推荐。在图档博领域,将大语言模型与因果推理、对比学习等技术相融合,能加速图档博资源的关联挖掘与智能检索,为图档博实践工作实践注入新的发展动能。

  第三,智能资源揭示与知识发现。海量图档博资源中蕴含着丰富的知识,传统的人工方式难以充分揭示其全面价值。基于深度学习的命名实体识别、关系抽取等技术,可实现对图档博资源的自动语义标注,但往往需要大量标注数据,而且识别类型有限。大语言模型凭借强大的知识自主学习能力,可通过深度学习和全面训练海量文本从中归纳知识。例如,利用Prompt工程,可引导大语言模型从非结构化文本中提取丰富的实体、事件、观点等知识,进一步结合因果推理、逻辑规则等,可以发现图档博资源内在规律,产生新的洞见。

  2.3 面向管理的智慧决策创新

  第一,智能监测与风险预警。在海量数据驱动的智能时代下,图档博机构面临网络安全、数据隐私、版权合规等多重风险挑战。大语言模型可对系统日志、行为数据等进行智能分析,实现异常行为检测和风险态势感知。在资源建设中,可借助大语言模型对资源的质量和合规性进行智能审核,降低侵权风险。此外,面向知识服务过程,可利用情感分析、观点挖掘等技术,动态监测用户的情绪变化和舆情风向,为风险预警和应急处置提供智力支持。

  第二,智能统计分析与可视化。馆藏数据、借阅数据、访问日志等海量业务数据是图档博机构的宝贵资源与真实记录。传统的统计分析方法难以应对数据规模和复杂程度的挑战。语义分析、知识图谱等技术可深度挖掘数据价值,揭示数据与事物间的内在联系。例如,构建面向图档博的知识图谱,并结合大语言模型进行智能问答,可直观呈现馆藏资源分布、馆内读者分布、读者兴趣变化、流量演变趋势等,为精准决策提供科学翔实的数据支撑。在数据可视化方面,图档博机构可利用大语言模型的多模态生成能力,提供丰富多样的可视化报告,提升数据洞见的表达与呈现效果。

  第三,智能评估与辅助决策。图档博机构普遍会开展服务质量评估、战略规划制定等管理活动,但是这些管理活动在信息采集、方案设计等环节仍依赖人工经验,存在主观性强、周期冗长等问题。生成式人工智能可广泛征集多方观点,并进行智能分析、方案生成,为科学决策提供参考。例如,利用ChatGPT等大语言模型自动生成用户满意度调查问卷,对反馈意见进行情感分析、主题聚类、摘要生成,全面识别、展现与分析用户需求。结合推荐系统算法,自动生成个性化的服务优化方案。在中长期战略规划方面,可利用大语言模型在海量文献中总结行业发展趋势与现实演进脉络,并模拟推演多情境、全场景下的未来效果,为战略选择提供科学依据。

  参考文献

  [1]牛力,金持,黎安润泽.大模型在档案工作数智转型中的应用:新机遇、新模式和新转变[J/OL].档案学通讯,1-11[2024-05-25].https://doi.org/10.16113/j.cnki.daxtx.20240511.001.

  [2]朱兰兰,段燕鸽.元宇宙赋能智慧LAM建设研究:价值取向、技术路径、风险防范[J].山西档案,2023(3):55-62.

  [3]胡安琪,吉顺权.AIGC嵌入图书馆知识服务的价值、风险及其防控策略[J].图书馆工作与研究,2024(5):63-70.

  [4]郑慧,刘思含.人工智能与档案开发利用:应用、愿景与进路[J].山西档案,2022(5):5-10,28.

  [5]肖舒玥,孙守强,李青青.AI大模型驱动的智慧图书馆服务体系研究[J].图书馆理论与实践,2024(3):54-61.

  [6]许剑颖,冯桂珍.ChatGPT赋能档案服务:技术特征、应用场景与实现路径[J].山西档案,2023(6):111-120.

  【作者简介】张义祥(1988—),男,汉族,河南驻马店人,中共河南省委党校图书馆馆员,博士,研究方向:中原文化、智慧图书馆建设、阅读推广。