冷存储备份管理中心——基于机器人的档案数据离线载体全流程管理

发布时间:2024-03-06 14:27:37被阅览数:468 次信息来源:《中国档案》

  文/曾智  宋莎

  机器人应用和档案数据化,是智慧档案馆的集大成者,根据CNKI的文献统计情况,于2019年后成为研究热点。但是,对于这两项智慧档案馆技术的“明珠”,现有的研究和实践存在一定的不足。

  首先,档案业界对档案数据化将带来的数据存储冲击未做好相应准备。根据国家档案局2019—2021年对全国档案行政管理部门和档案馆基本情况中馆藏电子档案和馆藏数字化副本的汇总统计,全国馆藏电子档案和数字化副本以25%左右的比例增长,现总量已超过25PB。根据中国档案学会理事长杨冬权的设想,“智慧档案馆(室)的数据=档案全文数据+物流数据+人流数据+环境数据”,此数据仅约相当“档案全文数据”,智慧档案馆全域数据之巨大可想而知。而大多数档案馆尚未建立面向PB级或者亿级数据的“在线—近线—离线”数据管理基础设施,尤其是未能将离线数据“近乎无限”的存储能力发挥起来。其次,目前档案存取机器人应用的投入产出效果成疑,档案存取机器人的应用场景、成本与效益也需要进一步考量。

  广州市城市建设档案馆建设的冷存储备份管理中心,是针对上述问题,综合运用物联感知、网络与通信、计算与存储、数据与服务融合、安全保障等技术要素,通过工业自动化、人机交互、边缘计算、云计算、感知控制、数据可信管理等,真正实现面向海量数据的档案冷存储管理的一个探索。

  广州市城市建设档案馆冷存储备份管理中心

  广州市城市建设档案馆的冷存储备份管理中心,整合先进的AGV档案存取机器人、智能存取箱、智能运输箱、智能化装具、RFID、UWB、蓝牙、指纹识别、人脸识别、视觉识别等,实现冷存储档案收、管、存、用全流程的智能化、无人化和全程监控管理,设计数据容量40PB以上。其主要技术包括:

  1.载体交接工作台

  载体交接工作台分单人和双人两种,布置在冷存储操作间,是冷存储载体入库前进行智能化改造的关键一步,配置蓝牙、RFID读写器、标签打印机、摄像头、扫码枪等外接设备。载体接收时,会对载体本身和内容进行真实性、完整性、安全性和可用性检查。载体真实性检查,检查接收档案的封装、设备条码情况,内容真实性检查,检查载体内容的目录文件是否存在、是否有HASH码备查或现场制作目录文件;完整性检查,检查载体和目录的元数据是否记录齐全和关联正确;安全性检查,检查载体的防盗、防破坏和盘内数据无病毒和不被非法访问等情况;可用性检查,检查目录文件的可检索、载体元数据的可检索、载体的可读取和硬盘或光盘的数据可正确打开。关键操作节点有摄像头记录。在检查完毕后,操作人员将信息录入元数据系统,制作RFID标签卡,贴在载体上,该载体进入冷存储管理体系。

  2.文件级内容检索

  冷存储备份管理中心管理系统包括独立的基于元数据的载体管理模块和存取机器人仓储管理模块。基于元数据的载体管理模块不仅能管理载体的基本元数据信息和业务信息,还能实现载体内容文件级的管理。该模块嵌入目录文件的检索,所有入库载体的目录文件均同步录入目录库,目录颗粒度精细到载体中的每一份文件。目录库采用高性能检索技术,支持海量目录数据的管理和快速检索,当需要使用某个文件而仅记得文件名或部分信息时,可通过目录检索查询到该文件所在的硬盘,从而调用该硬盘。

  3.无人库房

  冷存储库房是用于存放冷储备介质的场所,主要由存取机器人、智能存取箱、机器人充电桩、无人交接区、冷存储专用双柱固定架、库房安防系统构成。

  存取机器人选用GEEK+的RS2型号,工作温度-20~50°C,最大负重40kg,最大举高2米,具有红外和激光避障、机器人自动回充等功能。

  智能存取箱是为了适应机器人拿取和档案“八防”需要,配置的电子档案专门“装具”。由于市面上流行的单个冷存储载体体积较小,不方便机器人拿取,因此配置智能存取箱,将硬盘等冷存储介质放入智能存取箱,机器人通过拿取智能存取箱实现冷存储介质的出入库。智能存取箱由不锈钢材质制作,配置蓝牙RFID集成定位卡、指纹密码锁,能够防尘、防盗、防虫、防火,内部配置海绵防震固定层,存储槽位可根据介质情况自行开槽,能满足磁带、光盘、硬盘等主流冷存储介质的存放需求。

  无人交接区配置一张无人工作台(如图1所示),机器人将智能存取箱从专用双柱固定架拿出到该区域,工作人员从箱中取出或存放特定硬盘。无人工作台配置RFID天线、蓝牙天线、扫码枪、载体确认区、出入库操作屏、光栅防护栏等。取出硬盘时,通过RFID天线和蓝牙天线扫描、人脸识别、工卡绑定等,确保载体及硬盘实体安全。存放硬盘时,通过RFID天线和蓝牙天线扫描、人脸识别、工卡解绑等,确保硬盘正确入箱与入库。整个无人交接区还会安装RFID天线和蓝牙天线,防止载体未经许可移出库房的情况发生。

1.jpg

图1  无人库房和工作台

  4.电子围栏

  该中心采用蓝牙管理系统、RFID管理系统、UWB室内定位系统、安全监控系统建设电子围栏,配合智能存取箱、智能运输箱、载体、人员的配套蓝牙、FRID标签,实现身份管理、位置管理、轨迹管理、范围管理。在身份管理方面,工作人员需要使用人员卡进行登录、设备确认、载体绑定等操作;在位置管理方面,系统通过RFID电子标签等对档案载体进行定位,实时跟踪档案的具体位置;在轨迹管理方面,系统通过监控等手段对人员进出档案库房的时间和行为轨迹进行管理,还能通过天线对佩戴人员卡的工作人员和其携带的载体进行距离和活动轨迹检测。通过以上方式监督人员的工作情况,同时在档案资料遗失或被损坏时提供线索进行追查。轨迹管理对预防和查处档案安全事件起到重要作用。在范围管理方面,系统采用电子标签等技术对档案设置电子围栏,当档案离开规定范围时,系统会自动发出警报,有效防止档案位置放置错误或未经允许被移出库房。对重要性高的档案,还需要设置闭锁管理,只有特定人员才有权限接触。

  5.智能运输箱

  智能运输箱是针对电子数据带出本单位管理范围的解决方案。为保证电子数据在路途中的信息安全,须对其位置、载具的状态、运送人员的情况实施有效监测。该箱安装物联网4G远程定位控制模块、温湿度感应和摄像头,能够实现途中定位、监测运输箱是否过热或落水,并在每次开启时拍下开启箱子的人员,设置在目的地才能开启箱子并记录下开启人。

  基于机器人的档案数据离线载体全流程管理

  该中心的建设思路分为本地存储备份方案和异地备份方案。本地冷存储备份方案,覆盖冷存储数据的收管用全流程及人材机全要素,该中心设计并配置了集成RFID、指纹识别、条码识别、网络等的无人工作台、单人工作台、双人工作台,硬盘的放置、读写、交接均实时记录。异地备份方案,通过智能运输箱放置及运输硬盘,该箱配有摄像头、卫星定位和温湿度感应,能够设置在目的地才能开启箱子并记录下开启人。两套解决方式充分发挥物物感知设计思路,保证硬盘在任何情况下都能被定位。该方案紧紧围绕数据管理和机器人应用进行了技术创新,并取得了一定成效。

  1.创新点

  (1)物联网化库房+机器人管理

  该中心采用自建物联网,从传统的有线网络,转向传感器、天线、网关无线部署,在中心范围内的天花板无死角部署RFID和蓝牙天线形成电子围栏,将RFID和蓝牙集成标签应用到箱子、硬盘和人员工卡上,实现智能存取箱和箱内硬盘绑定,人员和可以取走的硬盘绑定,人员活动范围和电子围栏绑定,实时跟踪人员、硬盘、智能存取箱的具体位置和合法性,必须合法解绑才能带出电子围栏区域。该中心使用了档案存取机器人和清扫机器人,通过智能调度进行档案存取和库房地面卫生清洁两项最常规的工作。整个库房可完全不进入人,实现无人化管理。未来还可继续升级引入档案传输机器人、六轴协作机器人等,实现档案从接收至库房货架无人运输以及档案八方位的精准拿取。

  (2)“不带电”的库房管理

  该中心无人库房建设采用“不带电”方案,主体由专用双柱固定架和智能存取箱构成,除机器人充电桩外,整个库房区域可完全不通电,保管环境稳定,消防风险低。该设计摒弃了传统用智能密集架、智能防磁柜等带电设备的设计,采用电商物流类似设计,让存储介质在不用的时候像货物一样摆放在确定位置,需要使用的时候由机器人取出再接入计算机等读取设备,实现档案数据在不用的时候就“冷下来”,既省钱又环保。

  (3)冷热分离的无人库房管理系统

  搭建配套的冷存储介质管理系统和存取机器人仓储管理系统(如图2所示),将冷热数据分离,解决离线载体内数据无法检索的难题。介质元数据信息,如介质的本身信息、移交信息等基础信息及硬盘文件目录数据,属于冷存储的热元数据,存入系统实现在线管理,方便硬盘信息、内容的检索和硬盘的调取。冷存储载体则通过存取机器人仓储管理系统,由机器人自动化送入库房并记录确定位置,两个系统通过接受硬盘出入库指令实现关联。通过这种方式,实现冷热数据的分离,在不重新加电的情况下用户可以远程查找硬盘内含文件。

2.jpg

图2  档案存取机器人

  2.取得的成效

  (1)载体的有序管理

  冷存储管理是各类档案馆电子档案管理智慧化业务战略的重要组成部分,冷存储载体的管理是冷存储管理抓手,该中心的建立,实现了冷存储载体的有序管理,装具智能化改造使得载体和载体内容的查找以及载体的出入库都在物联网掌控中,完全突破了人工管理和实体档案管理的传统思路。

  (2)为城建档案数据的管理打开空间

  冷存储备份管理中心是围绕低使用率的海量电子数据为中心的管理体系,天然的适合档案数据,特别适应结构异构、格式多样、数据海量的电子数据,能够轻松实现备份数据、存档和重要文档的长期安全存储,无需连续访问或使用复杂的软件和工具。城建档案数据不仅海量,类型还很丰富,有数据库文件、扫描件,还有地理信息文件、CAD、BIM、点云数据等城建档案专门文件,该中心的建立为城建档案数据管理打开了空间。

  (3)无人化管理,降低人工成本

  对于海量数据的管理,仅一人即可轻松完成所有载体出入库和库房日常自维护工作,避免了翻找、上架、下架等人工工作,既减少了生产人身风险,又充分利用了2米高的架体存放空间,大大节省了人工成本,提高了工作时效,还降低了人为工作出现的错误,以及人员本身不可控带来的档案信息安全风险。

  (4)低成本低能耗

  冷存储方案能实现最低成本最高效益的存储。该中心的无人库房面积约100平方米,配置12排货架670个箱位,每个箱位能放置移动硬盘8个以上,以一个移动硬盘容量8T计算,无人库房容量40PB以上,成本仅为固定资产成本。对比在线存储模块,同等存储效益的一个NAS在线存储设备(16个槽位,一个槽可插8T硬盘)功率550瓦,与该库房同等存储效益则需要335台NAS,一个小时就要耗费184度电,一个月耗电132480度,按第三档电价计算,约需花费11.7万元/月。该中心现不需要耗电,相当于每月节约费用11.7万元,且支持磁带、光盘、硬盘等低成本存储介质,真正实现低成本低能耗。

  分析与展望

  冷存储备份管理中心是信息化时代下档案保存管理的技术创新应用,是对电子档案和电子档案载体管理模式工业化、自动化、物联网化的全新探索,是智慧档案馆、智慧库房建设的落地应用。

  第一,建立一个行之有效的智慧档案馆基础设施范例,为档案馆智慧创新提供了参考。

  冷存储备份管理中心以档案数据冷存储为管理对象,通过对冷存储备份收管存用的完善解决方案,建立了一个智慧档案馆基础设施范例(如图3所示)。在此范例中,智慧档案馆基础设施主要包括物联感知、网络通信、计算与存储、数据与服务融合、安全保障5个层面,与建筑基础设施、档案和人结合的设备、网络、基础支撑软件和基础应用系统,独立或整体满足可感知、自动化、互联互通、高度集成、易于交互、可协同等智慧化要求,并同时具备较高的可靠性、可用性、可维修性和安全性。同时,相应的智慧档案馆基础设施综合运行后,就该中心局部而言,达到了《绿色档案馆建筑评价标准》(DA/T76—2019)三星级以上标准。

3.JPG

图3  智慧档案馆概念模型

  第二,建立了分层分级的冷热数据一体管理模式,为档案工作数字化转型和大数据战略实施的数据长久保存提供了一种思路。

  在以计算机和互联网为核心的档案电子时代,电子档案管理和档案工作将从之前的“选择性管理”时代,快速发展向未来的“全部性管理”时代。可以预见“全”时代,档案利用率将会进一步下降,档案数据的快速增长和档案数据的冷热不均,成为档案工作数字化转型和大数据战略实施过程中一对必须解决的矛盾。冷存储备份管理中心通过冷热分离、元数据一体化管理,避免了难查难用的离线数据归档黑洞,又实现了存量数据近乎无限的可增长、高可用、高可信,充分发挥了档案数据的储备价值。

  作者单位:广州市城市建设档案馆

  责任编辑:王辉