北京兴源科创科技-大学档案整理建设方案-重庆大学档案整理

有关***档案馆共三层，总面积3800平米，馆藏量达90多万卷、件。需求文书、音像、检查技术、实物档案和文件资料等多种形式的档案存放。项目需求数字化加工用房、实物档案修复室、裱糊修复室、***生物防治室、影像放大冲洗室、复印室、视频阅览室、电子阅览室、电子文件采集室等16个功能用房和报告厅、服务厅、会议室、修史编志室、研讨室等。

通过此项目的建设，可使档案馆成为集实体化与数字化、智能化有机统一的现代化、综合性档案馆，能够利用网络信息管理平台发挥档案的收集、管理、存储和利用等功能，能为院***、检查系统及其他有关单位提供更加便捷的服务。

（1）采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Or***e等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

（2）导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，重庆大学档案整理，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

（3）统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Or***e的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

（4）挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，大学档案整理公司，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高层级数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

目前，大学档案整理价格，档案数据化或是把档案由文字、声音转化为数据的途径至少有以下几种：一种，对原件上文字为铅排、打印的纸质档案以及原件上文字虽然手写但又十分工整的档案，用?OCR?识别技术进行转化，大学档案整理建设方案，其准确率可在99%以上；第二种，对原件上文字为手写且?OCR?技术不易识别的档案，用特殊的手写字识别技术进行转化，其准确率目前较高可达95%左右；第三种，用人工录入电脑的办法转化；第四种，用人工朗读文字并通过音频技术把声音转换成文字，其准确率也可达95%左右。需要指出的是，目前这4种转化方式都需要人工进行校核，都不能100%准确。在转化过程中，文字能全部准确转化出来较好，如不能也不要紧。因为档案中并不是每个字都具有数据意义或检索价值的，有的虚词、连接词、形容词、装饰词、重复强调语等，即使这些字转化不出来或不准确，也并不会太大影响整份档案的实际应用。对全文数据来说，当然是越多越好，但也不是每个字都不能少，或少一个字就不行。举一个例子：“张国，他出生于一九四九年，也就是***成立的那一年。”这句话共24个字，但真正具有实际检索意义的，只有“张国，一九四九年出生”这10个字。只要把这10个关键的字转化出来了，这句话的基本意思或基本要素、主要信息、中心要义就有了，其他14个字，也就是一半以上的部分，能转化出来当然更好，即使不能转化出来也不太影响全句主要意思和基本信息的表达。因此，现有的各种数据转化技术都可以***行应用，并在应用中不断提高其转化准确率，而不必等到某种技术完全成熟了再去用。