






目前,档案数据化或是把档案由文字、声音转化为数据的途径至少有以下几种:一种,对原件上文字为铅排、打印的纸质档案以及原件上文字虽然手写但又十分工整的档案,用?OCR?识别技术进行转化,其准确率可在99%以上;第二种,对原件上文字为手写且?OCR?技术不易识别的档案,用特殊的手写字识别技术进行转化,其准确率目前较高可达95%左右;第三种,用人工录入电脑的办法转化;第四种,用人工朗读文字并通过音频技术把声音转换成文字,其准确率也可达95%左右。需要指出的是,目前这4种转化方式都需要人工进行校核,都不能100%准确。在转化过程中,文字能全部准确转化出来较好,如不能也不要紧。因为档案中并不是每个字都具有数据意义或检索价值的,有的虚词、连接词、形容词、装饰词、重复强调语等,即使这些字转化不出来或不准确,也并不会太大影响整份档案的实际应用。对全文数据来说,当然是越多越好,但也不是每个字都不能少,或少一个字就不行。举一个例子:“张国,他出生于一九四九年,也就是***成立的那一年。”这句话共24个字,但真正具有实际检索意义的,只有“张国,青海高校数字档案扫描,一九四九年出生”这10个字。只要把这10个关键的字转化出来了,这句话的基本意思或基本要素、主要信息、中心要义就有了,其他14个字,也就是一半以上的部分,能转化出来当然更好,即使不能转化出来也不太影响全句主要意思和基本信息的表达。因此,现有的各种数据转化技术都可以***行应用,并在应用中不断提高其转化准确率,而不必等到某种技术完全成熟了再去用。

(1)采集
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL和Or***e等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
(2)导入/预处理
虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。
(3)统计/分析
统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Or***e的Exadata,高校数字档案扫描公司,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
(4)挖掘
与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高层级数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。

高校数字档案扫描公司-青海高校数字档案扫描-兴源科创(查看)由北京兴源科创科技发展有限责任公司提供。北京兴源科创科技发展有限责任公司坚持“以人为本”的企业理念,拥有一支高素质的员工***,力求提供更好的产品和服务回馈社会,并欢迎广大新老客户光临惠顾,真诚合作、共创美好未来。兴源科创——您可信赖的朋友,公司地址:北京市昌平区北七家镇宏福10号院1号楼4036、4037室,联系人:智经理。