业务档案数字化加工方案-北京兴源科创科技

（1）采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Or***e等来存储每一笔事务数据，除此之外，文书档案数字化加工方案，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

（2）导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

（3）统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，单轨制电子档案数字化加工方案，以满足大多数常见的分析需求，在这方面，贵州档案数字化加工方案，一些实时性需求会用到EMC的GreenPlum、Or***e的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

（4）挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高层级数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

努力培养高素质的房产测绘档案管理人员***

为房产测绘档案部门引进计算机专门人才，以满足信息处理、信息分析与研究、数据库生产与维护、网络环境创建与维护等方面的需要。努力培养既熟悉房产测绘档案业务知识，又懂得计算机网络管理技术的复合型人才。加强在职房产测绘档案管理人员的岗位培训和教育，提高政治和业务素质，以满足不断增长的房产测绘档案数字化管理人才需求。

制定标准化档案管理工作规则

目前现行文件和档案是各自分别运用计算机技术解决原由手工操作的各项文件管理工作，各单位档案部门应用的文档管理一体化系统软件在其结构设计和功能上不尽相同，业务档案数字化加工方案，造成数字化档案信息共享困难，通用性、开发性差，导致档案资源利用率不高，制约了档案数字化建设的发展。有的单位在***使用一种档案软件不长时间，就发现一些问题，或重新编制，或干脆弃之不用，导致档案建设资源的浪费，影响单位对档案数字化建设的信心，也影响了档案工作人员对数字化档案管理工作的效率。为了保证数字档案的兼容性和规范性，必须根据单位的实际情况，制订统一的格式标准和档案管理业务规范，使档案数字化管理在实际应用过程中少走弯路，如制定档案管理工作的标准化程序，要求档案管理工作人员将每日的工作内容进行公示和集体检查等，以保证档案管理软件的有效运行。结合行业、地域环境等实际制定并认真落实好《档案管理标准》、《档案馆工作标准》和《档案库房管理制度》、《档案保管保密制度》、《档案查阅利用制度》、《档案管理人员岗位职责》等各种档案管理制度，也是保证档案管理工作标准化的基本方法。