美章网 精品范文 云计算数据论文范文

云计算数据论文范文

云计算数据论文

云计算数据论文范文第1篇

云计算是下一代的IT架构。运用云计算,可以把应用软件和数据迁移到很大的数据中心。云计算的这一特点带来了很大的安全问题。要研究云计算数据的安全特征,就要首先了解云计算的数据安全模型。

1.1云计算数据应用系统模型

云计算的平台构架主要技术有并行编程的模式,分布式文件系统,数据处理模型。其层次如图1所示。云计算的数据应用共分为三个层次:应用层、索引层和数据存储层。同时要了解云计算数据应用系统的三个要素:用户、应用服务器和数据中心。这三个要素各有着不同的功能,用户的功能是存储数据,在数据计算的基础上,计算个体用户和组织用户的数据。应用服务器的功能是维护云计算的系统。数据中心的功能是存贮实际的数据信息。但是,在云计算数据应用系统模型中,存在着很大的安全威胁,主要是来自传统数据的威胁,容易受到影响的对象有客户端、主从结构和病毒的传播,通信的安全性。其中,病毒的传播主要是通过互联网的数据交易服务,病毒侵入计算机网络系统,它的破坏性远远大于单机系统,用户也很难进行防范。现在的互联网中,病毒一般有隐蔽性,传播速度也很快。另外,病毒的制造技术也越来越高级,不仅可以破坏用户的程序,还可以窃取信息,造成系统的交叉感染。这种感传染性的病毒危害性非常大。对于通信故障,网络中通常分为两种类型的安全攻击类型:主动攻击和被动攻击。常见的攻击手段有偷窃、分析、冒充、篡改。对于数据安全来说,除了上述的数据安全,还有新数据的安全威胁,主要表现在几个方面:保密失效威胁、分布式可用威胁、动态完整性威胁。

1.2云计算数据安全模型

典型云计算数据技术如图2所示。该数据安全模型主要分三个层次:第一层的功能是负责验证用户的身份,保证云计算中数据的安全;第二层的功能是负责对用户的数据进行保密处理,保护用户的隐私;第三层的功能是恢复用户误删的数据,是系统保护用户数据的最后一道防线。这三层结构是相互联系,层层深入。首先要验证用户的身份,保证用户的数据信息不被篡改。如果非法用户进入的系统,则进入系统后还要经过加密保护和防御系统。最后是文件恢复的层次,这一层次可以帮助用户在数据受损的情况下修复数据。

2多维免疫的云数据安全

2.1多维免疫算法

多维免疫算法的组成主要依靠生物原理、免疫系统的多维模型、多维免疫的基本原则组成。其中,生物原理是把生物学的理论应用在云计算中。人工免疫系统发展到现在,在免疫能力的发挥方面有了很大的发展。免疫能力的增长是一个漫长的过程,后天的免疫的生成更是一个艰难的过程。在一个系统生成初期,完全没有后天的免疫能力,但是随着身体的成长,免疫细胞逐渐增多,免疫系统也开始形成。多维免疫系统的形成也是这样的。

2.2多维免疫的数据安全原理

阻碍多维免疫的数据安全的因素主要有不可靠网络、节点故障、超大规模的用户访问、数据更新引起的数据不一致性等。为了提高数据管理的安全性,云计算为用户提供了一个一致的入口,只有向用户提供透明的文件,进行文件数据的定位数据选择。对于数据管理服务,应该注意,这项服务是连接用户和系统的。应用服务器和数据中心共同组成了云计算数据应用系统。应用服务器主要目的是方便用户访问历史和相关的文件信息。

2.3多维免疫的云数据安全策略

主要包括文件分布的策略,HDFS文件冗余度计算,多维免疫的文件分布,数据块选择机制等。对于云计算中的用户文件,需要考虑到数据块的数量分布、数据块的颗粒度和数据库的创建时间。多维免疫的文件分布中,首先要掌握文件分布的原理,多维免疫算法和云计算中文件的创建和文件块的分配法是一致的。

3结束语

云计算数据论文范文第2篇

1.1大数据的发展

通过对大数据的汇集、智能分析和挖掘技术,发现数据中的潜在价值信息,帮助人们做出正确决策,这就是大数据产业的利益。国外大数据的起步比较早,比较成功的大数据应用案例有:商业龙头沃尔玛公司通过对消费者的购物数据进行分析,了解顾客的行为喜好,对超市的商品结构进行搭配重置以增加销售额;亚马逊公司通过大数据构建自己的推荐系统,每年可以靠此多收益20%;奥巴马通过大数据分析系统进行数据挖掘,用科学的手段获取选票、募集资金,赢得了总统竞选的胜利。相比于国外,国内的大数据研究和应用还处于起步和发展中的阶段,比较成功的案例有:淘宝数据魔方平台,通过大数据,为买家量身打造完善的购物体验产品;新浪微博大数据产品,通过大量的社交数据,创造不同的社会经济价值等。

1.2云计算的发展

云计算可以像电力资源一样提供弹性的按需服务,事实上它是集合了一系列的服务提供给用户。云计算的核心可分为三个层次,分别为基础设施层、平台层、应用层,如图2所示。云计算将基础设施、软件运行环境、应用程序抽象成服务,具有可靠性高、可用性强、规模可伸缩等特点,满足了不同企业的发展需求,各个云服务提供商根据各自服务对象的差别分别开发了各具特色的云服务。(1)基础设施即服务层基础设施即服务(InfrastructureasaService,IaaS)层通过部署硬件基础设施对外提供服务,用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件,包括操作系统和应用程序。消费者不能管理或控制任何云计算基础设施,但能控制操作系统的选择、存储空间、部署的应用,也有可能获得有限制的网络组件(如防火墙、负载均衡器等)的控制。云服务提供商为了使硬件资源得到更有效的利用,引入了Xen、KVM、VMware等虚拟化技术,使得云服务商可以提供更个性化的IaaS服务。亚马逊弹性云计算(AmazonElasticComputeCloud,AmazonEC2)是亚马逊Web服务产品之一,AmazonEC2利用其全球性的数据中心网络,为客户提供虚拟主机服务,让使用者可以租用云服务运行所需应用的系统。(2)平台即服务层平台即服务(PlatformasaService,PaaS)层是指云计算应用程序开发和部署的平台,包括应用设计、应用开发、应用测试和应用托管,都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务,而无需关注底层的具体实现方式和管理模式。鉴于PaaS平台的重要意义,国内外厂商根据各自的战略提出了相应的PaaS平台,国外的如GoogleAppEngine(GAE),通过GAE,即使在重载和数据量极大的情况下,也可以轻松构建能安全运行的应用程序。国内也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)软件即服务层软件即服务(SoftasaService,SaaS)层是为云计算终端用户提供基于互联网软件应用服务的平台。随着Web服务、HTML5、AJAX、Mashup等技术的成熟与标准化,SaaS应用近年来发展迅速,典型的SaaS应用包括GoogleApps、SalesforceCRM等。国外云计算平台比较成功的应用案例有:亚马逊电子商务网站根据用户的购买行为和搜索技术搭建Hadoop集群,构建推荐系统;Twitter社交网站搭建Hadoop分布式系统用于用户关联的建立。国内云计算平台的成功案例有:阿里巴巴目前整个集群达到1700个节点,数据容量达到24.3PB,并且以每天255TB的速率不断攀升;2013年,华为推出国内首个运营云平台,目前为止与该平台签订协议的ISV有3000多家。

1.3云计算相关技术

(1)分布式文件系统分布式文件系统(GoogleFileSystem,GFS)[3]是Google公司针对云计算过程处理海量数据而专门设计的。一个GFS集群由一个主节点和多个从节点组成,用户可以通过客户端访问文件系统,进行正常的文件处理工作。在云计算中,海量数据文件被分割成多个固定大小的数据块,这些数据块被自动分配到不同的从节点存储,并会在多个节点进行备份存储,以免数据丢失。主服务器管理文件系统记录文件的各种属性,包括文件名、访问控制权限、文件存储块映射、块物理信息等数据。正是通过这个表,文件系统可以准确地找到文件存储的位置,避免数据丢失,保证数据安全。图3是GFS的体系结构示意,每一个节点都是普通的Linux服务器,GFS的工作就是协调成百上千的服务器为各种应用提供服务。(2)分布式并行数据库BigTableBigTable[4]是一个为管理大规模结构化数据而设计的分布式存储系统,可以扩展到PB级数据和上千台服务器。很多Google的项目使用BigTable存储数据,这些应用对BigTable提出了不同的挑战,比如对数据规模的要求、对时延的要求。BigTable能满足这些多变的要求,为这些产品成功地提供了灵活、高性能的存储解决方案。BigTable采用的键是三维的,分别是行键(RowKey)、列键(ColumnKey)和时间戳(Timestamp)。行键和列键都是字节串,时间戳是64位整型;值是一个字节串,可以用(row:string,column:string,time:int64)string来表示一条键值对记录。(3)分布式计算框架MapReduceMapReduce[5]是Google公司提出的大数据技术计算框架,被广泛应用于数据挖掘、海量数据处理以及机器学习等领域,由于其并行化处理数据的强大能力,越来越多的厂商根据MapReduce思想开发了各自的云计算平台,其中以Apache公司的Hadoop最为典型。MapReduce由Map和Reduce两个阶段组成。用户只需要编写简单的map()和reduce()函数就可以完成复杂分布式程序设计,而不用了解计算框架的底层实现。MapReduce的数据分析流程如图4所示。分布在不同服务器节点上的海量数据首先通过split()函数被拆分成Key/Value键值对,map()函数以该键值对为输入,将该键值对进行函数处理,产生一系列的中间结果并存入磁盘。MapReduce的中间过程shuffle()将所有具有相同Key值的键值对传递给Reduce环节,Reduce会收集中间结果,并将相同的Value值合并,完成所有工作后将结果输出给用户。MapReduce是一个并行的计算框架,主要体现在不同的服务器节点同时启动相同的工作,并且在每个独立的服务器节点上又可以启动多个map()、reduce()并行计算。

2基于云计算的大数据处理

目前大数据处理的基本流程如图5所示,整个流程经过数据源的采集,用不同的方式进行处理和加工,形成标准的格式,存储下来;然后用合适的数据计算处理方式将数据推送到数据分析和挖掘平台,通过有效的数据分析和挖掘手段,找出大数据中有价值的信息;最后通过可视化技术将信息展现给人们。

2.1数据采集存储

大数据具有不同结构的数据(包括结构、半结构、非结构),针对不同类型的数据,在进行云计算的分布采集时,需要选择不同的数据采集方式收集数据,这也是大数据处理中最基础的一步。采集到的数据并不是都适合推送到后面的平台,需要对其进一步处理,例如来源不同的数据,需要对其进行加载合并;数据存在噪声或者干扰点的,需要对其进行“清洗”和“去噪”等操作,从而保障数据的有效性;数据的格式或者量纲不统一的,需要对其进行标准化等转换处理;最后处理生成的数据,通过特定的数据库,如NoSQL数据(Google的BigTable,Amazon的Dynamo)进行存储,方便进行下一步的数据读取。由于传统的数据仓库无法适应大数据的存储要求,目前基于云计算的数据仓库都是采用列式存储。列式存储的数据具有相同的数据类型,可以大大提高数据的压缩率,例如华为的云存储服务MOS(MassiveObjectService)的数据持久性高达99.9%,同时提供高效率的端到端保障。

2.2数据计算模式

这一环节需要根据处理的数据类型和既定目标,选择合适的计算模型处理数据。由于数据量的庞大,会消耗大量的计算资源,因此,传统的计算技术很难使用大数据的环境条件,取而代之的是分而治之的分布式计算模式,具有代表性的几种计算模式的特点见表1。采用批处理方式计算的Hadoop平台,例如,Facebook拥有全球最大规模的Hadoop集群,集群机器目前超过3000台,CPU核心更是超过30000个,可以存储的数据量能够达到惊人的40PB;采用流处理方式计算的Storm平台分布式计算的时延比Hadoop更小;实时处理方式计算的Spark是一种基于内存的计算模式,例如,Yahoo运用Spark技术在广告营销中实时寻找目标用户,目前在Yahoo部署的Spark集群有112台节点和9.2TB内存;交互处理方式计算的Dremel在处理PB级别的数据时耗时可以缩短至秒级,并且无需大量的并发。

2.3数据分析挖掘

数据分析挖掘环节是从海量数据中发现隐藏规律和有价值信息的过程,这个环节是大数据处理流程最为有价值和核心的部分,传统的数据分析方法有机器学习、商业智能等。传统的数据挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云计算环境下都得到了大幅度的并行优化,在大数据的背景下,计算速度得到了很大程度的提升。现在新兴的深度学习是原始机器学习的一个新领域,动机是在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,这种新的数据分析挖掘技术已经在计算机视觉、语音识别、自然语言处理等领域有了成功的应用。

2.4数据解释展现

将挖掘出来的复杂信息进行数据解释和展现是整个大数据处理流程的最后一个环节,数据分析的结果需要向客户进行恰当的展现。与传统的数据输出和文本展示等方式不同,现在绝大部分的企业都通过引进“数据可视化”技术来展示大数据分析的结果信息,这种方式以图像、动画等方式,形象地向客户展现数据处理分析的结果,也容易被客户理解和接受,更为先进的是,现在逐步形成的“交互式可视化技术”,大大地方便了数据与人之间的“亲密交流”。目前面向大数据主流应用的可视化技术见表2。

3大数据和云计算的未来挑战

大数据需要超大存储容量的计算能力,云计算作为一种新的计算模式,为大数据的应用研究提供了技术支持,大数据和云计算的完美结合,相得益彰,发挥了各自的最大优势,为社会创造了巨大的价值。虽然国内大数据和云计算的研究还是处于初步阶段,但随着研究的不断进行,所面临的问题也越来越多。在大数据向前不断迈进的阶段里,如何让我们对大数据的研究朝着有利于全人类的方向发展成为了重中之重。

3.1重要战略资源

在这个信息社会里,大数据将会成为众多企业甚至是国家层面的重要战略资源。国家层面要将大数据上升为国家战略。奥巴马在2012年3月将“大数据战略”上升为最高国策,像陆权、海权、空权一样,将数据的占有和控制作为重要的国家核心能力。大数据资源也会成为各种机构和企业的重要资产以及提升企业社会竞争力的有力武器。在大数据市场里,客户的各种数据信息都会为企业创造价值,也会在促进消费水平、提高广告效应等方面扮演重要的角色。

3.2数据隐私安全

大数据如果运用得当,可以有效地帮助相关领域做出帮助和决策,但若这些数据被泄露和窃取,随之而来的将是个人信息及财产的安全问题得不到保障。2011年索尼公司遭到黑客攻击,造成一亿份客户资料泄露,经济亏损约1.71亿美元。为了解决大数据的数据隐私安全问题,Roy等在2010年提出了一种隐私保护系统,将信息流控制和差分隐私保护技术融入到云计算平台中,防止MapReduce计算过程中的数据泄露问题。在数据更新飞速的情况下,如何维护数据的隐私安全成为大数据时代研究的重点方向。

3.3智慧城市

人口的增长给城市交通、医疗、建筑等各方面带来了不小的压力,智慧城市就是依靠大数据和云计算技术,实现城市高效的管理、便捷的民生服务、可持续的产业发展。在刚刚结束的“两会”的政府工作报告中,总理也特意强调了智慧城市发展的重要性,目前国家智慧城市试点已遍布全国各地,多达409个。智慧安防、智慧交通、智慧医疗等都是智慧城市应用领域。智慧城市的建设也趋使大数据人才的培养。据预测,到2015年,大数据将会出现约100万的人才缺口,全球将新增440万个与大数据相关的工作岗位来填补这个空缺。

3.4能源消耗

云计算数据论文范文第3篇

云计算是一种根据使用量确定付费的模式,这种模式主要是提供便捷的、可用的网络访问,并进入计算资源共享池,这些资源能够被迅速的提供,只需要投入较少的工作,或者与服务供应商进行很少的交流。目前,高能力的计算发展和应用水平已成为一个地区科研实力甚至一个国家综合实力的重要体现。云计算很大程度上提高了资源的服务水平和利用率,而且避免了跨结点划分应用程序所带来的低效性和复杂性。

二、大数据与云计算对会计信息化的推进

(一)大数据拓展了会计信息化的资源利用范围。

随着数字化、软件和处理能力的发展,对可利用的数据的范围进行了进一步的扩大,企业必须敏感地认识到不同类型的信息通过深加工后能给企业带来怎样的财富,更要掌握哪些信息可以通过信息化技术和软件的进步来实现。大数据时代,会计信息化不再只针对会计作业上产生的数据进行分析,而且云计算是世界各大搜索引擎及浏览器数据收集、处理的核心计算方式,因此可以通过云计算将零散的数据整合在一起,提炼其有价值的信息,再将这些信息与传统的会计信息融合,挖掘被忽视的重要信息,提高会计管理决策能力和企业管理水平,这样就能从行业中脱颖而出。

(二)促进了会计信息化成本降低。

传统的会计信息化需要企业自身投入大量的基础设施建设,同时还要考虑硬件与软件的升级和维护,这方面是阻碍会计信息化发展的重要原因,特别是对中小企业的发展。而大数据与云计算融合后,用户可以根据自己的利用资源的多少和时间的长短付费,不再需要前期大量的工作和资金投入。这样,企业也能将重点放在自身的发展上,增强竞争优势。

(三)提高了会计信息化的效率。

传统的会计信息化受到时间和地域等条件的限制,这样信息交流不及时,可能错过稍纵即逝的机会,尤其是竞争激烈的大环境下,信息获取的及时性更加重要的。在大数据时代的背景下,提供云计算的会计信息化系统只需通过互联网就能随时随地的实现与客户的沟通,及时地掌握所需的信息。同时,云计算强大的计算能力,可以更快地形成所需的各项指标,管理者能更快的了解企业的经营状况并识别潜在的风险。

三、大数据和云计算对会计信息化的挑战

(一)会计信息化共享平台发展滞后。

目前,企业信息化逐步在向社会信息化发展,各企业在加工处理自己的会计信息时会形成这个行业整体的信息流。通过会计信息化共享平台,各企业可以随时知道自己的企业在整个行业或地区的地区和影响力,了解自己的强势和弱势,不断强化自己的优势并弥补自己的不足,实现动态地对公司的持续改善管理。这一平台需要在云计算的基础上发挥作用,而云计算供应商要求能够满足不同用户、不同地域和不同业务规则的需求,所以对其适应性、扩展性以及灵活性要求比较高。我国在这方面起步比较晚,国内的云计算平台建设滞后,使云会计这种新型会计信息化发展面临很大的阻碍。

(二)会计信息化共享平台的数据安全性挑战。

云计算数据论文范文第4篇

【 关键词 】 云计算;云存储;数据安全;加密算法;安全策略

1 引言

近几年来,云计算已经逐渐成为人们热衷研究和开发的领域,受到了多个领域、多个行业的人们的普遍关注。所以,本文对基于云计算模型的数据存储服务模型进行广泛研究,在充分考虑云计算模型具有成本低且实现灵活的特点的基础上,提出了一种面向服务的数据存储和传输方案,该方案通过将对称加密和费对称加密算相结合,实现对数据的加密和解密,为云计算服务在应用中的数据安全问题找到一种行之有效的方法。

2 云计算相关概念

从其本质上来看,云计算其实就是一种分布式系统,该系统能够成分借鉴互联网将分散的超大规模计算能力实体和各种存储资源进行有效整合,然后再将该系统所能够实现的服务反馈给用户。在这些过程中,采用高安全性的云存储是实现云计算所有服务的基本条件,通过互联网上的各种存储设备,可以构成庞大的云存储系统,这也是云计算环境下对数据进行存储和调用的基础,这样,云存储就可以通过分布式的系统来实现将分散存储设备整合为一个高性能整体的目的。

2.1 数据容错管理

在众多的性能要求中,可靠性是存储系统的最根本要求。而对于具有大量节点且系统结构复杂的云存储系统来说,系统的可靠性更加重要。在云存储结构中,可以充分利用分布式数据的备份功能,并将其作为提高系统可靠性的有效手段和方式,同时,还可以通过增强系统的容错能力来确保数据的一致性。

2.2 云存储运行效率

云计算过程中,对数据进行存储和备份会极大地导致系统整体输入和输出的延迟,因此,如何提供云存储系统的运行效率也是应该考虑的问题。

2.3 数据的安全性

在云计算理念的应用过程中,数据的安全问题早就成为人们关注的问题,所以,为了能够从根本上提高数据安全性,彻底解决数据在存储处理中的安全问题,从根本上提高云计算的防护能力,然后再根据云计算系统中可能存在的安全威胁和安全请求,从确定数据的安全策略。

3 云计算的数据安全存储分析

云计算不仅能够给人们带来极大便利,还有可能由于数据的集中处理而危及到用户的数据安全性。在众多现在已经广泛应用的云计算系统中,数据的安全性问题一直为人们所担忧,这也是云计算在应用过程中所面临的巨大挑战。现在,云计算的基础是应用广泛的分布式网络,在这种体系下,每台网络终端都可以看成是一个节点,所以,如果没有完善的安全保障,理论上,可以通过任何节点对其他节点进行访问,给云计算的数据安全带来隐患。一般而言,云计算体系中的数据安全主要涉及数据传输、恢复、长期生存等诸多问题。

4 云计算环境下的数据安全存储策略

现在,经常使用的数据加密算法主要为对称加密算法和非对称加密算法等两类。统计表明,对称加密算法的理论比较成熟,应用较为广泛,且由于该类算法的加密和解密的实现比较容易,而被广泛的应用于大数据量的数据传输,在基于对称加密的算法中个,数据的接收和发送发可以利用同一个密钥对数据进行加密和解密。相对于对称加密算法,就是非对称加密算法,该类算撒可以将传统的密钥分为加密钥和解密钥,从而实现对数据加密和解密的分开控制,从而在计算复杂度上确保的安全性。

4.1 加密处理

在对数据的加密过程中,可以通过对称加密算的密钥生成器器,来随机生成包含校验信息的密钥,然后再将包含给校验信息的密钥通过非对称加密算法进行加密。这样,就可以将经过加密算法处理后的数据信息和对称加密算法的密钥密文,统一打包后发给用户端。此外,在实现数据加密过程中,可以将数据量巨大的用户数据通过对称的加密算法对其进行加密,不仅如此,还可对数据量较小的对称加密算法的有关密钥通过非对称算法进行加密,可以将这两中的加密钥和密文数据一起存储在云存储中心,而在用户终端,只对非对称加密算法和解密密钥进行保存就可以。

4.2 解密处理

在对数据进行解密的过程中,用户首先应该利用非对称加密算法的有关密钥对对称算法的密钥进行解密,以此来还原密钥;然后,在根据还原的密钥通过对称算法对数据包进行解密,这样就可以对全文进行还原。通过对两种加密算法的结合使用,能够充分发挥两类算法的优点,最大限度的避免算法缺陷给数据安全带来的影响,可以在保证密钥安全的同时,利用对称密钥来对所有数据进行加密,还可以利用非对称密钥对数据非常小的校验信息进行加密。通过这种复合算法,希望数据安全性在达到非对称密钥算法水平的同时,是算法的效率接近或达到对称密钥算法的加密水平,彻底解决现代云计算中所面临的数据安全性问题。

5 结束语

云计算已经逐渐成为人们热衷研究和开发的领域,受到了人们的普遍关注。本文对基于云计算模型的数据存储服务模型进行广泛研究,采用一种面向服务的数据存储和传输方案,该方案通过将对称加密和费对称加密算相结合,实现对数据的加密和解密,为云计算服务在应用中的数据安全问题找到一种行之有效的方法。

参考文献

[1] 刘新华,胡纯蓉.云计算中数据安全关键技术和解决方案[J]. 全国商情(理论研究), 2011(04).

[2] 章功干.面向云计算的安全数据关键技术研究[J].科技信息,2011(30).

[3] Armbrust M, Fox A, Griffith R,etal. Above the clouds: A Berkeley view of cloud computing. 2009.

[4] Bellard F.QEMU,a Fast and Portable Dynamic Translator[A]. 2005.

[5] 吕骥,张尧学,周悦芝.云计算环境中P2P计算的优化组织模型[J]. 清华大学学报(自然科学版),2011(11).

[6] 孟庆伟,刘婷.基于云计算的网络教学系统的设计与实现[J].信息与电脑(理论版), 2011(11).

[7] 沈文杰.基于云计算的关键技术在高校中的应用与研究[J].信息与电脑(理论版),2011(11).

[8] Rangan K,Cooke A,Post J,et al.The Cloud Wars:100+billionat stake[J]. 2008.

作者简介:

云计算数据论文范文第5篇

关键词:计算机网络专业;大数据;云计算;Hadoop

中图分类号:G642.0;TP393 文献标识码:A 文章编号:2095-1302(2016)12-0-02

0 引 言

随着云计算、物联网以及“互联网+”技术的兴起,数据正以前所未有的速度在不断增长和累积,互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月,美国奥巴马政府公布“大数据研发计划”,旨在提高和改进人们从海量、复杂的数据中获取知识的能力,发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展,中国互联网三巨头BAT(百度、阿里、腾讯)纷纷建立大数据研究院、大数据实验室等,提供大数据专业服务,一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临,同时对专业人才的需求也日益增长。

大数据的发展与计算机网络密切相关,因此适时调整高职计算机网络专业方向的培养目标,可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识,实践能力强、职业道德素养高,具备云平台的管理能力和网络软件开发能力,能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。

1 大数据与云计算

根据维基百科的定义,大数据[2,3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2],即数据体量巨大(Volume)、数据种类繁多(Variety)、流动速度快(Velocity)、价值密度低(Value)。

从技术角度上看,大数据必然无法用单台计算机处理,必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop,Hadoop是由Apache基金会所开发的分布式系统基础架构,能够对大量数据进行分布式存储、分析和处理的云计算平台,已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究;Facebook使用1 000个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200 TB的数据,进行搜索日志分析和网页数据挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

2 课程体系改革研究

2.1 课程体系现状

目前,高职院校计算机网络专业类课程大多围绕计算机网络工程和计算机网络开发两条主线,主要课程包括网络基础、路由器及交换机配置与管理、Windows网络服务器配置与管理以及动态网站开发相关技术等。这些课程内容传统,课程内容严重同质化,教学内容已不能满足大数据时代人才培养的要求,这些将直接影响学生的理论实践能力和就业机会。

大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战,与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐,不断进行专业课程的创新性研究,重视实践类课程和教材的研发,适时调整人才培养目标和专业教学计划,以期满足工作岗位的实际要求。

2.2 研究思路

计算机网络专业经过多年的发展,其课程体系比较成熟,形成了各自的特色教学。因此,本文的研究内容是对原有课程体系的补充和完善。

2.2.1 有针对性的进一步优化传统的专业职业技能课程

传统的专业职业技能课程已经比较成熟,经过了实践的考验,也已得到了学生的认可。尽管如此,还要有针对性的进一步优化,使得课程体系的理实比达到更优,提升课程教学实施的效果。

2.2.2 采用增加模式,补充完善课程体系

基于大数据和云计算技术研发新的职业技能课程,充实现有的课程体系。大数据和云计算紧密相联,因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中,以岗位需求为导向,以培养技能型人才为目标,合理安排理论教学内容和课时,着重开发实践教学案例和内容,明显区别于本科课程教学设置。

2.2.3 课程体系相互作用,相互促进

网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践,又是对传统课程的有效扩展和提升。

2.3 具体内容

由于大数据、云计算技术是基于网络的技术,因此,计算机网络专业人才培养具有先决条件。根据以上研究思路,具体方案主要包括强化现有课程体系,增加基础理论课程、完善知识体系,增加实践课程、锻炼岗位能力三个部分。

2.3.1 强化现有课程体系

针对现阶段存在的问题,学校应强化现有课程体系,使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型,并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器,熟悉使用常见的网络命令,具备远程网络控制学习能力。掌握程序设计语言Java,具备Windows和Linux下的程序开发能力,包括编写shell程序。能够配置交换机和路由器,具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。

2.3.2 增加基础理论课程,完善知识体系

针对人才需求,增加大数据、云计算等基础理论课程,完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能,但基础理论仍非常重要,主要包括熟悉大数据的基础概念和常见技术架构;熟悉云计算原理和架构,并了解虚拟化技术如KVM;熟悉分布式系统和分布式计算原理;了解大数据、云计算的最新应用。

2.3.3 增加实践课程,锻炼岗位能力

在课程体系设置中,实践课程比例应超过理论课程。增加大数据、云计算等实践课程,锻炼学生的岗位能力。主要包括主流云平台管理软件的使用,如华为FusionSphere、VMWARE等;分布式系统管理、分布式并行计算以及Map/Reduce编程;Hadoop集群、HBase分布式数据库的构建与管理;Hadoop、HBase等案例实践与应用。

通过以上方法,使得计算机网络专业学生在原有专业基础上,掌握大数据和云计算的原理,具备云平台的管理能力,并能基于Hadoop等云计算平台实现大数据程序,对大数据进行计算分析。

2.4 Hadoop课程实施

通过以上分析可知,增加的课程内容主要是大数据、云计算相关课程,最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学,使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学,使得学生能够掌握Hadoop集群的配置与管理,并且能够基于Hadoop实现大数据程序设计,使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。

2.4.1 Hadoop原理

Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储,而MapReduce则为海量数据提供了计算。如图1所示,Hadoop运行的基本过程如下[4,5]:

(1)客户端可以将文件上传至HDFS文件系统,NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块,并分布式存储至DataNode数据节点,同时将块存储信息保存至NameNode节点,以方便文件进行资源管理。

(2)文件上传完成后,客户端提交具体Job任务至Hadoop集群,各DataNode节点根据任务要求可以读取相应的文件Split,并完成Map和Reduce计算任务,将结果作为输出文件传输至HDFS文件系统。

(3)在任务执行过程中,可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。

2.4.2 Hadoop教学平台配置与部署

Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境,网络服务器系统采用Linux Ubuntu,构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。

2.4.3 Hadoop分布式文件存储及大数据处理实现

Hadoop分布式文件存储及大数据处理实现包括:HDFS文件系统的使用;HBase的使用;MapReducer程序实现;大数据案例分析与实现。

3 结 语

本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路,在优化计算机网络专业传统课程的基础上,增加大数据、云计算等相关课程,并以Hadoop课程的具体教学实施来培养学生的实践能力,使得学生能够紧跟大数据、云计算的技术步伐,满足工作岗位的要求。

参考文献

[1]赵伟艇,夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术,2016,12(2):167-169.

[2]陶雪娇,胡晓峰,刘洋.大数据研究综述[J].系统仿真学报,2013(S1):142-146.

[3]孟小峰,慈祥.大数据管理概念技术与挑战[J].计算机研究与发展,2013,50(1):146-169.

[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春:吉林大学,2014.

[5]陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学,2013,35(10):25-35.

[6]曾文英,吴积军,曾文权,等.基于云计算的IT课程体系改革[J].计算机教育,2014(17):40-44.

[7]鲍爱华,陈卫卫,刘鹏,等.云计算课程内容体系的建设与实践[J].计算机工程与科学,2014,36(A02):42-45.

云计算数据论文范文第6篇

关键词:服务外包 云计算 云外包 第三次工业革命

引言

第一次工业革命浪潮让高楼大厦林立,第二次工业革命浪潮让分散郊区发展,第三次工业革命浪潮带来了数字技术与数字革命(Alvin Toffler,2006),他让我们变成一堆数字(Stephen Baker,2009)。第三次工业革命颠覆了很多从前习以为常的理论与概念,也让已经选择好的经济发展路径开始面临瓶颈(朱晓明,2012)。第三次工业革命时代被称为“大云平移”时代,即大数据、云计算、平台与移动互联网时代,其中尤以云计算最为抢眼。从数字技术与数字革命的角度来看,云计算将让数字科学家渗透到日常生活的每个领域,他们正面临新的挑战,不仅要描述网络用户的品味与嗜好,而且要洞悉人类不断变化的心情(Stephen Baker,2009)。云计算正在从一个热门的IT 概念扩展为“云空间”、“云搜索”、“云浏览”、“云服务”、“云平台”、“云社区”等终端应用(郁德强,2012)。

在云计算的平台上,一种基于云计算的新型服务外包模式―云外包正在逐渐成为服务外包领域发展的趋势,并且日益受到业界有关人士的重视。Joseph A. Schumpeter(1942)认为经济创新是对经济结构的一种创造性破坏,经济创新使经济结构不断革命化、不断地破坏旧结构、不断地创造新结构。按照Joseph A.Schumpeter的观点,云计算及云外包就是第三次工业革命浪潮带来的最新的创造性破坏。那么这种创造性破坏将会给人类生活带来哪些“破坏”呢?目前的答案模糊而不明确,随着这朵“云”的飘逝,清晰的答案或许就在不远的前方。

本文在阐述云外包内涵的基础上,较为全面地扫描了云外包发展现状,然后对云外包的研究文献进行了综述,最后展望了云外包的发展趋势,并扼要进行了相关讨论。希望通过本文的研究,能够为我国云外包的发展提供借鉴和帮助。

云外包的内涵

“云”(Cloud)是一个虚拟的形象比喻,指的是一些大型的计算资源,比如一些大型服务器集群,这些集群资源可以实行自我维护和自我管理功能,具体包括大型计算服务器集群、大型存储服务器集群与宽带资源等。

“云计算”(Cloud Powered Computing)旨在提高云端的大数据处理能力,指的是将各种计算本领、数据存储、网络虚拟化、电脑负载均衡等基本电脑功能与现行复杂网络技术融合在一起,借助SaaS(Software as a Service,SaaS,软件即服务)、PaaS(Platform as a Service,PaaS,平台即服务)、IaaS(Infrastructure as a Service,IaaS,设施即服务)等先进的商业模式为市场终端客户提供强大的数据计算、数据挖掘、数据处理等服务的一种应用计算技术,它是一个完全虚拟化的计算资源提供仓库,也是一种全新的动态计算资源提供理念。一些专家形象地把它比喻成一个大数据处理仓库,在这个大数据处理仓库中,所有的电脑都可以实行自我管理和自我维护资源功能,可以自动安装程序软件与开启响应,还可以动态地分配与再分配、部署与再部署、配置与再配置资源以及回收资源。

专家将云计算界定为具有以下几个典型特征:能够自动地监控计算仓库中各种资源,并根据设定的程序自动地分配资源;用户可通过真实的界面操作虚拟的计算资源,简单而有效;管理成本较低,而且当扩展的架构另外新增资源时,需要额外增加的管理费用极少;计算资源数据库中可以共享计算资源,而且完全按照用户需求将资源分配与再分配等;各种电脑可以兼容应用,而且同时支持个体消费者以及市场大型商业应用。

“云外包”(Cloud Powered Outsourcing)是一种基于云计算资源与平台的新型服务外包模式,由软件云、平台云、设施云及处于云端的各种终端服务组成(郁德强等,2012)。鼎韬咨询公司认为云外包模式应该包括三个基本层面,如图1所示:一是基于云平台的外包服务,即云计算+SaaS软件服务云模式;二是基于云模式的外包,即云计算+PaaS的平台服务云模式;三是基于云理念的外包,即云计算+IaaS设施服务云模式。综上所述:云外包=(SaaS+ PaaS+ IaaS)×服务。一般来说,云外包的基本服务对象可分为服务云、运营云与行业云三类。服务云即大众化云模式的外包服务,可为普通大众用户提供基于云计算资源平台的较为完整的应用外包服务。运营云即企业私有化云模式外包服务,主要针对一些企业内部提供基于云计算资源平台的具体外包服务。行业云为上述两者云外包模式结合的外包服务,即既可对行业内部提供全线资源整合的云外包服务,又可对行业外部提供全部流程的云外包服务。

云外包的发展现状

服务外包3.0时代被称为云外包时代。云外包领域的先行者有Amazon、Google、IBM、Microsoft、Yahoo、Salesforce、Facebook、Youtube、Myspace等众多知名公司。Amazon利用EC2与S3等技术为用户提供云外包服务。Google推出GDrive为用户提供最新云外包服务,另外其搜索引擎有超过100万台服务器构建了云计算资源仓库,为用户源源不断地24小时提供云服务。IBM为用户提供蓝云计算平台服务。Microsoft推出SkyBox、SkyLine、SkyMarket等云外包服务。2008年以来,IBM已在我国建立多家云计算服务中心,对用户提供云外包服务。2009年阿里巴巴建立了首家基于电子商务平台的云计算中心,为电子商务企业提供云外包服务。中国移动完成云计算中心试验,正在向物联网的云外包进军。其他还有瑞星、江民、金山、奇虎360、卡巴斯基等多家软件科技企业都为互联网用户提供基于云安全的外包服务。

2010年5月的《国务院关于加强培育和发展战略性新兴产业的决定》中,明确将云计算确定为战略性新兴产业的重点发展项目,并提出加强云计算的研发和推广云计算的示范效应。2010年10月国家发改委联合工业和信息化部印发《关于做好云计算服务创新发展试点示范工作的通知》,批准设立我国首批云计算五大示范城市,分别为北京、上海、杭州、深圳、无锡。2010年与2011年两年时间,我国各地特别是服务外包基地城市纷纷开建云计算中心相关项目,具体如表1所示。

诚如前文所述,人们习以为常的理论与概念将会被新的云服务模式改变。基于云计算平台的云外包已经悄然改变着我们的日常生活。比如一些业务从传统的收费模式到现行的免费模式的改变。现在免费模式在一些平台行业已成为一种普遍现象。银行、软件科技公司、移动通讯公司、第三方互联网支付公司等提供的云服务包括交易平台服务、媒体平台服务、支付平台服务、软件平台服务等,他们通过免费模式吸引着大量顾客,为企业其他的业务争取到了难以想象的消费群体。数字技术与互联网时代决定着云外包业务将走入一个快速发展的飞跃时期。

云外包的研究理论

在中国全文期刊数据库输入“云”这个关键词,搜索到的直接与间接的研究文献不少,见表2所示。

在中国全文期刊数据库输入“云计算”关键词,搜索到的直接与间接的研究文献不算多,见表3所示。通过梳理不难发现,这些研究文献主要分为以下三个方面:第一,介绍云计算的概念以及描述云计算平台与传统IT平台的差异;第二,描绘云计算的未来前景;第三,介绍云计算与服务外包的关系以及利用云计算平台的益处。可以看出,学术界对云计算的研究目前还处于一种探索的状态,文献研究也没有出现涌现现象。

实际的状况是,学术界对云外包理论研究的步伐节奏完全赶不上企业对云外包探索的速度。在中国全文期刊数据库输入“云外包”关键词,搜索到的学术研究的文献仅有4篇,具体见表4与表5所示。即使在外文期刊数据库以及国外一些知名大学的图书馆电子数据库里进行搜索,也几乎没有与云外包的直接研究文献。在Baidu以及Google搜索引擎上也查询不到相关研究文献,但是企业关于云外包的热情介绍倒是不少,其中较为著名的研究报告为鼎韬咨询公司的《服务在云端―“云外包”概念白皮书》,遗憾的是该报告也只是泛泛对云外包做了介绍,并没有做更深层次的研究。

随着云外包这种服务外包新模式快速发展以及企业对云外包的大力推崇,学术界对云外包的关注度将会逐渐升温,届时能够掌握与收集到的云外包相关数据也会越来越多,越来越丰富,因此,本文认为未来关于云外包的理论研究可能会从多个角度展开。

云外包的发展趋势

从几个知名咨询公司对云外包未来发展前景的预测我们可以略知一二。Merrill Lynch保守预测今后3-5年内,全球云外包市场规模可能超过950亿美元;Gartner预测更为乐观,认为2013年全球云外包市场规模就会达到1500亿美元;IDC预计未来3-5年全球云外包市场规模将增长3倍以上,到2013年底,全球云外包的开支占整个IT外包领域的开支比例将达到1/3;Mckinsey & Company预计到2015年全球将有850亿美元用于云外包领域(鼎韬公司,2010)。虽然各机构预测数字不一,但是折射出的是大家对云外包市场的乐观而统一的认知―云外包市场发展潜力巨大。

第三次工业革命下的云外包将使得企业虚拟化成为常态。这些企业通过云外包一方面将非核心业务向全球进行发包,另一方面通过外包云与众包获得专业化资源服务。在云外包模式下,企业将服务部署在云端,不论是ITO(Information Technology Outsourcing,ITO,信息技术外包)、BPO(Business Process Outsourcing,BPO,业务流程外包)、KPO(Knowledge Process Outsourcing,KPO,知识流程外包)等都可利用云外包平台为用户提供个性化服务。

未来的云外包发展趋势可能集中在以下四个方面:

第一,SaaS模式云外包服务将通过专业化的云平台为用户提供零公里对接服务,它改变了传统意义上的人力资源外包、行政实务外包、金融财务外包等业务外包模式,提供即需即用式的基于流程开发与应用外包的云服务。

第二,PaaS模式云外包服务将通过专业化的云数据程序开发为用户提供互动式服务,它改变了传统意义上的软件开发外包、软件测试与维护外包等业务外包模式,提供协同式的基于数据挖掘、数据处理与数据管理外包的云服务。

第三,IaaS模式云外包服务将通过大型服务器、存储器等为用户提供基础,它改变了传统意义上的IT基础设施服务外包、IT技术服务外包等业务外包模式,提供基于硬件网络与远程基础设施虚拟管理外包的云服务。

第四,在云外包模式下,全球若干企业或是个人都可挤进云服务的快车道,他们将一起为云用户提供云服务与创造云价值,这改变了传统意义上的单一主体接包与发包模式,提供基于全球无边界的爆炸式众包模式云服务。

结论与讨论

综上所述,“云”的出现创造了一种新的服务外包模式―云外包模式,这种基于云计算平台的新型服务外包模式将成为引领服务经济时代的流行工具,成为深受用户喜爱的价值创造的日常手段。本文剖析了云外包的内涵,对云外包的研究理论进行了文献梳理,并展望与分析了云外包未来可能的发展方向。需要注意的是,在全球一片“云”笼罩之下,企业必须要有清醒的认识,那就是云外包模式还不十分成熟,尚存在不少问题亟待确认与解决,主要问题如下:

第一,在云外包模式下,企业经营与管理者们的传统理念是否已经转变为云理念,能否对传统服务与云服务结合的IT环境进行协调管理;第二,在云外包模式下,各云服务提供商能否提供规范的云外包服务,云服务提供商原先的传统系统能否适应现行的大数据云平台,能否承受海量数据存储与海量信息备份的压力;第三,由于云的边界是动态变化的,甚至是无界的,随着数据在云中的飘忽迁移,安全方案必须相应地动态与虚拟,即实现按需安全,因此迫切要求建立一套新的共享资源的安全方法;第四,云外包的服务性能依赖于延伸服务链中的每一个组成部分,包括数据仓库、虚拟网络、其他云服务提供商、用户终端硬软件设备等,这根链条是否动态兼容与匹配;第五,在云外包模式下,世界已经是平的,那么云端的知识产权保护与信息安全管理措施能否跟上,用户的云平台上的数据能否得到保密,万一信息泄露如何更快更好地处置等。

此外,云外包发展还面临着两个关键制约瓶颈:一是云数据使用,二是云用户能动性。云数据使用包括用户对云数据的处理权甚至涉及到国家信息安全,单靠云计算技术不能解决云数据使用问题,还需要配套制订相关的法律法规与政策,以及建立云用户和云服务提供商之间的信任。还有一个就是云用户的能动性,在云环境中,用户使用的云计算仓库的资源与数据,都是高度自动化的,云计算仓库会对资源与数据进行动态配置与部署,天长日久会逐渐降低云用户的能动性,甚至可能会影响到人口的综合素养与国家的经济发展。

最后需要指出的是,学术界对云外包的研究还处于原始的摸索阶段,鉴于缺少云外包发展的相关数据,因此目前的研究文献都是以一些定性分析为主,缺少对云外包的产生机制、动因与相关绩效的定量分析,特别是云外包的契约关系、云外包的规章制度、云外包的知识产权、云外包的信息安全与云外包模式的综合管理等研究还处于真空状态。未来进一步的研究将会从这几方面有序展开。

1.Alvin Toffler.黄明坚等译.The Third Wave[M].中信出版社,2006

2.Stephen Baker.张新华等译.The Numerati[M].中信出版社,2009

3.朱晓明.第三次工业革命及其战略思考[J].服务外包研究,2012(8)

4.郁德强等.一种基于云计算的服务外包模式:云外包[J].情报理论与实践,2012(8)

5.Joseph A. Schumpeter. Capitalism, Socialism and Democracy [M].Johns Hopkins University Press,1993.

6.鼎韬公司.服务在云端―“云外包”概念白皮书[R].中国服务外包网,2010

云计算数据论文范文第7篇

关键词:计算机技术;互联网;云计算;概念算法

1 计算机云计算的概念及应用特征分析

1.1 云计算概念剖析

随着IT产业的进步与发展,计算机互联网提供的服务种类迅速增加,如地图,搜索及其他租赁业务等,互联网服务内容的多样性有效带动了用户规模的进一步扩大,用户数量的急剧增加使得互联网服务得以迅速普及,为有效满足用户对服务实用性及可靠性的需求,互联网服务在不同集群中建立起了分散的数据控制中心,以实现对数据资源的充分开发,同时为用户提供更为优质的服务,而这正是计算机云计算的发展前提。在市场经济中,云计算属于一种全新的商业计算模型,集中了数据储存,数据计算及其他多种软件服务,并将服务模式转化为交付和使用的方式,以实现对互联网动态服务资源的虚拟化处理。经虚拟化处理后的互联网服务资源,其规模能够得到无限扩展,而这正为互联网用户提供了数据信息及时获取的有效途径,极大的满足了当下互联网用户的需求。从数据处理角度分析,云计算是并行处理,分布处理以及网格计算的商业实现。通过在大量分散的计算机上建立起非本地计算机的远程服务,再通过互联网将多个计算机远程服务终端连接成一个庞大的数据网络,并通过互联网将数据资源上传至数据网络中,这样,当用户需要对某些数据进行调阅时,便可利用任意网络设备对数据网络进行访问,进而实现互联网数据的云计算。

1.2 计算机云计算应用特征分析

在计算机云计算中,以计算机群为基础实现的数据网络构建,使得局域范围内的数据存储在一定程度上具备了互联网的网络特性,并实现了数据的云端存储和访问,不仅取用便捷,费用也十分低廉。云计算这一工程实现了计算机计算能力向市场商品的转化,独特的数据处理模式也使其具备了一定的应用特征。云计算具备可拓展性。当用户的数据服务需求增加,云计算能够依据用户的需求将资源进行动态划分,以此为用户匹配可用的虚拟资源,在满足其需求的同时,进一步发掘出信息网络数据资源。由于云计算的整体构架是基于互联网而实现的,而互联网运行的本质是为用户提供服务,因此云计算具有以网络服务为中心的特性,在现实中,用户能够通过多种网络终端进行网络数据连接,并以此为基础体验云计算服务。在计算机云计算中,数据概念计算的方法打破了多层次资源的异构性分类方式,通过对数据资源进行统一的管理和调配,以此在互联网中建立起池化数据库,从而为客户提供更为平等而多样性的服务,加之云计算能够处理无限大的数据量,因此更能够从多方面满足用户的不同需求,所以说云计算具有资源池化的特性。

2 云概念计算中的不确定推理

在计算机云计算中,由于概念计算规则既可以是一对多的,也可以是多对一的,所以在云计算规则中多规则和单规则计算方式都具有一定的不确定性,开展对不确定性的开发与研究,对云计算的开展是具有十分重要的意义的。云计算中的一对多的规则能够表示为IF A1,A2,……An,then B,规则中指出多定性概念值是不确定推测的前提条件,通过采用云计算中的概念计算,能够进一步确定云数据发生器的构造规则。而在云计算的概念计算中,为表示前件对应的多维论域的空间数值,必须要以多维云结构为基础而实现,所以云概念计算中的不确定推理也对云结构提出了一定要求,为有效控制云计算中的不确定性,应采取有效的方案对云计算结构加以改进和完善。如设定云计算中规则前件有2个概念变量,其中每个变量对应5个定性概念值,所以经计算可知每个前件可能有25个概念值,这也就意味着经过组合前件可能具有25个定性概念值,论域空间中也需要25个二维云相对应,因此云计算中不确定推理过程是具有一定复杂性的。在云概念实际应用中,推理规则体现的关键是如何处理好多规则之间的关系,通过控制输入值以激活云计算中的定性规则,然后采用计算机云计算中的概念计算方法进行数据计算,便能够最终以数据期望值作为云计算推理结论并加以输出。

3 云概念计算实现过程阐述

3.1 计算云化过程

在利用n元进行样本云计算过程中,论域为Ω=(U1*U2*U3……*Un),那么便在Ω论域中抽取参数值m个定义为样本参数值,在对参数值进行对应次数的运算后,将每个样本参数值与计算结果进行对比,并定义结果值为s,s=F(a1,a2,a3……an)。在计算样本参数值后,依据云计算中的转换定律,将每次的n元计算转换为n元计算规则R,并将R带入多对一的计算规则中,即为IF a1,a2,a3,……an,then S,通过对样本中所有的样本参数值进行云概念计算,这样便能够得到m个云概念计算规则所构成的集合。在计算云化过程中,数据的数值变量因素是影响到云概念计算的重要因素,所以在云概念计算过程中,应更为注重对数值和数值变量的云化。数值的云化是指数值变量按照设定好的云概念计算方式加以运算,如在数值云化过程中,首先假设构造U是在过程P中产生的,设定一个定性概念集合为A,在A中包含有K各定性概念,那么概念集合A就可以表示为A={A1,A2,A3,……An},集合中数值变量定义为a,a的集合便能够形成一个定性概念T,最后按照归约化条件 ΨA(μ(a)μT(a)|AT)来实现隶属程度u(a)的最大化。数值变量的云化与数值的云化过程稍有差别,数值变量的云化是以论域U中的数值变量为基础的,通过对定性概念集合A中的每个概念进行云概念计算,并将计算后的数据以(Ex,En,He)的形式表现出来,进而实现数据变量的云化。

3.2 云概念计算过程

在对数值和数值变量进行云化处理后,能够得出一组数据云概念计算的计算规则,计算规则表明了云概念计算的实质是一种云的推理过程。在此推理过程中,数据推算的过程如图所示:

由图可知,在云概念计算中,当给定一组参数值a1,a2,a3……an之后,对参数值进行云化处理,处理后的数据被呈递给云推理引擎,引擎能够依据云化处理后的数据特征推算出不同参数值之间的计算规则,最后将规则化之后的参数值进行云化,最终输出结果值。在数值云化的过程中,云概念计算通过对参数值a1,a2,a3……an进行数值云化,以通过参数值计算得出一个定性概念Ti,并形成定性概念的参数值,以此来确定云概念计算中的云参数值,为后期云参数的不确定推理提供必要的数据参考。经过云推理引擎处理后的参数值是一个表征定性概念的云,而并非数据本身,因此要完成云概念计算应将在推算过程中引入具体的数值,进而实现云概念计算理论在实际数值计算中的应用。此外,云的数值化计算要按照参数值的规则进行,在对参数值进行云计算时,要以参数值的云化过程为前提,通过云化过程中的计算得出参数值的云规则,进而完成云概念计算结果值的填充。

4 云计算中概念计算的实现途径探究

计算机云概念计算服务的根本目的是为用户提供简捷易操作的数据服务,因此在云概念计算的实际应用中,应进一步简化系统处理过程,数据处理复杂性的降低,不仅节省了系统进行数据计算占用的空间资源,也能够提升系统的服务效率。为有效实现云概念计算,通常将计算过程分为预处理过程和功能实现过程两部分。在预处理过程中,系统的各项功能被逐一分解并进行抽象化处理,处理后的功能无需系统进行再处理,便可直接应用到云概念计算系统的计算过程中。系统计算过程的简化,进一步提升了云概念计算的计算效率,也使得系统功能得以优化,为今后云计算系统的发展奠定了稳固的基础。云概念计算过程中,数据的计算量十分庞大,并且计算的精确度也要得到有效保障,而由于云计算系统中的预处理过程是一次性的,一旦得出计算结果便无法修正,所以为保证云概念计算的准确性,还要对云计算过程进行定期检修与维护。

随着计算机互联网技术的日益普及,云计算这一概念也正在逐渐受到社会各领域的高度关注,其在市场中的广泛应用将会有效促进商业模式的转变,在实现科技飞跃的同时,为市场经济的发展带来巨大的商业机遇。由于我国云概念计算服务仍处于初步发展阶段,市场竞争力不足,资源开发仍不完善,因此采取科学有效的方法促进云计算服务的发展是十分必要的。

[参考文献]

[1]于德华.计算数学和科学工程计算及其在中国的若干发展[J].数学进展,2009,3(2):1-6.

[2]李一德,孟海军.隶属云和隶属云发生器[J].计算机研究与发展,,1995,32(5):15-30.

[3]史雪梅,陈辉.定性定量互换模型及其应用[D].南京:通信工程技术学院,2013:12-30.

云计算数据论文范文第8篇

【 关键词 】 云计算;计算机安全;安全问题及对策

1 引言

随着计算机技术的不断发展,计算机网络安全问题一直是计算机行业一个重要的问题,本文就主要针对于云计算在计算机安全领域的影响和应用做分析,提出相应的一些解决措施。

2 云计算的概况

云是互联网和网络的一种比喻的说法,以前在图中经常用云来表示电信网,后来随之也用其来表示互联网和基础设施的抽象形态。云计算(Cloud Computing)是基于互联网的条件下,提供相关服务的增加、使用以及交互的模式,一般情况下会涉及通过互联网来提供动态、易扩展的并且经常是虚拟化的资源。狭义云计算一般是指以IT为基础设施的交付和使用的模式,通过网络以按需以及易扩展的方式来获得所需的资源;广义云计算指的是服务的交付和使用的模式,通过网络以按需以及易扩展的方式来获得所需的服务。这种服务可以是和软件、互联网、IT有关,也可以是其他形式的服务,其意味着计算能力也可以作为一种商品通过互联网来进行流通。云计算当前主要的构架是基于一个新一代的数据中心,以此来提供虚拟的计算以及存贮资源的功能,其中这些资源的使用以及消费,就可以按照先前的规定标准进行适当的收费,用户可以随时地通过互联网进行资源的消费,为用户提供方便。

3 基于云计算背景下计算机安全问题分析

云安全问题一直是一个研究的重点和难点,云计算的安全性、可靠性以及其可控性的缺失,会给其使用者带来极大的损失。许多计算机安全的技术虽然也得到了大家的认可,并且也取得了不错的效果,但是其依然不能避免病毒的侵害、安全漏洞、信息的泄露以及恶意的攻击等安全问题。当前,基于X.509标准的PMI和PKI体系进行的数字加密技术、动态密码技术、SSL/TLS技术,以及各种防病毒、防DOS、防火墙等安全技术都被应用到云计算当中。

当前云计算的安全和集成问题还没得到彻底解决,其存在着一定的安全风险,主要的有七种:特权用户的访问、法规的遵守、数据位置的不确定、共享储存数据、数据的恢复、调查支持以及长期的发展等问题。

另外,云计算作为一个虚拟的网络平台,其安全问题也具有一些独特的性质,主要的体现在几个方面:首先,其所有用户的都是储存在外部的数据中心,需要针对其数据信息来进行加密的处理,以此来保障其安全性,同时还需要设置一定的控制访问和认证系统,以便于内部工作人员进行访问;其次,为了要保障其数据的安全,在受到攻击之后可以快速地使其数据得到恢复,需要对其进行储存,云计算数据一般来说都比较的繁杂并且数据量比较大,所以,要保证其完整性和一致性,在其储存的时候就需要采取冗余储存的方式,并且还要采用特定的方法对其进行其审计;第三,要想使云计算的计算机安全问题得到实时有效的保障,就需要对其进行加密处理和密匙管理,并且要将密匙是指成为实时改变的状态,以此来保障其不易被破解;第四,云计算的三个参考模型的基本理论基础是虚拟化,这是其不可或缺的一部分,但是虚拟化也同时为其带来了安全问题、管理方面的问题以及其虚拟机安全的问题。

4 基于云计算下计算机安全的保障措施

4.1 明确云计算业务的定位

云计算所包含的业务的种类是复杂并且多变的,要加深对其发展的深入研究,看是否可以将其归类成为某一类的电信业务,看其是否可以归纳入或者是调整《电信分类目录》,并且要建立健全相应的市场的准入以及其监管的力度,规范云服务的良好的发展。

4.2 制定相应的法律法规

要根据云计算技术的发展以及其业务的模式,尽快地制定出相符合的法律法规以及其技术规范,例如出台数据保护法、明确云计算服务提供商信息安全管理责任、制定用户使用的日志留存规范等。以此来规范云计算市场,加强其监督力度,保障其在一个良好的环境中发展。

4.3 建立有针对性的技术监控手段

要针对云计算技术以及其业务的特点,建设有针对性的技术监控手段。云计算在计算机行业的应用,进一步地降低了互联网业务的开发以及其应用的门槛,并且使信息的传播渠道更加的便捷、低廉,所以要建设相对应配套的技术管控手段,比如业务开发审计系统、违法网站应用定位和处置系统等,以此来对其进行有效监控。

4.4 建立云计算服务分级分类的安全管理制度

要根据云计算的特点,将云计算按照其使用的范围、对象以及其业务模式的规划分为不同的安全等级要求,比如,根据其使用范围可以划分成公有云、私有云以及混合云等;根据其使用的对象灰分成为面向政府、企业和普通用户进行云服务;根据其业务模式划分为提供基础设施资源、信息以及软件的云服务,并且要根据不同的安全等级制定出相应的安全防护标准以及等级保护制度。同时还要建立诚实可信的第三方公共服务平台,比如,政府创建的公共云服务平台,分级进行安全管理,保障其使用的安全性。

4.5 提升其自主创新的能力

要加大力度培养国内云服务市场,加强对云计算核心硬件的研究开发力度,减少核心设施以及关键领域技术产品对于国外产品的依赖,国家要自主开发软、硬件,提升自主创新能力,积极地参与到云计算国际标准的制定,提升自身科技含量,加快该行业的发展。

5 结束语

云计算技术在计算机行业的应用,很大程度上推动了计算机行业的发展,想要其更加实用,就要对其存在的安全风险有一定的认识,并且要采取相应的措施,以此来保障计算机安全,促使计算机行业健康快速地发展。

参考文献

[1] 梁宏.云计算与计算机安全[A].全国计算机安全学术交流会论文集(第二十三卷)[C],2008(10):19-24.

[2] 石红.基于云计算概念的企业信息化模式研究[A].第九届全国会计信息化年会论文集(上)[C],2010:17-23.

[3] 潘松柏,张云勇,陈清金,魏进武.云计算安全需求和策略[A].2010年全国通信安全学术会议论文集[C], 2010:46-54.

[4] 张勇.云计算环境下软件工程模式初探[A].第三届全国软件测试会议与移动计算、栅格、智能化高级论坛论文集[C],2009:91-97.

[5] 涂艳丽.云计算及在IT支撑系统中的应用[A].中国通信学会第六届学术年会论文集(上)[C],2009:41-48.

[6] 黄华军,钱亮,王耀钧.基于异常特征的钓鱼网站URL检测技术[J].信息网络安全,2012,(01):23-25.

[7] 黄世中.GF(2m)域SM2算法的实现与优化[J].信息网络安全,2012,(01):36-39.

基金项目:

国家自然科学基金资助项目(60963007)、福建省教育厅科技项目(JB11251)。

云计算数据论文范文第9篇

【关键词】大数据 云计算 通信行业 影响

一、云计算和大数据理论概述

1.1云计算理论分析

云计算是一种较为先进的技术,它发展时间还比较的短,但其发展速度十分的快,受到广泛的关注。云计算本质上还是属于网络计算模式,可以为多个网络用户提供效率高、可靠性好的计算服务。并且云计算具有超高的运算量,基本上可以达到每秒10万亿次的运算量,可以有效的满足智能手机、平板电脑等设备所需要的运算和存储需要。

1.2大数据理论概述

大数据的发展时间相较于云计算,时间更短,还处于分析和试用阶段,其应用的范围还比较有限。并且对于大数据的理论分析还有待完整,还没有形成统一的理论认知,可以将大数据简单的理解为传统的工具和方法无法处理和分析的数据。同时大数据还具有以下的特点:一是,大数据的显著特点就是大。这里主要指两方面的内容,一方面指的是数据存储量非常的大;另一方面指的是计算量大。这也是大数据区别其他处理工具的最显著特点;二是,大数据的工作效率高。在运用大数据的过程中,可有效的提高数据信息的存储、传输效率,甚至在有的工程中大数据还实现了实时处理分析.三是,大数据信息种类十分的丰富,既包含了结构化的数据表,也包含了半结构、非结构化的文本、视屏以及图像等多种信息,同时大数据之间还存在较多的信息交互行为。

二、云计算和大数据之间的关系分析

大数据与云计算都是较为新兴的数据处理技术,两者既具有共通性,也存在明显的差异。首先,云计算和大数据之间的共同特征:云计算和大数据都具有较大的数据运算和存储功能,并且都是以计算机网络技术为基础进行的。并且大数据和云计算在数据存储、传输以及数据分析方面具有较多的交集。其次是云计算和大数据之间存在的较大差异表现:云计算应用的主要范围是在IT资源以及各种应用上,在降低企业IT部署成本方面具有显著优势。云计算的问世对企业的IT架构产生了重大的影响;大数据的功能与云计算先比具有较大的不同,大数据主要是对自己所存储的数据进行深入的分析和挖掘。大数据的应用使企业的业务架构发生了重大的变革。综上分析可知,云计算本质上还是处于工具的定位,而大数据是云计算的进一步发展和深入。大数据的主要功能是深入的分析和处理大量数据信息,云计算则是以计算机互联网为技术依托,使管理、存储的数据资源不断的扩大。大数据的主体是数据资源,而云计算的主体是计算机资源和应用能力。大数据在海量的数据分析中充分发现数据的潜在价值,云计算则是提高IT部署能力,减低成本。

三、云计算与大数据结合对通信行业发展带来的影响分析

目前,云计算和大数据已经被广泛的应用到社会的众多行业中,其中对通信行业的发展更是起到了极大的推动作用。并且云计算和大数据相结合更是加快了我国现代通行运用商的转型,为我国通信行业的发展带来新的契机。

3.1对客户端的要求不断的降低

目前,4G移动网络已经成为手机通信主体,智能手机的功能不断增多,各种应用客户端层出不穷,手机功能不断的强化。但是,手机与电脑还存在较大的差距,许多应用软件还是无法在手机中使用,这也严重制约了我国现代通信业发展。但是将云计算和大数据相融合的技术共同的应用到移动通信设备中,对用户端的要求将不断的降低,用户不在依靠本地存储功能,也不用安装较多的应有软件,只需要进行简单的出入和输出,就能通过“云”获得更多的信息资源。

3.2实现高质量的网络服务和客户分析

目前,移动互联网技术在人们的生产生活中占据重要的位置,并且其应用得到了普及,带来可大量的信息数据,增加了通信运营的存储难度。但是大数据的有效应用可以有效解决这一难题,并且还可以对这些存储数据进行深入的分析,提高移动网络的管理水平,使网络服务质量得到有效的保证。

同时,现代通信运营商掌握着丰富客户数据信息,可以利用大数据对客户信息进行深入的挖掘和处理,从而全面的了解客户的需求,为客户提供专门的营销计划和产品服务。同时也可以根据用户的应用情况,及时有效的完善产品和服务,提高客户服务水平。

云计算数据论文范文第10篇

关键词:云计算概述;数据挖掘;平台架构

中图分类号:TP311.13

随着经济的发展和科技的进步,手机、电脑在中国随处可见,互联网甚至是移动互联网融入了人们的日常生活,互联网中无法估量的大量数据不断增长,愈演愈烈,面对着海一般的数据信息,人们不能准确的找到自己想要的数据,像手机APP,手游等移动互联网产品,每天都承载着非常多的数据,对运营商而言,如何进行数据分析以及数据挖掘成为一个亟待解决的难题。

较于传统数据处理系统,云计算系统的出现让人眼前一亮,基于云的数据挖掘平台的建构为数据挖掘开辟了一条新路,云计算提供一个虚拟的平台,用户可以在任何地区运用任何终端选择自己想要的数据,而大规模的数据本身就存在一些问题,数据挖掘存在难度,本文就云计算的数据挖掘进行具体的分析如下:

1 云计算概述

一直以来云计算都没有一个统一明确的定义,根据多数人对云计算的定义,总结出以下两方面:(1)云计算通俗一点说就是一个资源盘,其拥有数以万计的可用虚拟资源,有些虚拟资源拥有不同的负载量,云计算的优势就是可用将这些负载量不同的资源进行新的合理分配;(2)就用户而言云计算的服务是方便简单的,且透明化,用户的最终目的是在云计算中获取想要的数据和服务,用户不用在意云计算本身的运行机制,然而云计算的系统也是存在隐患的,如果一个规模庞大的计算机群在运作的过程中仍然不间断的增加计算机的数量,那么云计算系统可能会出错甚至系统崩溃,可见单纯依靠硬件设施是不可取的,此时需要可靠的软件发挥作用,需使用冗余和分布式存储的方式,云计算系统另一个优势就是拥有自我检测系统模式,该模式在不影响正常运行的情况下,可以检测出无效节点并进行删除,总之,云计算系统数据多、存储能力强、计算能力快且准确率高,给用户带来高效、优质的服务。

经过一直以来对云计算的研究总结其特点有五个方面,分别是虚拟化、通用性、扩展性强且规模大、可靠性高、经济性好等特点,具体来说就是云计算不是个实物,是个虚拟的拥有海量数据的平台,用户可以在世界的任何位置通过任何终端获取想要的数据信息和服务;云计算没有局限性,在云计算下可以构建出不同的应用,而且这些应用可同时运行;在不影响用户正常使用的情况下,云计算是可以扩展的,而且是动态扩展,现今最多可扩展几十万台电脑,整个扩展过程用户是可以看到的,是对外的;为了保证服务的质量和可靠性,云计算运用了多种方法如多副本容错和多计算节点同构可互换等;云计算由于自身的优势运用大量廉价节点构成云,采用自动化集中式管理机制,解决企业高昂的数据中心成本,较于传统系统云计算系统成本较低。

2 数据挖掘的方式

数据挖掘是一个循环反复、不断调整和修改的过程,这个过程漫长且复杂。从数据预处理到数据挖掘再到评估和表示这是数据挖掘的整个过程,数据挖掘的过程中方法很多,归纳如下:(1)广义知识挖掘,广义知识被挖掘出来后,与可视化技术相结合,用户可以直观的通过图表形式来了解;(2)关联知识挖掘;(3)类知识挖掘,分分类和聚类两种。决策树、神经网络、贝叶斯分类、支持向量机、遗传算法与进化理论、粗糙集、关联分类、类比学习、模糊集等为分类法。聚类法包括五种,分别是基于划分、密度、层次、模型及网格的不同方法;(4)预测型知识挖掘,包括一些方法和技术,方法有经典的统计方法,技术包括神经网络和机器学习技术;(5)特异型知识挖掘,所谓特异型指特殊的背离常规的异常规律。包括三个类别,分别是孤立点分析、序列异常分析和特异规则发现;(6)自定义数据挖掘算法。

数据挖掘的过程以及方法可以通过图1直观的了解。

3 基于云的数据挖掘平台架构

针对传统数据挖掘平台而言,云计算的产生对其影响很大,云计算的分布式存储和计算使数据挖掘开始变革,数据挖掘云服务只有基于云计算平台才能得以实现,其设计思想是分层设计,思路是面向组件设计,整个平台自下向上分为三层,最下面一层也是最基础的一层是云计算支撑平台层,再往上一层是数据挖掘能力层,最顶层是数据挖掘云服务层。

云计算支撑平台层的功能主要是提供数据的分布式存储和计算,最底层构建可以以企业自主研发的云计算平台为基础 ,也可以以第三方提供的云计算平台为基础。

数据挖掘能力层的能力有算法服务管理、调度引起、数据并行处理框架等,这些都是基础能力,数据挖掘能力层支撑着它的上一层(数据挖掘云服务层)。这层不但支持内部数据挖掘算法和推荐算法库,对于外在的第三方数据挖掘算数法也可以接入。

最顶层数据挖掘云服务层的主要功能是为外在企业和个人提供数据挖掘云服务,其涵盖多种多样的服务能力封装的接口形式,例如针对于简单对象的访问协议简称SOAP的XML等,本地应用程序编程接口也是其形式之一,基于结构化查询语言语句的访问在数据挖掘云服务层也是支持的,同时此层还提供解析引擎和自动调用云服务。

总之,基于云计算的数据挖掘平台从很多方面是优于传统数据挖掘平台的,如大规模数据处理能力、数据动态扩展能力以及低廉的云服务和成本等。

4 云计算关键技术

如今大量数据挖掘最直接有效的方法是分布式计算方法,这个方法包括两部分一部分是分布式数据存储,一部分是分布式并行计算,现在的云计算平台已经涵盖了这两部分的能力,这两部分是云计算数据挖掘平台的核心支撑能力,GFS、KFS、HDFS等三种分布式文件系统是目前比较受欢迎的分布式文件系统,Google公司的分布式文件系统理论是三者的理论基础,KFS、HDFS两种分布式文件系统多被用于商业和学术领域。

分布式并行计算框架在分布式计算方法中非常重要,其在计算过程中封装了一些技术细节,如任务调度、任务容错等,这样便捷了用户,用户只要把握好任务间的逻辑关系,不必注意这些技术细节,目前较为广泛应用的分布式计算框架有并行计算框架Mapreduce和迭代处理计算框架Pregel这两者都由谷歌公司提出,还有微软公司研发的Dryad。

5 结束语

随着互联网和移动互联网时代的到来,海量复杂的数据处理与数据挖掘困扰着各大运营商,与传统数据系统相比,云计算优势明显,强大动态扩展能力、独特的分布式存储和计算方法、以及低廉的成本优势吸引了越来越多企业和个人,基于云的数据挖掘平台,企业和运行商都因此减少了数据挖掘方面的资金投入,对这些企业来说无疑是减小了生产成本。

参考文献:

[1]丁岩,杨庆平,钱煜明.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术,2013(01).

云计算数据论文范文第11篇

关键词:GIS软件工程 云计算 工程模式 虚拟化

中图分类号:TP393 文献标识码:A 文章编号:1672-3791(2014)10(c)-0040-01

伴随着互联网在人们工作和生活中的普及,云计算技术的发展日臻成熟,传统的以因特尔和以Windows为平台的网络商业运营模式已经不能满足现代人的发展要求。反之,云计算技术正以其强大的数据处理能力获得了巨大的发展空间。

1 云计算的基本概念

云计算技术是在互联网发展的基础上诞生的一项数据管理技术,它将复杂的数据处理过程分割成为若干个子程序,由云计算下的多个服务器进行分析再反馈给用户的数据处理系统。其强大的数据分析处理能力可以为用户提供更为方便快捷的服务,有效节约时间和精力。从狭义的角度看,云计算就是指在IT行业发展的基础之上的模式与交付,它通过网络资源获得所需要数据资源。

2 云计算技术的特点

2.1 虚拟化程度高

云计算通过互联网实现了功能的全部虚拟化,用户无论在什么地方均可以通过网络终端享受服务。全部的服务信息资源均来自“云”,而并非实物操作,用户仅仅使用笔记本电脑或是智能手机就可以在任何地点通过网络获取应用服务。

2.2 规模庞大

随着互联网技术的迅速发展,云计算的服务器已经发展形成了庞大的规模,据统计Google公司的云计算服务器已达100多万台,而像搜狐这样规模的公司,云计算服务器也已经超过40万台。

2.3 可靠性好

云计算的可靠性是多种保护措施实现的,比如数据的多副本容错功能、计算节点的互换等。并且配备有专门的技术人员对数据库进行实时维护,保证存储信息的安全、稳定性,确保用户不受影响。

2.4 通用性好

云计算的推广范围很广,能够满足各类用户的服务要求,甚至同一云能够在同时为多个用户提供服务,并且可以构造出很多不同形式的应用,这为用户享受云计算服务提供了很大的便利性。

2.5 成本低廉

云计算采用的是集中自动化的管理形式,容错措施使用低廉的接点构成模式,这就在很大程度上降低了管理运营成本,减少了分摊到用户身上的管理维护费用。其良好的通用,可以为用户提供更加方便、廉价的服务,用户无需投入大量精力和财力就可以获得想要的资源。

3 GIS工程的基本概念和主要特征

3.1 GIS工程的基本概念

GIS软件工程指的是软件从概念定位、原理应用、技术落实到软件的开发与维护的整个活动过程。它涵盖GIS的规划设计、组织落实和功能评价等多项工作,还包含质量监管、需求控制、风险控制等多项技术,在此基础上形成GIS的数据信息管理和质量监管体系,实现数据处理功能的最优化。

3.2 GIS工程的主要特征

3.2.1 系统的复杂程度高

文档的数量和质量要求较高。GIS工程需要交付的文档涵盖工程系统的设计手册、用户指南、软件说明书、功能检测报告、空间分析报告等等,这些文档内容庞杂而且质量要求较高,对于管理人员工作要求很高。软件在微观上的复杂程度高。由于GIS工程涉及的信息量非常大、内部功能结构复杂,因此工程本身的长度及内部结构管理都是非常复杂的工作。理论研究的难度大。GIS工程是基于虚拟化的云计算技术发展的,在空间理论方面极为复杂,不易理解。

3.2.2 对于数据的处理要求特殊

数据质量要求严格。GIS工程对于输入数据的质量要求是很高的,如果数据存在问题则容易引起系统功能的故障或是运行崩溃。数据的时效性。GIS软件工程内部的数据信息更新换代非常快,这样才能满足网络时代海量信息资源的发展要求,如果数据陈旧就无法满足工作需要,因此时时的信息采集工作是建设GIS软件工程所必须要做的。

4 基于云计算的GIS软件工程模式

4.1 GIS软件工程的结构模式

云计算技术的发展为GIS软件工程的发展提供了极大便利,上面已经提到云计算技术具备庞大的数据存储量、可靠性高、通用性好等优势。这些技术优势使得GIS软件工程的结构模式得以进一步优化,具体的来说,云技术下的GIS软件工程会充分的运用云端所提供的构件进行革新,而传统的GIS构件是不能与之相提并论的。由云端提供的庞大数据信息量以及地图检索服务可以为GIS软件更新服务工程,满足不同读者需要提供可能。

4.2 GIS软件工程的组织模式

传统的GIS软件生命周期呈串行模式,可是在云计算技术的推动之下,GIS软件工程的生命周期也将发生大的变化,逐渐呈现为多重的螺旋模型发展趋势。GIS软件工程的研发具有开放性和阶段性的特点,在软件开发的各个阶段需要大量工作来打基础,为了克服研发弊端,对于GIS构架的设计可以吸收借鉴其他的成功经验,选择较为完善的构件和代码,这样对于推进组织模式更新具有重要作用。

4.3 GIS软件工程的管理与维护

在云计算技术下构件的GIS软件工程具备很大的灵活性和便捷性。在产品的研发过程中软件的管理和维护也在同时进行,改变了传统的先开发后维护的工作方式。一般在软件的初期研发阶段仅能完成少量的部署工作,可是随着云计算技术的介入和发展,可以有效的减少各个软件工程的耦合系数,确保各种构件均能实现联动或单独的自由管理模式,像客户端、服务端和管理端等等部分均可实现管理方式的优化。

5 云计算条件下的GIS软件工程应用

云计算技术自身具备很强的数据管理能力,可以有效的降低管理成本,这为GIS软件工程的研发单位节省了很大一笔研发资金。但是在进行GIS软件工程研发的初期,服务商需要投入大量的硬件和软件设施,同样是一笔较大的投入,所以假如能够改进原有的设备用于研发则可节约很大一部分投入。在软件开发过程中应注意选择品质有保证的应用软件,并成立云计算技术的专业管理部门,负责管理现代云计算技术和GIS行业在开发中存在的矛盾。这就能更加有效地实现云计算条件下的GIS软件工程发展。

6 结语

综上所述云计算技术发展下的GIS软件工程技术具备良好的发展条件,在工程体系建设、组织模式和管理与维护等方面,较之以往的技术有了很大改进。为了加快GIS软件工程的发展,我们应积极的利用云端庞大的数据信息资源获得自身发展所必须的资源。

参考文献

[1] 周鹏,尹菲.基于云计算技术的GIS软件工程模式[J].测绘通报,2010(11):22-24.

云计算数据论文范文第12篇

【关键词】数字档案馆;云计算;区域

近年来,区域数字档案馆的建设将成为档案学领域发展趋势之一,我国区域数字档案馆的建设还处在起步阶段,高层次的区域数字档案馆的建设还有待进一步发展。云计算理论和技术在众多领域中的逐渐应用成熟,为解决区域数字档案馆在基础设施、文献资源、信息服务的开展等诸多方面指明了方向。将云计算应用到区域数字档案馆建设,逐步整合档案管理的理论和业务知识、档案数据到云计算架构体系中,将体现出更深层次的价值。

一、云计算时代数字档案馆的困境与挑战

我国数字档案馆在建设实践过程中,档案信息资源在各级档案馆之间出于离散状态,离互联互通有很大距离。信息技术的发展推动档案数据用户需求的个性化、动态化,造成档案信息服务与用户需求之间产生巨大冲突。一方面,现代信息技术要求档案馆管理人员不断更新业务知识及工作思想,提高创造力;另一方面,档案馆需要不断升级网络通讯设施,提高安全保障措施,互联网中任何不确定的攻击都威胁着数字档案馆基础设施和信息资源的安全。

数字档案馆一旦采用云计算服务,就具备易用、安全、共享等技术特点,进而改变了档案数据服务与管理的方式,克服了目前档案管理工作中的诸多弊端。因而数字档案馆的现实需求与云计算的技术特点相吻合,将云计算的技术优势运用于数字档案馆的数据管理和用户的动态需求服务中,对档案馆事业的进步必将会产生巨大的推动力。

二、区域数字档案馆采用云计算服务的定位

(一)数字档案馆建设需求分析

在云计算模式下,数字档案馆从自建业务管理系统转向购买相对标准的信息服务。云计算适合基层档案机构,首先,其是档案管理系统中相对薄弱的节点,社会信息化渗入到工作的各个方面,传统思维和业务处理方式阻碍力量小,比较适合彻底的改造。其次,基层档案馆的业务管理系统相对简单,进行标准化建设,没有太大阻力。再次,数字档案馆建设的推行能够提升整个档案领域业务及管理的标准化、规范化,尤其有益于基层档案机构。最后,云计算服务本身就是一个国际标准的实施和应用的外部环境。

云计算运用于基层档案机构只是数字档案馆采用云计算服务的第一步,区域数字化档案馆之间的互联互通才是最关键的环节。区域数字档案馆服务中心利用云计算的开放共享技术优势,将标准化的公用共享服务构建云端,对各区域内的各档案机构提供的服务接入,同时,基层档案馆和机构对专用的业务系统进行自行建设。总体上,实施云计算数字档案馆能节约资源建设成本,提高档案服务质量,推进档案行业领域工作的标准化程度,为区域档案管理的互联互通打下坚实的基础。

(二)数字档案馆的云计算运用模式

数字档案馆云计算运用模式的选择,档案机构的业务系统和辅助支持系统必须厘清。档案核心业务系统运行着大部分核心数据,系统的稳定性和可靠性事关整体服务质量。档案馆辅助支持系统与其它行业的辅助支持系统相类似,与业务关系不大,一般可交给第三方来维护。本文认为区域云数字档案馆,有以下两种运用形式:

(1)档案业务系统。本系统是基层档案机构的业务系统,一般运行在机构内部,由档案机构的信息管理部门来负责。区域数字档案馆云计算平台中的档案管理信息系统等,直接存储了区域内档案的相关信息,数据的安全性和重要性极其重要,中心档案馆对其具有完全的控制权。云计算区域数字档案业务管理系统,通过各级档案机构的相互关联,实现了档案信息的共享,提高了档案服务信息的效率。

(2)辅助支持系统。云计算平台适用于对业务数据保密性要求不高的业务,辅助支持系统正好适合这个特点,同时也可充分有效利用云计算平台的动态拓展的技术及服务,减少档案馆在基础设施和管理维护成本。如图1,的电子邮件系统,办公自动化系统等可由云计算服务提供商来维护,从而,档案管理机构获得高质量的软件服务与维护。

通过档案馆主营业务系统和辅助支持系统的分析,数字档案馆采用云计算技术来优化服务平台是比较现实的选择。实施云计算,一方面,满足了档案数据数据安全性的要求;另一方面,加深了现有计算机及网络通信设施的耦合性,对接了相关法律法规的约束等。

三、区域数字档案馆云计算服务平台实现方案

区域数字档案馆云计算共享服务平台的建设,在云计算技术理论的指导下,将分散的档案信息资源通过第三方云服务平台组织起来,形成一个个档案信息资源服务“云”,进而提高数字档案馆云计算共享效率。

(一)区域数字档案馆云计算平台的构建

档案管理业务执行标准的统一,是区域数字档案管理系统的前提,由档案管理机构架设“档案云”,往“档案云”上传输和读取档案数据就可以了,同时,可以根据不同的用户体验,提供电脑、手机等多种接入方式。档案业务的数据交换、存储、查找、共享等是由云计算服务提供商的云服务来完成。同时,可因新增用户的需要,在“档案云”里进行动态调整。图2是利用云计算的区域数字档案系统设计思想。

按照区域数字档案系统数据的组成、分布、形式分类,将区域档案在云计算服务中的存储架构设计为私有云、公共云、第三方云三大要素,两个云层,见图3。核心业务系统的云存储管理机制,利用各种云的服务接口和技术,实现区域数字档案信息资源的整合利用。

私有存储云存在于档案信息服务机构内部,特别是大型档案馆和第三方服务机构,其服务只对机构内部的用户开放。同时,提供技术手段整合离散存储节点的档案数据,满足区域档案存储交换的实时响应。设计专用数据通道,便于私有存储云其它两类存储云进行数据交换。第三方存储云一般是有大型云计算服务提供商建设的商业存储云。如果档案管理机构的数据不涉及保密性要求,私有存储云的数据可转移到第三方存储云中,一方面,部分数字档案馆自身不具备信息处理部门或者信息处理能力不强;另一方面,部分私有云中的数据为半结构化、非结构化性质,有些数据对独立存储交换有特殊的要求,档案馆如果独立处理,成本高、难度大。因而,私有云数据转移到第三方存储云中,可实现更好的数据备份、灾难恢复等功能。

公共存储云是外部云层,用户通过适当的授权认证后,利用公共存储云提供的接口,与公共存储云进行直接数据交换,方便快捷地获取数字化档案数据。区域数字档案馆在公共存储云中构建数据交换接口和机制,有效处理私有存储云和第三方存储云的数据交换需求。

(二)云计算服务的部署与运维

1.云计算服务部署方案

区域数字档案馆将现有的信息技术基础架构与服务完全迁移、部署到云计算服务过程中面临着诸多挑战和困难,分步骤实现是比较好的选择。

构建云计算数据服务中心,首先借助云计算的技术,根据档案管理业务地域性的特点,进行基础设施和数据资源的分布式、层次化部署;其次针对档案业务系统的技术性和安全性要求,对存储资源池、服务器的资源池进行合理调整;最后,针对用户个性化服务、外部环境、增值等需求,构建内部的基础架构云。

在云计算架构的具体部署中,可利用云计算管理配置工具,如Hadoop/VMware等,云计算数字档案馆对外提供开放的基础设施。云计算的SOA的基础架构可以容纳多种服务,通过SOA的服务注册功能,档案业务管理正好可以注册于其中,同时,可以利用SOA基础架构提供的动态管理功能,优化服务模式;用户根据需求,从SOA的档案数据资源池中获取个性化的服务。档案云计算中心管理人员可通过服务调用接口使用服务,监视服务的运行状况。区域档案云计算部署方案如图4。

2.云计算服务运维方式

采用云计算服务的区域数字档案馆架构方式的转变,同时也促使档案管理系统的业务服务模式发生转变。随着档案馆业务管理系统中计算机和通信技术的不断应用,区域数字档案馆的各类信息资源需要得到稳定的安全保障,云计算商业化的服务模式为用户提供了部署和应用运维系统的技术和途径,彻底改变了以往信息资源的运维服务模式,降低工作量和成本。

区域数字档案馆云计算服务,使得运维方式发生巨大改变。首先,采用云计算服务的数字档案馆监控云覆盖范围的故障隐患,是以云端的各种服务工具为依托,这些工具根据信息技术的进步而更新,因而它的运维就变得相对主动。其次,当面临新机构和新用户时,只是在网络系统上增加监视软件接口的数据参数,对于整个资源系统的控制,没有太大的变化,因而变得相当简单。再次,云计算资源运维服务把数据、业务系统集中于云端,大幅降低了运维成本。

云计算提供商通过监控系统安全、完善日常维护和数据备份等提供服务运维。服务提供商根据档案馆业务需求扩展平台的服务范围;服务提供商随时紧跟技术领域的进步,拓展云计算的服务能力以适应档案馆的发展,使得区域数字档案馆的服务能力与时代的发展及用户个性化的动态需求相匹配。

四、结束语

区域数字档案馆建设采用云计算技术的相关工具和技术,还处于理论研究中,具体实践应用还有待发展。对于数字档案馆核心业务的服务与管理,只有充分把握云计算服务的理论、技术、服务等特征,选择性地引入数字档案领域,才能进一步提升区域数字档案馆的服务能力。

参考文献

[1]惠嘉琪.整合档案资源促进区域共享[J].档案与建设,2008(1).

[2]刘振鹏,张宁.云计算技术在档案馆中的应用探讨[J].兰台世界(下半月),2010(8).

[3]吕元智.国家档案信息资源“云”共享服务模式[J].研究档案学研究,2011(4).

[4]陶水龙.基于云计算的区域性数字档案馆建设研究[J].中国档案,2013(2).

[5]文杰.基于云计算的数字档案馆建设研究[J].档案与建设,2011(1).

云计算数据论文范文第13篇

《云图书馆理论与实践》是一部全面阐述在以云计算为前沿的信息技术飞速发展背景下图书馆应用与服务的转型、选择和实践探索的力作,从图书馆的本质特征入手,就云图书馆的理念、技术、架构、组织、服务等多个层面进行了深入的研究,体系完备、观点前沿、论证充分,对推动云图书馆的研究和实践有积极意义。

【关键词】

云图书馆 信息时代 书评

自信息技术出现以来,对于图书馆存在的形态与技术的探索,成为图书馆学研究的重点。信息技术每一次在应用领域的突破,既为图书馆的发展带来机遇,也为图书馆带来挑战。早在1978年,美国著名的图书馆学家兰开斯特在其《走向无纸信息社会》一书中就宣称:“随着电子资源的日益重要和纸质资源的减少以及计算机终端在办公室和家庭的日渐普及,图书馆将不可避免地走向衰落” [1]。2009年初景利所著《复合图书馆的理论与方法》一书中,对虚拟图书馆与传统图书馆并存互补的“混合体”模式[2]进行了深入的论述和思考。

进入21世纪,以云计算为代表的信息技术的兴起,对人类信息技术的应用理念、模式乃至人类的日常生活,都带来了巨大的影响和冲击。云计算也给图书馆带来了无比开阔的想象空间和无限的发展可能,在图书馆基础理论、图书馆形态、业务模式、业务流程、管理方式、人员素质等方面,孕育着革命性、颠覆性的变革。作为一名图书馆员,若干年前笔者初次接触云时真是如坠云里雾里,之后一直对云敬而远之,直到读到王红女士的《云图书馆理论与实践》(以下简称 “该书”)。由于王红女士自称是和笔者一样的“非技术型图书馆员”,我放下对云敬而远之的态度,尝试着阅读她这本26万字的专著。读罢顿有拨云见日之感。

2009年,山西财经大学王红副研究馆员中标教育部人文社会科学研究青年基金项目“图书馆云计算的实践与探索”这一课题,经过3年多的深入研究、广泛探索与积极实践,该研究的成果――《云图书馆理论与实践》一书于2012年12月出版,这部专著以一种前瞻性的视野,在信息技术与图书馆处于变革与发展机遇的时代背景下,顺应图书馆发展与变革的潮流,从云计算的技术、理念、模式、趋势等方面全方位地考察分析了云图书馆所涵盖的技术、法律、组织、管理、服务等方面问题,深入探索了云图书馆与大数据、物联网、社交网络等相交融的未来发展趋势,值得称道的是,该书不仅对国内外图书馆云计算的应用进行了分析,还在理论研究基础上,开展了一定的实践性工作,可以说是关于云图书馆研究的集大成之作。

立足信息技术的应用与部署,具有现实意义

云计算作为具有国家层面战略意义的新兴产业,将会对人类社会的生产、生活方式产生深远的影响。传统图书馆在信息浪潮之下呈现出萎缩态势,图书馆业务外包、搜索引擎大行其道、数据商兴起,图书馆作为知识神圣殿堂的地位岌岌可危,边缘化趋势明显。人们将这一切归于网络的兴起与普及,甚至认为是网络动摇了图书馆的地位。传统意义上,图书馆的功能主要体现为知识保存与知识传播。在这两个领域,图书馆人有完整的理论和丰富的实践经验。只是在网络到来之后,由于技术瓶颈,这两种理论在实践上出现了问题,而网络公司则在掌握技术优势的前提下,运用图书馆知识保存与组织传播理论作为其基本工作原理大行其道。云计算在图书馆中的应用,使得图书馆可以避开其技术劣势,专注于资源组织与服务能力的提升。正如该书中所言,图书馆可作为云提供商提供平台服务,也可以作为一种服务中介,整合多家平台和资源,关键是在这个过程中,图书馆不必考虑数据和运算,它们全被搬到了云中,图书馆员从简单琐碎的日常劳动与力不从心的网络技术中解放出来,可以成为真正意义上的知识导航员。图书馆员的价值得到体现,地位得到提升,用户在任何时间、任何地点都可以以某种便捷的方式获得云中相关的信息和服务,云图书馆成了一个基于云计算的大型信息超市和图书馆联盟[3]。云计算将为图书馆行业带来重大的变革,图书馆将要出现由分散走向融合、由“阵地服务”到“跨界服务”、从知识收藏到开放存取、信息技术由辅助作用转变为核心支撑功能的四大变化。该书立足信息技术的应用与部署,具有较强的现实意义。

研究体系宏大,组织完备严谨

《云图书馆理论与实践》一书,不但对以云计算为代表的信息技术进行了全面的考察,还对图书馆的管理对象、服务理念以及图书馆未来的应用与服务模式等方面进行了全面的研究。第一章和第二章,重点分析了从计算到人工智能、从云计算到云图书馆的发展线路;第三章从推动社会的发展与进步角度,分析了开源软件协议与图书馆开放资源的关系,探讨了云图书馆共享人类文明成果的权利和义务;第四章从理论层面对云图书馆平台的架构进行了设计;第五章从物联网的角度进一步探索了图书馆的发展趋势以及基于智能云图书馆的架构与实现等方面的问题;第六章研究了云图书馆的安全、标准与法律三方面问题;第七章从云图书馆的成员构成、组织形态、机制、管理对象等方面指出云计算环境下图书馆的深刻变革,探索了云时代图书馆转型的理念、方式与可行性;第八章则在智能终端应用的基础上,探索了泛在图书馆建设技术、个性化知识服务云构成及服务模式;第九章从社会化网络层面探索了云图书馆的个性化知识交流平台架构与实现;第十章探索了大数据时代云图书馆知识数据和用户交互数据的采集、存储、管理与挖掘技术;第十一章和第十二章,介绍了OCLC和山西财经大学财经科技文献资源云平台两种云图书馆实践的案例。通读该书,笔者对云对图书馆的影响、云在图书馆中的应用有了明确认识。

注重基础分析,研究思路开阔

3.1全面剖析了图书馆与信息技术的关系

信息技术为图书馆完全实现信息化提供了现实可能性。《云图书馆理论与实践》一书指出无论实体图书馆还是数字化的图书馆,信息技术都将全面介入,图书需要信息技术进行处理,知识需要智能化管理,服务需要个性化泛在化,在图书馆的支撑体系中,云图书馆与物联网技术结合,使传统图书馆通过感知技术实现智能化调节与控制,通过智能芯片实现自动借还、位置跟踪以及馆际互借;云图书馆距我们还有多远?其实,云已经进入图书馆。目前云在图书馆中的应用集中在图书馆联盟资源整合层次。大型的如全国高校馆的CALIS、CASHL等,小型的如一个地区的图书馆联合目录平台。这些云的具体应用将各成员馆的资源进行整合并提供检索平台,再提供给各成员馆使用。各成员馆既是云图书馆的建设者,也是其使用者。云计算进入图书馆不仅体现在对其资源的整合上,还体现在对其服务的整合上,即主要体现在各个图书馆利用云对用户提供包括但不仅限于资源检索在内的各类服务。这些服务至少应包括用户咨询、科学交流、个人等内容。云计算下图书馆服务整合不仅表现为硬件上的平台建设(搜索查询平台、参考咨询平台、数据资源平台及协同办公科研平台建设),更表现为服务范围的扩大和服务能力的提高。

3.2设计了云图书馆的基础应用平台

云图书馆归根结底是架构在云平台上的一种图书馆应用。《云图书馆理论与实践》一书对云图书馆进行了设计和架构,从支撑技术层面(包括云硬件架构、云软件架构、云数据库架构)和平台的扩展层面,增加了智能感知网络和移动定位网络的应用;其设计的三层开发模式L-IaaS、L-PaaS、L-SaaS,全面阐述了云图书馆平台架构层次类型,为云图书馆建设提出了全面的技术解决思路;同时,针对云图书馆的两类用户:图书馆用户和公众用户的需求,对云图书馆的前后台功能做了详细的设计。云计算环境下,泛在图书馆成为图书馆的存在形式。用户可以随时随地利用图书馆,也就可能随时随地需要图书馆员的服务,图书馆员的服务范围延伸到图书馆的围墙之外。资源整合使得资源数量激增,平台设计人性化使得检准率下降,用户完全靠自身能力从海量资源中以最快的速度找到最适合资源的能力降低,而对图书馆员服务的即时性与专业性要求提高。云的到来,只是让有形图书馆无形化,但图书馆员的价值将会凸显。本质意义上图书馆不仅不会消亡,而且其价值将更加突显。

3.3探讨了云图书馆安全、法律和组织管理

《云图书馆理论与实践》一书针对云图书馆的安全,重点探讨了第三方平台、用户身份认证和访问控制、云计算运营和监管等安全问题。不但涵盖了传统信息技术运营与应用方面的安全问题,而且从云设备、云平台、云应用、云管理等方面,对云图书馆安全问题进行了深入的探讨。云图书馆的法律问题,涵盖了云图书馆的各个部分。在云图书馆的技术平台开发和部署阶段,操作系统、开发技术与工具、Web服务器、数据库、各种中间件技术等都涉及一系列授权协议与版权使用许可问题;在把传统文献数字化后托管给云服务商以后,也会产生相应的著作权问题。另外,云计算图书馆的组织构成和管理的复杂性远远超出以往。该书分析了云图书馆、云计算技术服务商、数据库商等多种利益主体之间和利益和冲突,研究了云图书馆之间、云图书馆与云技术运营商、云图书馆与数据库商之间的关系。同时,对云图书馆的组织机制、组织形态、组织特征进行了多方位的全面的探索和考察,赋予云图书馆全新的理念和内涵,具有一定的创新性。

3.4云图书馆知识服务

图书馆价值最终体现在为读者和用户提供便捷有效的知识服务。《云图书馆理论与实践》一书指出云图书馆的服务特点主要体现在知识服务的泛在性和即时交互性方面。以云计算为基础的泛在图书馆针对用户需求,利用强大综合的云应用,在数据服务、信息内容服务、应用服务、咨询服务等方面,构筑起图书馆整个行业的无所不在的服务云,确保图书馆信息化服务能够传递到每个读者身边;通过数据挖掘、语义分析、跨媒体等技术使知识与知识、知识与个性化用户之间实现互联,可以更加主动化、专业化、智能化地为读者提供泛在的、无所不含的知识服务。值得一提的是,该书对基于云图书馆的SoLoMo(移动、本地、社交)的知识服务与获取模式进行了分析,认为云图书馆通过提供SoLoMo服务,一方面真正使图书馆由知识存储中心转变为知识传递媒介和知识交流节点,另一方面,SoLoMo的服务理念使图书馆从以馆藏文献为中心,过渡到以知识传递为中心,最终真正做到以人为中心。在SoLoMo服务理念的指导下,云图书馆将经历一个从知识殿堂走向大众化,并再次回归到知识源泉的螺旋上升、自我回归的过程,图书馆要勇于面对新技术新思想带来的挑战和机遇,承载起新的历史使命,在更广泛的范围内,最大限度地挖掘分布在SoLoMo交流网络中的知识与信息节点,变被动为主动,力争在云图书馆SoLoMo服务时代获得新的生机[3]。

丰富科技含量,提升科研价值

该书作者敏锐地注意到,云图书馆除了具有极大的应用价值以外,还具有较大的科学研究价值。云图书馆作为一个汇集人类所有编码记录的大数据集,既承担着数据有序化的历史使命,又承担着满足众多具有个性化差异的个体和组织机构不同需求的现实职责。图书馆不但要收集、存储、管理和应用人类以文字符号为载体的海量数据,还要承担对这些海量数据的有序化、结构化、精细化的工作,更要对不同用户的个性化需求进行准确判断和把握,对人类群体和个体的信息行为进行规律化、趋势化研究,进而利用信息技术实现计算机自动化、智能化、实时化处理,最终实现图书馆服务的个性化、高效化。

在图书馆数据海量增长的同时,移动阅读、物联网、社交网络的迅速突起,再次使图书馆数据量爆炸性增长。这个阶段海量的实体图书和实体用户也成为信息源,并以数据形式进入图书馆;数以亿计的实体图书,其收藏、借阅与位置信息及其与用户的交互记录,都成为图书馆一大数据源;读者的知识获取与分享行为、读者的空间位置信息和社会活动记录都成为了解用户知识需求的重要数据;图书馆对信息技术的深入应用,尤其是语义网技术的成熟,语料库、语义库、实体逻辑库的应用,最终将使图书馆成为最大的数据集合。云图书馆的数据挖掘是利用人工智能(AI)和统计分析工具进行数据关联分析、聚类分析、知识发现、文献自动分类、读者行为预测、时序模式和偏差分析等。

勇于实践探索,加强实证分析

云计算落地图书馆,仅仅止步于对技术的预测和架构是远远不够的,还需要把理论探索与实践紧密结合起来。难能可贵的是作者不但对OCLC的联合合作编目、馆际互借资源共享、、WorldCat Local、Questionpoint、CONTENTdm、流通管理、采购管理、版权管理等9个项目的云计算技术与应用进行了全面的梳理和总结,还充分利用山西财经大学图书馆于2006年获批山西省财经科技文献资源保障与服务中心平台为基础的前期研究成果,开展了大量的云计算实践与应用探索。利用开源技术,引进“云计算”技术的理念和模式,在对财经科技资源的分布配置上进行了优化和调整,初步实现了跨部门、跨地区、跨领域的科技文献网络系统的对接和共享。通过大量的开拓性实践探索,对云图书馆的技术选定、应用架构、技术标准以及组织管理等方面积累了宝贵的数据和大量的经验教训,为云图书馆的研发、部署等进一步研究与实践,打下了坚实的基础。

结语

《云图书馆理论与实践》一书从总体上看,紧跟技术变革的步伐,具有较强的创新性,在图书馆被动地跟随信息技术变革的时期,勇于直面挑战,从理论上进行深入探索,提出建设性构想,剖析典型案例,并从实践上大胆求证,对我国图书馆应用信息技术的理论与应用,有着积极的推进作用。当然正如该书作者在结语中所说,作为一个非技术型的图书馆员,研究云计算这样一个应用性很强的课题,难免会有很多欠缺之处。例如在个别章节的研究还不够深入,诸如云图书馆的安全、标准等方面,还有较大的拓展空间;另外,云图书馆所涉及的法律问题,也有待全面展开和深入。所幸的是,云已经来到,云层正在加厚。云计算时代的图书馆人要充分这大好时机,深入思考并实践图书馆学传统理论在新时代的应用,让云成为促使图书馆摆脱被边缘化之危机的契机和翅膀,使得图书馆整个行业真正成为一片云海!

[参考文献]

[1] Lancaster F W. Toward paperless information systems[M]. San.Diego:Academic Press,1978.

云计算数据论文范文第14篇

关键词:云计算;混沌理论;Hadoop平台;DES算法;RSA算法

中图分类号: TP391.9 文献标识码:A

Abstract: This paper introduces the characteristics of cloud computing and the Hadoop distributed computing framework, and studies the hybrid encryption algorithm which introduces chaos theory into the cloud computing. Firstly, the traditional encryption algorithm DES and RSA are analyzed, and the defects of the two in the cloud computing are described. A chaotic hybrid encryption algorithm (CDR) is proposed by introducing the chaos theory. The algorithm generates random chaotic sequences by Tent mapping, and converts it to the initial key, and then mixed with DES and RSA algorithm to encrypt and decrypt the data, which effectively improves the efficiency and security of the algorithm. Finally, experiments are conducted on the Hadoop platform, in which a cluster simulation cloud environment is built, through horizontal comparison of the experimental results with DES and RSA algorithm, the CDR algorithm is proved to be more suitable for data encryption in the cloud computing environment.

Key words:Cloud Computing;Chaos Theory;Hadoop;DES;RSA

1 引言

云算作为一种应用于互联网的新兴的计算模式,将基础资源设施、应用系统、软件平台等作为服务提供给用户[1]。云计算也是一种以虚拟化为基础的架构方式,能够将资源虚拟化并构建规模较大的资源池,对外以服务方式进行管理。

随着云计算的发展,海量的用户数据和大型数据被放入云计算系统中,由于云计算分布式及虚拟化的特点,用户不能直观的确定数据的存储位置和划分情况等,所以数据的安全问题就变得非常重要。对传输数据进行加密处理是目前最直观最可行的保障数据安全的方法。目前有很多成熟的加密算法基本能够保证加密密文不被轻易破解,例如本文讨论的RSA算法。但是,由于云计算提供的服务主要面向互联网用户,在目前带宽成本和配套设施的限制下,要保证云计算的服务速度,对加密算法的效率就提出了较高的要求,RSA算法密钥生成较为复杂,对云计算中的大型数据加密时间较长,不适合应用在云计算中。

DES算法提出较早,是一种典型的对称加密算法,DES最大的优势在于软硬件上实现起来较为简单,执行速度较快,从效率角度出发适合应用在云计算中。但是较RSA算法而言,仅64位的密钥长度,在目前计算机硬件发展水平下,存在被暴力破解的可

能,从安全性上不适合应用在云计算中。

本文从改进RSA和DES算法在云计算中的缺点出发,提出一种适合云计算的混沌混合加密算法(CDR)。该算法引入混沌理论,通过混沌映射变量的随机性和遍历性对初始密码优化,同时对RSA和DES两种算法进行混合。提出算法对明文通过效率较高的DES算法进行加密以保证云计算下的效率,对通过混沌映射得到的密钥进行RSA算法加密传输,以保证云计算中的安全性。

最后通过搭建Hadoop云平台,创建集群模拟云计算环境。通过MapReduce执行CDR算法进行数据加密解密实验,通过对明文数据不同大小的划分,测试了提出算法在云环境下的表现,并且横向对比了RSA和DES在相同实验环境下的数据,从执行效率及安全性角度证明CDR算法更适合于云计算的要求。

2 Hadoop框架分析

Hadoop是Apache基金会所开发的一种分布式计算框架,非常适用于云计算环境,可以对海量的数据提供存储和计算[2]。Hadoop框架最核心的设计就是分布式文件系统(HDFS)和并行计算框架(MapReduce)。HFDS负责对数据进行分配和提供存储,MapReduce负责对数据提供计算。

2.1 HDFS系统

HDFS本质是一种分布式文件系统,它可以将一个大的数据进行划分,形成若干小的数据集,并对其进行备份,分布存储于云环境中的不同节点上。但对于单个用户来说,HDFS就好像一个传统的分级文件系统,在使用时可以像操作单个文件一样对大数据进行操作[3]。

HDFS框架是基于一组特定节点构建的,这些节点包括唯一的一个NameNode,用来提供元数据服务,指导计算节点和数据节点处理所分配的任务;多个DataNode,主要为HDFS提供存储块,并进行分布式文件的读写操作。Hadoop平台中数据冗余为三,每一块数据对应存储在三个DataNode之中。

在云计算环境中,HDFS通过以下措施保证海量数据的可靠存储。DataNode定期给NameNode发送“心跳”报文,并发送数据块列表信息,判断该节点是否正常;提供安全模式,在该模式下只提供只读视图,不允许进行增删改操作;记录详细的日志文件;对用户所取数据进行完整性检测[4][5]。

2.2 MapReduce框架

MapReduce 是一种并行处理大数据集的软件框架。MapReduce是基于函数性编程中的 map() 和 reduce() 函数,对应计算过程中的映射和规约。Map过程中接受一组数据并将其转换为键/值对列表,然后对其进行传输和重新排序。Reduce过程对Map过程产生的中间结果进行处理整合和排序,进而形成最终结果。

3 DES及RSA算法分析

云计算中数据量非常大,并且往往分散在不同的计算节点上,安全性的保障显得至关重要,通过加密算法对数据进行加密和解密是保证数据安全的最有效方法之一。对称加密算法DES和公钥加密算法RAS都是成熟并且被广泛应用的加密算法,这里对这两种算法进行分析,并指出其二者在云计算中应用的优缺点。

3.1 DES算法

DES算法执行过程中,对明文以64比特进行分组,最后一组不满64比特的按照特定方法进行补齐,密钥长度为8个字节,但有8个比特位为校验位。在加密阶段,首先通过初始置换将明文分为32位的两部分,用左半部分和右半部分代表。然后进行16轮运算,对数据和密钥进行结合。在每一轮运算中对密钥进行移位,在选取密钥56位中的48位,将右半部分的原始32位通过扩展置换为48位,然后进行异或操作和48位密钥结合,再通过S盒将此48位转换为32位,然后再与左半部分原始32位进行异或操作。最后通过逆初始置换,得到最终的密文。算法流程图如图1所示:

作为对标准DES算法的改进,Tuchman提出使用两个密钥的三重DES加密方法,该方法使用两个密钥,执行三次DES算法。加密的过程是加密―解密―加密,解密的过程是解密―加密―解密。两个密钥组合有效长度有112比特,有效的提升了DES算法安全性。以 表示明文,以 代表密钥,以 代表密文,设EK()和DK()代表加密和解密的方法,则3DES算法的过加密解密过程如下所示:

加密:

解密:

3.2 RSA算法

RSA算法通^大数难以分解的数学问题保证其安全性,密钥长度也远高于DES算法,达到1024位。RSA是一种能够抵御目前绝大多数密码攻击的公钥加密算法,其密钥产生及加密解密流程如下:

(1) 产生两个大素数 和 , ;

(2) 计算 ,根据欧拉公式 ;

(3) 随机选择满足 的 作为公钥;

(4) 计算 ,以 作为私钥;

(5) 对明文按式 进行加密;

(6) 对密文按式 进行解密;

3.3 云计算中DES和RSA算法的不足

随着云计算能力不断提高以及计算机硬件的快速发展,对于DES加密算法而言,加密速度快是它的优势,比较适合处理云计算中的海量数据。但是DES最大短板就是密钥太短。密钥长度64位去除8位校验位,实际有效位数仅56位,若采用穷举法进行破解的话,只需要计算 种可能,特别是采用云平台的计算能力,在短时间完成破解密钥已成为可能[6]。3DES算法虽然通过多次解密解密进行了改进,但是由于其基本算法仍然沿用DES算法,所以在安全性上也不能完成保证被破解的可能。

对于RSA算法而言,其密钥长度最高达到1024位,并且公钥算法安全性本身要强于对称加密算法。采用穷举法进行强行破解的可能性很小,可以说是目前较为安全的加密算法。但是RSA算法缺点是加密过程每次要产生大素数,密钥产生异常复杂耗时,导致算法执行时间远高于DES算法,不适合在云计算中对大型数据进行加密。

4 混沌混合加密算法(CDR)研究

混沌是一种典型的非线性现象,能够按照自己规律,在一定范围内无重复遍历全部状态[6]。典型混沌特征包括:随机性、规律性、遍历性和对初值敏感性等。混沌通常指由确定性方程得到的随机运动状态,常见的混沌系统有Logistic映射、Tent映射、Chen系统、Lorenz系统等[7][8]。本文综合DES和RSA算法的优缺点,引入混沌理论,通过Tent映射生成密钥,提出一种混沌混合加密算法(CDR),该算法综合了DES和RSA算法的优点,并且进一步提高了算法执行效率和安全性。

4.1 Tent映射

Tent映射也称帐篷映射,它和Logistic映射目前被广泛使用,较Logistic映射而言Tent映射产生的混沌序列对初值较不敏感,分布较均匀[9],本文采用Tent映射作为混沌信号发生器。其表达式为:

(1)

4.2 算法原理

CDR混合算法原理为:首先通过Tent映射产生随机混沌信号,然后通过数学转换生成DES算法密钥,此举利用混沌系统的随机特性可以提高密钥的安全性和加密速度;然后通过此密钥利用3DES算法对明文进行加密;再通过RSA算法对混沌系统产生的密钥进行加密,将加密密钥和密文发送接收方;接收方通过RSA解密得到3DES密钥,由于3DES为对称加密算法,接收方通过此密钥可对密文进行解密。算法流程示意图如图2所示:

4.3 混沌密钥生成策略

通过Tent映射生成混沌密钥过程如下:

(1) 随机产生0到1之间的随机数 ,根据DES算法密钥长度确定迭代次数n=64;

(2) 将 和n代入式1,通过Tent映射产生长度为64的混沌序列 ;

(3) 对序列 按 进行重写,得到整数序列I;

(4) 对I表示为对应64位二进制形式K,即为DES算法密钥;

4.4 CDR算法分析

混沌混合加密算法(CDR)综合了DES算法和RSA算法的优点并加入混沌理论进一步改进,针对云计算特点算法优势从以下几个方面分析:

(1)引入混沌系统的优势。利用混沌运动的非线性、随机性和有界性对初始密钥进行生成。使密钥也具有了混沌的随机特征,同时使该算法在获得等价安全强度下节省了密钥长度,提高了密钥传输的安全性,增强了密钥敏感性。

(2)算法效率优势。DES算法实现过程较为简单,能够快速通过软件或硬件实现,比较适合处理云计算中的大型数据。而RSA由于每次加密过程要至少产生512比特的大素数,密钥生成策略既复杂又耗时,很难做到一次一密。所以RSA算法在云计算环境中对大型数据加密速度是远高于DES算法的。CDR算法主体加密过程遵循DES算法,仅对混沌产生的密钥通过RSA进行加密传输。所以CDR算法的加密解密效率靠近与DES算法,要优于RSA算法。

(3)安全性优势。DES算法实现上虽然较为简单高效,但是由于密钥位数较短,存在被暴力破解的可能。所以在密钥的传输和管理上会消耗较多的系统开销。一般的做法为在通信前对密钥进行秘密分配,不定期进行密钥的更换,对不同数据也需要更换密钥。但是在CDR算法中,通过RSA算法对64位的密钥进行加密传输,根据前文分析,RSA算法目前可被认为是绝对安全的一种加密算法,所以很难破解RSA算法进而获得初始DES算法密钥,也省去对普通DES算法密钥的管理过程。

5 Hadoop平台实验

5.1 实验平台配置和搭建

本次实验在Java环境中配置SSH框架,实现Hadoop平台搭建集群模拟云环境,集群由6台计算机组成,其中一台配置为“CPU I7-4790,8G内存,主频3.2GHZ,1T硬盘”作为NameNode,扮演Master和JobTracker的角色。为了更好模拟云环境,其余五台计算机选取实验室中配置各不相同的五台机器,作为Slave和DataNode,即云计算中的计算节点。

因为云计算中最大的优势就是处理大型数据的存储和计算,所以本次实验选取了大小为1116.92MB的文本文件作为实验数据,在Hadoop平台下进行加密解密实验。测试CDR算法的性能,并横向对比DES和RSA算法。

实验执行加密过程步骤为:

(1) 首先将需加密明文文件放至HDFS分布式存储系统。

(2) 对整体明文文件根据不同的数据块大小进行切分,以作业形式分发至集群中的计算节点。

(3) 重写map()函数,调用算法实现代码,实现对明文的加密过程。

(4) 通过reduce()过程对所有作业结果进行整合得到最终密文。

实验解密流程和加密流程类似,此处不再重复阐述。

5.2 实验结果

MapReduce对数据进行计算默认以64MB为单位划分数据块,为了更直观的表现算法性能,试验中分别设置了64MB、32MB、16MB、8MB、4MB和2MB的文件分块大小。分别测试CDR、DES和RSA算法。进行10组加密实验和10组解密试验,取算法的平均执行时间,实验结果如图3和图4所示。

由图3和图4可分析得出,在Hadoop平台中,原始数据的分块大小对三种算法的执行效率都存在类似的影,从64MB分块值变化至32MB或16MB分块值时三种算法执行效率最高,若继续减小分块值特别是当分块值为2MB时,三种算法执行时间都急剧上升,这是因为当数据块单位过小,分块数量就会激增,在MapReduce计算中,Reduce过程对Map过程产生的结果进行整合排序的时间就越长。所以在云计算中,对大型数据的划分应取适当的单位,否则会影响计算时间。

为进一步横向比较三种算法执行效率之间的量级关系,取执行效率最高的32MB数据块划分,算法执行一次对比三种算法加密时间和解密时间。如图5所示:

由以上实验分析得,通过RSA算法进行数据加密解密时间远高于其他两种算法,实验加密文本数据大小为1G左右,实际云计算中数据量要远大于此,RSA算法执行效率较低不适合应用在云计算中。CDR和DES算法比较,CDR算法执行时间略高于DES算法,但是实验环境为6台计算机搭建集群,实际云环境中计算能力会大幅度提高,而且随着加密数据量的增大,根据本文上节的分析,其二者的执行效率差距会进一步缩小。从安全性角度上考虑,CDR算法结合了RSA算法和混沌随机性的优点,安全性要远高于DES算法。综上所述,CDR算法是一种兼顾效率和安全性的算法,更加适合于云计算。

6 结论

云计算作为一种有广泛前途的商业计算模式,建立在将大量资源虚拟化的基础上,可以对大型海量数据进行计算和管理,根据用户对作业量的需求提供服务。本文讨论了云计算环境下的加密算法问题,分析了DES和RSA算法在云计算环境下的不足,结合混沌理论提出了一种混沌混合加密算法,通过搭建Hadoop实验平台,结合实验结果分析证明该算法从效率和安全性上都进行了改进,更加适合于云计算环境。

参考文献:

[1] 孟湘来.基于云计算的数据中心构建探析[J].中国企业教育,2012(22):240-241.

[2] 刘正伟,文中领,张海涛.云计算和云数据管理技术[J].计算机研究与发展,2012,49(z1):56-27.

[3] 崔杰,兰红星,李陶深.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展,2012,49:12-18.

[4] 王鹏,董静宜.一种云计算架构的实现方法研究[J].计算机工程与科学,2009(S1):11-13

[5] 王意洁,孙伟东,周松,裴晓强,李小勇.云计算环境下的分布存储关键技术[J].软件学报, 2012,23(4),962-986..

[6] 张京华,陈谊.一种混沌加密算法的设计与实现[J].北京工商大学学报,2004,4(22):33-35.

[7] 陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009(9):2563-2564.

[8] 侯佩,寇雅楠,黄利斌.混合加密体制在数字签名中的应用[J].计算机工程与计,2011,32(6):1942-1945.

[9] 陈树平,侯贤良.计算机网络中DES 数据加密与解密技术[J].现代电子技术,2005,200(9):114-115.

[10] Li Jingwei,Jia Chunfu,Li Jin,Chen Xiaofeng,Outsourcing encryption of attribute-based encryption with MapReduce[C].Information and Communications Security-14th International Conference, ICICS.2012:191-201.

[11] G.Sudha Sadasivam,G.Baktavachalam.A novel approach to mutiple sequence alignment using hadoop data grids[C].Proceedings of the 2010 Workshop on Massive Data Analytics on the Cloud,2010:472-483.

[12] Bilu Y,Hanrot G,Voutier P M.Existence of primitive divisors of Lucas and Lehmer numbers[J].Journal fur die Reine und Angewandte Mathematik,2001,539:75-122.

[13] Choi J, Reaz A, Mukheijee B. A survey of user behavior in VoD service andbandwidth-saving multicast streaming schemes. Communications Surveys &Tutorials, IEEE, 2012,14(1): 156-169.

[14] Agrawal M,Kayal N,Saxena N.PRIMES is in P[J].Annals of mathematics, 2004:781-793.

基金目

国家自然科学基金项目:基于GIS的高校学生结核病防治管理体系及信息系统构建与应用研究,编号:71373203,项目负责人张少茹

作者简介:

第一作者:战非(1981.11),男,汉族,陕西西安,计算机软件工程专业硕士,西安航空学院计算机学院教师、讲师。研究方向:软件工程、通信工程、软件开发、移动互联网应用。

第二作者:张少茹,女,汉族,陕西韩城,博士,西安交通大学教授,博士生导师。研究方向:慢性病、传染性疾病防治管理。

联系方式:

云计算数据论文范文第15篇

【关键词】云计算,数据安全,公钥基础设施,身份认证,访问控制,安全传输

0引言

在云计算时代,越来越多基于互联网的服务,能够随时随地接入,无需复杂的操作,只需要使用浏览器即可轻松访问到这些服务。另外,用户还可以将文档等数据放在云中来共享和协作。另外,云计算通过虚拟化等技术能够充分利用资源,提高资源利用率[1],对个人用户来讲,只需要一个廉价的智能终端即可,对企业用户来说,可以利用云技术来降低企业IT建设初期的投资和后期的维护成本。虽然云计算有诸多好处,但是云计算所带来的安全问题也使得一些企业在迈向云的过程中望而却步,尤其是数据安全问题。

对于云数据安全的研究虽然各自的角度不同,但都是为保护信息安全的机密性、完整性以及可用性,达到身份认证、数据安全传输,数据加密存储以及数据完整性验证等一些安全目标。本文从各方面来分析云计算数据的安全需求,针对这些需求提出一些可能的解决方案。接着文章分析了在云计算中使用PKI公钥基础设施来保障数据安全的可能性,并对其做了安全分析。

1云计算数据安全问题

云计算的一大优点就是用户可以随时随地接入网络来享受信息服务。无论是在哪里的用户,都可以通过云服务提供的接口,上传自己的数据到云端。对于用户来讲,数据分为隐私数据和共享数据,隐私数据对于用户来说是比较私人的,即使使用云服务存储在云数据中心,但是也不希望被其他人访问到的那部分数据。共享数据是用户放到云端,并希望通过互联网和云来与其他用户分享的数据。从数据生命周期来讲,无论传统IT架构还是云计算中,数据有产生、传递、使用、共享、存储、归档以及销毁7个阶段的生命周期。

2PKI在云中的应用

2.1 PKI简介

PKI公钥基础设施,顾名思义,是基于公钥密码理论及相关的技术而建立的。在网络通信中使用PKI,可以达到数据加密传输地目的,使用数字签名保障数据完整性和不可否认性,通过证书进行身份认证获取到双方通信实体的真实性等诸多安全目标。

2.2 应用PKI保障云数据安全

使用PKI公钥基础设施保障云数据安全的简化示意图如图1所示,用户使用云端提供的存储服务将数据上传到云端数据中心,使用CA作为用户与云端的一个认证媒介。

用户在使用云计算服务之前,需要到CA去认证。一般用户信息注册到RA,RA审核通过后,将证书申请请求发送到CA,CA使用自己的私钥对用户信息及其公钥进行签名,将签名值、用户信息以及一些策略等的扩展项组合在一起,形成一张X.509的用户证书。下发给用户,用户即获取到证书。随后CA会将有效证书的列表到一个接口中。用户证书可以在这个列表中找到。

在CA申请完证书后,用户就可以用自己的证书接入云存储服务了。云端接收到用户的访问请求后,会去CA所的证书列表来检查用户证书。用户端也会验证云端的证书,在双向认证成功后,用户就可以获取云存储服务。

3安全性分析

与PKI在传统IT架构中的应用一致,在云中使用PKI,能够达到身份认证和身份管理、访问控制以及数据安全传输的目的。具体来说:

(1)身份认证和身份管理。身份认证过程是这样的:用户在使用云服务提供商所提供的存储服务之前,首先需要到CA进行认证。一旦证书被CA并被用户使用,CA和用户间的双向认证就建立了。当用户使用云服务时,云端接口接收到用户访问请求,会向用户要求发送用户证书,接收到用户证书后,云端需要拆封证书,验证证书是否是权威机构CA颁发的可信任的证书;验证证书链,知道追踪到可信赖的CA根为止;检查用户证书有无过期;检查证书是否在CA所的证书吊销列表中;验证证书使用方式是否与证书实体中规定的相一致;如果通过这一系列验证,则云端接口认为该用户合法,可以使用云端提供的服务。如果不合法,则拒绝用户接入。

(2)访问控制机制。规定用户对资源的访问权限即可达到访问控制的目的。用户与云端双向认证通过后,云端需要展示用户可以访问的资源范围。通过策略文件的制定,可以为用户分配对资源的访问权限。用户在使用证书访问云服务之前,云端依据策略文件来评估用户对资源的访问或者操作权限。PKI中可以通过证书策略来实现对用户的访问控制。证书策略是可以标记在数字证书中的,用于体现数字证书所能满足的安全要求的一组安全规则要求。此文件对CA在证书颁发和证书管理过程中所采取的一些访问控制措施以及物理、技术、网络等方面的一些措施及要求等。应用开发者或者用户可根据证书策略来确定证书等级及证书的应用范围,方便证书的正确使用。

(3)数据安全传输。云计算环境中,通信形式包含用户上传数据或者下载数据两种,无论哪种形式,都需要保障在一个安全的通道上进行信息的传输,保护信息的CIA属性,即保密性、完整性和可用性,从而保障用户与云端之间的数据传输是安全的。

4结语

在云中使用PKI,能够获得身份认证,访问控制以及数据安全传输及等机制,能够部分解决目前云安全的一些问题。CA 提供了密钥管理机制,对密钥的生命周期各过程均做了详细规定,解决了云中密钥管理的问题,但在云中使用PKI还有一些限制。云中海量用户增大证书管理的难度,加解密的频繁操作也降低了系统运行效率,还有高昂的构建和运行成本,政策和规范的影响。

对所有安全问题来说,不仅仅要从技术方面提升,更多的也要从管理上规范。对于云数据安全问题,需制定严格的内部审计制度和数据加密措施,或许像阿里提出的操作日志透明化等措施也需要建立,让客户直接能看到云提供商有没有查看过数据。技术和管理双管齐下,才是安全问题的最终解决之道。

参考文献:

[1]吴朱华. 云计算核心技术剖析[M]. 北京: 人民邮电出版社, 2011: 1-36.