引論:我們為您整理了13篇云計算的基本架構范文,供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源,期望它們能夠激發您的創作靈感,讓您的文章更具深度。
篇1
作者簡介:連鴻鵬(1987-),福建師范大學協和學院初級網絡工程師,研究方向為云計算。
0引言
虛擬化技術是伴隨著計算機的產生而發展的,虛擬化意味著對計算機資源的抽象。虛擬化技術實現了物理資源的邏輯抽象和統一表示,通過它可以提高資源利用率,并能夠根據用戶業務需求的變化,快速、靈活地進行資源部署,因此,虛擬化技術已經成為構建云計算環境的一項關鍵技術。
VMware 云基礎架構能夠讓現有的用戶從虛擬化中獲益,加速了現有數據中心云計算的轉移,與公共云基礎兼容,鋪平了向混合云模式前進的道路,成為云計算的新里程碑。
本文主要討論作為X86體系結構虛擬化技術的代表,VMware公司基于已有的虛擬化技術和優勢,提供了云基礎架構及管理、云應用平臺和終端用戶計算等多個層次上的解決方案,主要支持企業級組織機構利用服務器虛擬化技術,實現從目前的數據中心向云計算環境轉變方面的架構分析。
1VMware vSphere 簡介
VMware vSphere是在原來的VI3基礎上推出的系統,被成為業界首款云計算操作系統。vSphere將應用程序和操作系統從底層硬件分離出來,從而簡化了 IT 操作。現有的應用程序可以看到專有資源,而服務器則可以作為資源池進行管理。vSphere以原生架構的ESX/ESXi Server為基礎,讓多臺ESX Server能并發負擔更多個虛擬機。主要包括3部分:一是虛擬化管理器VMM部分的VMware ESX 4,VMware ESX Server主要是用于調配物理服務器中內存、CPU、存儲及網絡各種硬件資源,運行在物理服務器上的一個虛擬層并根據預定好的策略將這些資源分配到運行在其中的各虛擬機中,這些虛擬機以安全獨立的模式并行運行;二是用于整合和管理VMM的VMware vCenter,提高在虛擬基礎架構每個級別上的集中控制和可見性,通過主動管理發揮 vSphere 潛能,是一個具有廣泛合作伙伴體系支持的可伸縮、可擴展平臺;三是用于管理客戶端的軟件VMware Infrastructure Client。
VMware vSphere 主要通過虛擬化技術將數據中心轉變為云計算基礎架構,通過虛擬化提供自助部署和調配的功能,將IT基礎架構作為服務來交付使用。vSphere是一個整體架構而非單個產品,基本架構如圖1。
圖1VMware vSphere 的基本架構
2.1vSphere的云端部分
vSphere所謂的云端是指平臺及架構部分(PaaS和IaaS),可以分為內部和外部云端。內部云端由各種硬件資源組成,并有vSphere負責統合云端資源,在IaaS及PaaS中,資源為硬件及OS資源。外部云端vSphere可以將這些第三方提供的資源集成到企業的IT架構中。
2.2vSphere的底層:架構服務(Infrastructure Service)
有了硬件資源之后,就需要一個Hypervisor將資源集成,然后ESX和ESXi服務器將負責硬件資源虛擬化。Infrastructure Service主要可以分為運算部分的vCompute、存儲部分的vStorage以及網絡部分的vNetwork。
(1)vCompute部分。vCompute包括了ESX/ESXi以及DRS。ESX/ESXi主要實現服務器整合、提供高性能并擔保服務品質、流水式測試和部署及可伸縮的軟硬件架構。DRS確保按需調整資源配置,根據需要和優先級壓縮和增加應用系統的資源,動態的響應負載平衡。
(2)vStorage部分。vStorage包括VM所在硬盤的文件系統VMFS以及動態分配大小的Thin Provisioning,提供多種存儲虛擬連接選擇,通過vStorage VMotion減少或消除計劃內停機,通過精簡部署降低虛擬環境的存儲要求,通過vStorage API簡化管理并提高存儲操作的效率。VMFS是專門為虛擬機設計的高性能集群文件系統,該系統可以在VMware虛擬機的VMware虛擬數據中心環境中訪問共享存儲。
(3)vNetwork部分。VMware的網絡虛擬化技術主要通過VMware vSphere 中的vNetwork網絡元素實現。通過這些元素,部署在數據中心物理主機上的虛擬機可以像物理環境一樣進行網絡互連。vNetwork的組件主要包括虛擬網絡接口卡Vnic、vNetwork標準交換機vSwitch和vNetwork分布式交換機dvSwitch。vSphere提供了一個Distributed Network的架構,不但有完整的Bridged/NAT/Host only架構,更和Cisco合作推出一個專門安裝在vSphere上的分布式網絡。
篇2
目 錄
第1章 緒論
1.1 云計算的概念
1.2 云計算發展現狀
1.3 云計算實現機制
1.4 網格計算與云計算
1.5 云計算的發展環境
1.5.1 云計算與3G
1.5.2 云計算與物聯網
1.5.3 云計算與移動互聯網
1.5.4 云計算與三網融合
1.6 云計算壓倒性的成本優勢
習題
參考文獻
第2章 Google云計算原理與應用
2.1 Google文件系統GFS
2.1.1 系統架構
2.1.2 容錯機制
2.1.3 系統管理技術
2.2 分布式數據處理MapReduce
2.2.1 產生背景
2.2.2 編程模型
2.2.3 實現機制
2.2.4 案例分析
2.3 分布式鎖服務Chubby
2.3.1 Paxos算法
2.3.2 Chubby系統設計
2.3.3 Chubby中的Paxos
2.3.4 Chubby文件系統
2.3.5 通信協議
2.3.6 正確性與性能
2.4 分布式結構化數據表Bigtable
2.4.1 設計動機與目標
2.4.2 數據模型
2.4.3 系統架構
2.4.4 主服務器
2.4.5 子表服務器
2.4.6 性能優化
2.5 分布式存儲系統Megastore
2.5.1 設計目標及方案選擇
2.5.2 Megastore數據模型
2.5.3 Megastore中的事務及并發控制
2.5.4 Megastore基本架構
2.5.5 核心技術——復制
2.5.6 產品性能及控制措施
2.6 大規模分布式系統的監控基礎架構Dapper
2.6.1 基本設計目標
2.6.2 Dapper監控系統簡介
2.6.3 關鍵性技術
2.6.4 常用Dapper工具
2.6.5 Dapper使用經驗
2.7 Google應用程序引擎
2.7.1 Google App Engine簡介
2.7.2 應用程序環境
2.7.3 Google App Engine服務
2.7.4 Google App Engine編程實踐
習題
參考文獻
第3章 Amazon云計算AWS
3.1 Amazon平臺基礎存儲架構:Dynamo
3.1.1 Dynamo在Amazon服務平臺的地位
3.1.2 Dynamo架構的主要技術
3.2 彈性計算云EC2
3.2.1 EC2的主要特性
3.2.2 EC2基本架構及主要概念
3.2.3 EC2的關鍵技術
3.3.4 EC2安全及容錯機制
3.3 簡單存儲服務S3
3.3.1 基本概念和操作
3.3.2 數據一致性模型
3.3.3 S3安全措施
3.4 簡單隊列服務SQS
3.4.1 SQS基本模型
3.4.2 兩個重要概念
3.4.3 消息
3.4.4 身份認證
3.5 簡單數據庫服務Simple DB
3.5.1 重要概念
3.5.2 存在的問題及解決辦法
3.5.3 Simple DB和其他AWS的結合使用
3.6 關系數據庫服務RDS
3.6.1 SQL和NoSQL數據庫的對比
3.6.2 RDS數據庫原理
3.6.3 RDS的使用
3.7 內容推送服務CloudFront
3.7.1 內容推送網絡CDN
3.7.2 云內容推送CloudFront
3.8 其他Amazon云計算服務
3.8.1 快速應用部署Elastic Beanstalk和服務模板CloudFormation
3.8.2 云中的DNS服務 Router
3.8.3 虛擬私有云VPC
3.8.4 簡單通知服務SNS和簡單郵件服務SES
3.8.5 彈性MapReduce服務
3.8.6 電子商務服務DevPay、FPS和Simple Pay
3.8.7 Amazon執行網絡服務
3.8.8 土耳其機器人
3.8.9 Alexa Web服務
3.9 AWS應用實例
3.9.1 在線照片存儲共享網站SmugMug
3.9.2 在線視頻制作網站Animoto
3.10 小結
習題
參考文獻
第4章 微軟云計算Windows Azure
4.1 微軟云計算平臺
4.2 微軟云操作系統Windows Azure
4.2.1 Windows Azure概述
4.2.2 Windows Azure計算服務
4.2.3 Windows Azure存儲服務
4.2.4 Windows Azure Connect
4.2.5 Windows Azure CDN
4.2.6 Fabric控制器
4.2.7 Windows Azure應用場景
4.3 微軟云關系數據庫SQL Azure
4.3.1 SQL Azure概述
4.3.2 SQL Azure關鍵技術
4.3.3 SQL Azure應用場景
4.3.4 SQL Azure和SQL Server對比
4.4 Windows Azure AppFabric
4.4.1 AppFabric概述
4.4.2 AppFabric關鍵技術
4.5 Windows Azure Marketplace
4.6 微軟云計算編程實踐
4.6.1 利用Visual Studio2010開發簡單的云應用程序
4.6.2 向Windows Azure平臺應用程序
習題
參考文獻
第5章 VMware云計算
5.1 VMware云產品簡介
5.1.1 VMware云戰略三層架構
5.1.2 VMware vSphere架構
5.1.3 云操作系統vSphere
5.1.4 底層架構服務vCloud Service Director
5.1.5 虛擬桌面產品VMware View
5.2 云管理平臺 vCenter
5.2.1 虛擬機遷移工具
5.2.2 虛擬機數據備份恢復工具
5.2.3 虛擬機安全工具
5.2.4 可靠性組件FT和HA
5.3 云架構服務提供平臺vCloud Service Director
5.3.1 創建虛擬數據中心和組織
5.3.2 網絡的設計
5.3.3 目錄管理
5.3.4 計費功能
5.4 VMware的網絡和存儲虛擬化
5.4.1 網絡虛擬化
5.4.2 存儲虛擬化
習題
參考文獻
第6章 Hadoop:Google云計算的開源實現
6.1 Hadoop簡介
6.2 Hadoop分布式文件系統HDFS
6.2.1 設計前提與目標
6.2.2 體系結構
6.2.3 保障可靠性的措施
6.2.4 提升性能的措施
6.2.5 訪問接口
6.3 分布式數據處理MapReduce
6.3.1 邏輯模型
6.3.2 實現機制
6.4 分布式結構化數據表HBase
6.4.1 邏輯模型
6.4.2 物理模型
6.4.3 子表服務器
6.4.4 主服務器
6.4.5 元數據表
6.5 Hadoop安裝
6.5.1 在Linux系統中安裝Hadoop
6.5.2 在Windows系統中安裝Hadoop
6.6 HDFS使用
6.6.1 HDFS 常用命令
6.6.2 HDFS 基準測試
6.7 HBase安裝使用
6.7.1 HBase的安裝配置
6.7.2 HBase的執行
6.7.3 Hbase編程實例
6.8 MapReduce編程
6.8.1 矩陣相乘算法設計
6.8.2 編程實現
習題
參考文獻
第7章 Eucalyptus:Amazon云計算的開源實現
7.1 Eucalyptus簡介
7.2 Eucalyptus技術實現
7.2.1 體系結構
7.2.2 主要構件
7.2.3 訪問接口
7.2.4 服務等級協議
7.2.5 虛擬組網
7.3 Eucalyptus安裝與使用
7.3.1 在Linux系統中安裝Eucalyptus
7.3.2 Eucalyptus配置和管理
7.3.3 Eucalyptus常用命令的示例和說明
習題
參考文獻
第8章 其他開源云計算系統
8.1 簡介
8.1.1 Cassandra
8.1.2 Hive
8.1.3 VoltDB
8.1.4 Enomaly ECP
8.1.5 Nimbus
8.1.6 Sector and Sphere
8.1.7 abiquo
8.1.8 MongoDB
8.2 Cassandra
8.2.1 體系結構
8.2.2 數據模型
8.2.3 存儲機制
8.2.4 讀/寫刪過程
8.3 Hive
8.3.1 整體構架
8.3.2 數據模型
8.3.3 HQL語言
8.3.4 環境搭建
8.4 VoltDB
8.4.1 整體架構
8.4.2 自動數據分片技術
習題
參考文獻
第9章 云計算仿真器CloudSim
9.1 CloudSim簡介
9.2 CloudSim體系結構
9.2.1 CloudSim核心模擬引擎
9.2.2 CloudSim層
9.2.3 用戶代碼層
9.3 CloudSim技術實現
9.4 CloudSim的使用方法
9.4.1 環境配置
9.4.2 運行樣例程序
9.5 CloudSim的擴展
9.5.1 調度策略的擴展
9.5.2 仿真核心代碼
9.5.3 平臺重編譯
習題
參考文獻
第10章 云計算研究熱點
10.1 云計算體系結構研究
10.1.1 Youseff劃分方法
10.1.2 Lenk劃分方法
10.2 云計算關鍵技術研究
10.2.1 虛擬化技術
10.2.2 數據存儲技術
10.2.3 資源管理技術
10.2.4 能耗管理技術
10.2.5 云監測技術
10.3 編程模型研究
10.3.1 All-Pairs編程模型
10.3.2 GridBatch編程模型
10.3.3 其他編程模型
10.4 支撐平臺研究
10.4.1 Cumulus:數據中心科學云
10.4.2 CARMEN:e-Science云計算
10.4.3 RESERVOIR:云服務融合平臺
10.4.4 TPlatform:Hadoop的變種
10.4.5 P2P環境的MapReduce
10.4.6 Yahoo云計算平臺
10.4.7 微軟的Dryad框架
10.4.8 Neptune框架
10.5 應用研究
10.5.1 語義分析應用
10.5.2 生物學應用
10.5.3 數據庫應用
10.5.4 地理信息應用
10.5.5 商業應用
10.5.6 醫學應用
10.5.7 社會智能應用
10.6 云安全研究
10.6.1 Anti-Spam Grid:反垃圾郵件網格
10.6.2 CloudAV:終端惡意軟件檢測
10.6.3 AMSDS:惡意軟件簽名自動檢測
10.6.4 CloudSEC:協作安全服務體系結構
習題
參考文獻
第11章 總結與展望
11.1 主流商業云計算解決方案比較
11.1.1 應用場景
11.1.2 使用流程
11.1.3 體系結構
11.1.4 實現技術
11.1.5 核心業務
11.2 主流開源云計算系統比較
11.2.1 開發目的
11.2.2 體系結構
11.2.3 實現技術
11.2.4 核心服務
11.3 國內代表性云計算平臺比較
11.3.1 中國移動“大云”
11.3.2 阿里巴巴“阿里云”
11.3.3 “大云”與“阿里云”的比較
11.4 云計算的歷史坐標與發展方向
11.4.1 互聯網發展的階段劃分
篇3
眾所周知,當IBM公司首席執行官彭明盛在2008年首次提出“智慧地球”一詞之后,便引發了對“智慧旅游”的研究熱潮。從研究情況來看,國際上鮮有把智慧旅游作為旅游業發展的核心戰略,而是從可持續發展的角度,把游客廣泛參與、游客與旅游目的地的深層次關系,以及旅游業在社會經濟全面發展中的作用等作為關注的重點,來探索旅游智慧化進程帶給旅游業的整體利益??偟膩碚f,主要關注智慧旅游在實踐中的應用。例如,2000年12 月 5 日,加拿大旅游業協會的菲利普斯(Phillips)把智慧旅游定義為 “簡單地采取全面的、長期的、可持續的方式來進行規劃、開發、營銷旅游產品和經營旅游業務。”在他看來,發展智慧旅游需要智慧的管理策略和營銷技術,根據游客需要,及時傳遞信息。與國外相比,國內學者主要關注理論方面的研究,比較有代表性的觀點是,一是以馬勇、姚志國等為代表從“技術應用論”的角度,對智慧旅游進行定義,他們認為,智慧旅游以人本、綠色、科技創新為特征,利用云計算、物聯網、高速通訊技術等信息高科技提升旅游服務質量與服務方式,改變人們的旅游消費習慣與旅游體驗,從而成為旅游發展與科技進步結合的世界時尚潮流。二是以張凌云、史云姬等為代表,從“管理變革論”的角度解讀智慧旅游,認為智慧旅游的目的是提升服務水平,改善旅游體驗,創新旅游管理模式,提高旅游資源利用效率,進而促進整個旅游行業的發展。把智慧旅游定義為是基于新一代的信息通信技術(ICT),為滿足游客個性化需求,提供高品質、高滿意度服務,而實現旅游資源及社會資源的共享與有效利用的系統化、集約化的管理變革??v觀上述內容,國內學者在概念方面存在共識,他們都贊同智慧旅游的發展依賴云計算、物聯網、互聯網等信息高科技技術,通過對新技術的應用來改善旅游發展模式、管理方式、旅游服務質量。
(二)國內智慧旅游的發展方式
國內旅游業發展相比西方國家時間較短、經驗不足、資本基礎較薄弱,因此,國內在智慧旅游建設方面政府起主導作用,主要借助于政府的力量,形成國家和地方規劃,整合旅游相關資源,建設公共服務平臺,指導、協調市場主體參與的智慧旅游體系建設,激勵旅游企業的技術創新,從而實現智慧旅游的跨越式發展,完成西方發達國家在過去數十年方才完成的旅游業變革。在國內,智慧旅游已被納入“十二五”旅游發展規劃體系之中,2009年國務院頒布了《關于加快發展旅游業的意見》( 國發[2009]41 號) ,在這一精神指引下,旅游業開始尋求以信息技術為紐帶的旅游產業體系與服務管理模式重構方式,以實現旅游業建設成為現代服務業的質的跨越,受智慧城市的理念及其在我國建設與發展的啟發,智慧旅游營運而生。另外國家旅游局還部署了“智慧旅游城市”的試點工作,確定洛陽等13個城市為首批“國家智慧旅游試點城市”,在這一機遇下,洛陽可以根據自身情況制定智慧旅游發展計劃。
二、城市智慧旅游基本架構分析
從城市的角度來看,城市智慧旅游可視作智慧城市信息化的一個重要子系統,簡單的來說,智慧城市是一棵樹,而城市智慧旅游是這棵樹的一個樹杈,為實現智慧旅游的某些功能可借助或共享智慧城市已有的成果。因此,城市智慧旅游的架構體系依托智慧城市的發展?!爸腔鄢鞘小笔菍⑽锫摼W感知技術和“云計算”技術等融入“數字城市”中,從而實現對“數字城市”的質的提升與飛躍,達到經濟上健康合理可持續、生活上和諧安全更舒適、管理上科技智能信息化,真正實現人與城市的完美融合。而城市智慧旅游就是借助智慧城市的技術基礎設施整合旅游資源和旅游產業鏈,為旅游市場主體的旅游活動提供豐富的信息資源,其基本架構主要包括技術層、應用層、產業層和關聯層。智慧旅游的技術層就是指智慧城市依托的新技術在智慧旅游中的應用,包括信息技術、物聯網技術、互聯網技術等,它為城市智慧旅游的根基,也是智慧旅游的來源。應用層是指技術層與旅游要素相融合,即把新興技術運用到旅游要素中,為智慧旅游的科學有效發展提供依據,從而實現旅游資源分析智慧化、旅游服務智慧化、旅游環境智慧化、旅游營銷智慧化、旅游接待體系智慧化等等。產業層是指通過滲透在旅游業各個市場中的智慧因素而實現旅游產業轉型升級和產業的豐富,不僅包括智慧要素在原始旅游產業和部門中的實踐,而且還包括智慧城市背景下帶來的新的文化產業和創意產業的興起。關聯層就是指上述所提到的,城市智慧旅游是智慧城市的一個重要子系統,其存在是與智慧城市的其他部件相互關聯在一起的。一方面,智慧旅游的構建體系與其他智慧產業體系都依賴于智慧城市的感知層和技術層,實現基礎設施和資源的共享;另一方面,旅游業是一個關聯度很高的產業,相應地,智慧旅游體系構建同時也需要借助與旅游相關的其他產業智慧化體系的構建。
從上述城市智慧旅游的基本架構體系來看,其設計重點應落實在三個方面:一是充分利用城市旅游產業發展過程中積累的各種旅游信息資源,采用數據挖掘技術對旅游產品進行聚類分析和關聯規則的挖掘;二是要慎重選擇城市智慧旅游各個項目的商業模式,形成良好的產業效應;三是要緊跟新科技發展步伐,注重云計算、云存儲及物聯網等新技術的應用,通過云平臺的方式整合城市各種文化旅游資源,形成一個城市的旅游云,整體提升智慧旅游的建設水平。
三、探研洛陽市智慧旅游體系建設
(一)體系構建的可能性條件
洛陽市智慧旅游體系構建條件主要體現在以下方面:一是洛陽是國家首批智慧旅游試點城市之一,在智慧旅游的建設過程中,中央政府和當地政府起主導作用;二是洛陽市有良好的旅游資源,游客量大,為滿足深入體驗的需求,游客對旅游服務信息的要求全面而便捷,洛陽市智慧旅游體系的構建有強烈的市場需求;三是自洛陽被確定為“國家首批智慧旅游試點”之一以來,洛陽市政府著手進行智慧旅游城市建設,確立了以云計算架構建設綜合數據中心的思路,建設支撐旅游產業及公共服務數據庫,目前全市智慧旅游綜合數據庫已相當完善,并且全市3A級以上景區推進數字化景區建設,為游客提供無線上網、自助導游等智慧化服務,可以看出近年來洛陽市智慧旅游的發展已具規模;四是洛陽目前已制定了《洛陽市智慧旅游城市工作方案》《智慧旅游城市建設方案》,確定了“1個中心(旅游綜合基礎數據庫暨云計算中心)、1個基礎(智慧旅游基礎設施建設)、4個平臺(智慧旅游公共服務平臺、智慧旅游綜合監管平臺、智慧旅游電子商務平臺和智慧旅游市場營銷平臺)和8個智慧旅游業態(智慧旅游景區、智慧旅游飯店、智慧旅游餐飲、智慧旅游購物、智慧旅游鄉村、智慧旅行社、智慧旅游交通、智慧旅游娛樂)”的智慧旅游城市建設總體框架,本文希望結合政府的建設框架,提出自己的構建體系,以期為洛陽市智慧旅游體系的構建貢獻一份力。
(二)洛陽市智慧旅游建設目標
智慧旅游是基于新一代信息技術,包括云計算、物聯網、移動互聯網等,為滿足市場活動主體個性化需求,提供便捷而全面的高品質服務,除此之外,新一代信息技術在旅游企業、政府管理等方面的運用,從而實現旅游資源及社會資源的共享與有效利用的系統化、集約化的管理變革。因此,洛陽的智慧旅游也應基于新一代信息技術,以政府為主導,通過智慧旅游體系的構建,來改善游客的旅游體驗,改進旅游企業的管理模式。由以上定義可以看出,洛陽市智慧旅游建設服務的對象主要為大數據時代下的游客、與旅游相關的行業、當地旅游資源。對于游客來說,智慧旅游建設目標主要是讓不同類型的游客擁有更加智能便捷而又愉悅的旅游經歷;對于相關行業,主要是為旅游行業以及相關行業管理提供更高效、智能化的信息服務平臺;對于旅游資源,主要是促進洛陽市自然、文化旅游資源的深度開發,創新旅游產品,使洛陽旅游資源擁有更強的生命力,構建洛陽旅游文化云。
(三)洛陽市智慧旅游總體構想的設計理念
洛陽市智慧旅游總體構想的設計理念主要是為實現旅游的智慧化而提出的。洛陽市智慧旅游應在技術、應用層的支撐下,構建資源統一管理、信息共享、應用廣泛而便捷的城市智慧旅游總體架構,重點建設數據庫,數據庫是智慧旅游的生命線,沒有數據的智慧旅游只能是空中樓閣。洛陽智慧旅游應確立以云計算架構建設綜合數據中心的思路,建設支撐旅游產業及公共服務數據庫,建立包括旅游公共服務數據、產業數據和綜合管理數據交換系統。以數據庫為基礎的同時,還應以中央管理平臺為中心,利用先進的技術設備,統轄與旅游相關的各個方面。
(四)洛陽市智慧旅游的總體架構體系
洛陽市智慧旅游的總體架構是:在完善智慧城市基礎公共保障的前提下,主要分為旅游相關主體應用體系和技術支撐體系兩大層次,并統一在中央管理平臺之下。
如圖1所示:
1、旅游相關主體系統
在洛陽智慧旅游總體規劃體系中,旅游相關主體系統包含游客、景區、旅游社、飯店、其他服務者以及政府部門六大主體對象以及一套安全保障體系,實際上他們不僅是旅游的重要組成部分,而且在智慧旅游中各自扮演著不同的角色,智慧旅游主要是深化旅游體驗和提供智能服務,因此,“游客”與“政府部門”在該系統中處于主要地位,而景區、旅行社、飯店以及其他從業者在該系統中作為游客體驗與政府管理的實際載體而存在,共同組成智慧旅游的服務業者??梢钥闯觯糜螛I各個主體之間聯系貫通,使智慧旅游主體更顯完善而全面。智慧城市基礎公共保障則包含智慧環保、公共安全、智慧交通、智慧醫療、突發事件智慧防控六個方面,該體系雖不完全直接隸屬于智慧旅游的主體系統,但對智慧旅游主體的運作處于舉足輕重的地位。
(1)游客
主要是指使用洛陽智慧旅游網絡平臺的游客,他們通過旅游年票、移動應用終端APP、信息服務觸摸屏、智慧旅游咨詢預訂查詢終端等進入并訪問洛陽智慧旅游系統,以獲取所需要的旅游相關資訊和智能服務。
(2)景區
洛陽自然景區和人文景區資源豐富,游客量大,在智慧旅游發展的基礎上,洛陽景區著手進行智慧化建設,該系統主要包括手機二維碼電子門票、無線旅游平臺、景區客流動態監測系統、景區信息系統、旅游資源管理系統、景區定位導航系統等。
(3)旅行社
通過建立一個統一的管理系統,整合各種相對分散的旅行社業務信息、資源,為旅行社提供統一的界面、工作環境以及一種快速安全的數據交換標準,并做到及時匯總與更新,使旅行社業成為一個有機的、緊密聯系的、高效的、共享的整體。旅行社信息系統主要是為旅行社以及服務對象構建一個完整有效的信息系統。
(4)飯店
飯店信息系統包括顧客數據管理系統、客房服務系統、飯店內部運營系統等子系統,目的是便于飯店的正常運營和管理,以及維護旅游者的權益。
(5)其他
這類旅游從業者,主要包括旅游在線服務商、各種服務業者,他們通過智慧旅游系統獲取精確的旅游資訊,服務于旅客。具有代表性的系統是旅游目的地營銷系統。
(6)政府部門
主要是指旅游行業管理部門,該信息系統主要包括旅游門戶網站集群、智慧旅游指揮系統、12301旅游服務熱線、智慧行政辦公系統、旅游行業監督管理系統。特別是洛陽市政府部門近期開通的智慧系統統轄全局,即可對景區客流動態進行實時監控,也可通過旅游車輛GPS系統實現對旅游團隊的監控,使洛陽旅游業在一個整體的框架內有條不紊的進行。
(7)公共保障
智慧城市基礎公共保障則包含智慧環保、公共安全、智慧交通、智慧醫療、突發事件智慧防控六個方面,該系統的建設是充分運用信息和通信技術整合城市資源,為民生、環保、公共安全、城市服務、工商業、旅游業等各種需求做出智能的響應,為市民和游客創造更美好的城市生活。
2、技術支撐體系
技術支撐體系主要包括旅游信息資源數據庫和基礎服務系統,統一為旅游相關主體應用體系提供全面而強大的支持服務。
(1)技術層
該體系中的技術層就是指智慧城市依托的新技術在智慧旅游中的應用,包括信息技術、物聯網技術、互聯網技術等,它為城市智慧旅游的根基,也是智慧旅游的來源。
(2)旅游資源數據庫
CIS數據庫、游客資源數據庫、旅游資源數據庫、與旅游相關的交通等行業數據庫等都是典型的旅游資源數據庫,洛陽智慧旅游建設總體構架設想是從大旅游的格局以及旅游信息化整體和全局出發,目的是實現各種旅游資源的整合,在全市范圍內制訂標準與規范的數據,建立有效的旅游資源共享機制,數據庫資源實現分級管理。
(3)智慧旅游公共服務系統
該系統包括呼叫中心、數據挖掘與決策支撐、地理信息服務、智能服務、融合通信服務等方面。從包含的內容來看,該部分就是一個信息接口平臺,被旅游相關主體對象所使用,能夠統一管理和智能調度各種旅游資源,并提供旅游資源調控、運行態勢監督、資源使用、統計旅游情況預測等功能。
3、中央管理平臺
智慧旅游中央管理平臺在功能上是作為洛陽智慧旅游的大腦和樞紐,在整個智慧旅游總體架構中起到匹配、整合、協調、聯動各個旅游相關主體應用系統和管理系統的作用,在實現智慧旅游各子系統相關高層業務數據統一抽取、融合共享的基礎上,與多種配套保障體系相互配合,對景區、飯店、旅行社等旅游主體應用系統進行統一協同管理,實現多系統間的信息共享、協同聯動,并為旅游行政管理單位人員提供統一的入口,以進行旅游行業監控與管理。
四、結語
篇4
21世紀以來互聯網技術的發展十分迅速,隨著時間的增長,一些陳舊的網絡設施不斷的被淘汰,開始進行更新換代,換代的同時計算機技術的應用也不斷的被廣大的人們所熟知,互聯網技術中有一個重要的環節對網絡的發展起到承上啟下的作用,那就是數據的存儲,如今隨著計算機技術的不斷發展這種設備的成本也隨之降低,這也促使互聯網的用戶不斷的提高。人們慢慢的都進入了互聯網的時代,使得當今社會也變的越來越信息化,同時也有很多的數據要進行處理,使得傳統的一些數據的計算方法不再適合當今互聯網的發展速度,因此傳統的一些數據中心也滿足不了當今的需求。本文主要結合當今云計算的發展狀況,研究了云計算的基本理論和概念以后,深入分析了云計算的基本架構。
1 云計算數據中心的概述
1.1 云計算的概念。云計算的定義比較多,與之關聯的理論也比較多,但是總體來講主要有以下3個方面:第一分布式計算;第二信息海量計算;第三,并行數據計算。這些概念基本上都是美國標準語技術研究中心提出的,是國際上通用的概念。云計算并不是無償的服務,它是需要收取一定費用的,收取費用的計算主要是客戶使用網絡流量的費用。目前移動網絡也不斷的發展已經從2G發展到了4G網絡,互聯網時代開始更新換代。這也使得云計算技術運用越來越廣泛,用戶可以隨時隨地的通過訪問面來獲取自己想要的數據服務,或者計算的結果,并且獲取的過程是簡單而輕松的。與此同時工業的生產也不斷的運用云計算技術開展生產活動,隨著時間的推移,云計算在工業生產中的運用不斷的擴大和普及,也越來越成熟,涉及的工業領域也越來越多。
1.2 云計算的原理。云計算的原理和云計算涉及理論領域有著密切的關系。從這些領域我們可以看出云計算技術的主要目的是將需要處理的數據在網絡上的其他計算機上進行處理和計算。而對于企業的一些數據中心來講,云計算的運行原理和和網絡上的一些原理是相似的。唯一不同的就是企業的數據是根據需求來定的,隨著網絡的普及以及網絡速度的加快,移動客戶端數據也不斷的發展,云計算的服務也越來越廣泛,比如利用手機進行購物等都是云計算衍生的產品。這些技術與以往傳統的網絡相比變的越來越開放,不像以往使用單機進行數據處理,如今隨時隨地都可以操作,這樣也使得互聯網在一定的程度上越來越普及。
2 ITIL架構
目前應用最為廣泛的架構就是ITIL架構,這種架構主要分為6個不同的模塊這些模塊在一定的程度上有很大的聯系,它們并不是孤立的,在實際的工作中要相互作用的,這樣才能完成各自的任務,下面分開介紹這6個不同的模塊:
2.1 服務支持。該部分主要是對執行某項任務時,都由哪些人員參與,他們分別扮演何種角色,以及整個任務執行的具體細節進行描述,將聯系用戶以及細節的“服務臺”功能進行明確的定義。服務支持在整個云過程中所關注的重點是,IT組織是如何按照SLA標準向具體客戶提供IT服務的。
2.2 服務交付。該部分主要是用來對客戶開展某項業務所需要的服務,主要的服務內容就是對客戶的要求進行任務分工以及IT組織在提供這項服務時所需要具備的資源進行描述。在服務的過程中一些不同的人員要執行不同的工作內容,服務交付在整個云過程中所關注的重點是,IT組織如何與客戶簽訂具體的SLA等級協定,并在具體工作開展的過程中對SLA目標實施監控。
2.3 安全管理。安全就是保證用戶信息的安全,此模塊記錄很多用戶的數據,這些數據的主要內容是記錄一些具體的規劃和管理信息及IT服務所達到的安全流程水平,用以評估和控制所存在的風險,同時根據評估結果給予相應的解決。進行安全管理的目標就是要保證整個服務過程的保密性、完整性以及可用性。
2.4 IT基礎設施管理。IT基礎設施的管理十分重要,其關系到業務成本的問題,只有合理的對基礎設施進行管理才能保證最大的業務需求,創造更大的利潤,這個模塊最主要的任務就是保證IT架構的運行效率,以最小的運行成本保證最大的運行效率是其最主要的任務,可以有效的保證IT基礎設施的穩定建設。
2.5 應用管理。應用管理就是對客戶端上的應用進行管理,這個模塊的主要任務就是對各個應用的生命周期進行管理,并且對客戶進行管理的指導,以使他們能夠在最短的時間內從服務管理的角度對整個應用系統有著較為全面的了解。
2.6 服務管理規劃與實施。該部分主要是對服務的組織、實施以及改善服務管理流程,對整個過程中所出現的問題以及具體任務進行再規劃、設計,幫助客戶確立遠景目標,同時對服務改進方案進行全面的、持續的指導。
2.7 業務視角。所謂業務視角,是用來強調服務的開展應該從業務的角度觸犯,而不是只關注服務的交付者,讓IT服務人員明白其主要工作是為了實現具體的商業目標,是為了給用戶創造最大的價值,做出最大的貢獻。
3 ITIL的云計算數據中心管理理念
對于目前面向服務的數據中心架構來講,如果要是這些架構能夠穩定的、可靠的運行就必須有一些合理的管理模式,通過強大的管理模式把服務層的每個架構進行聯系起來,才能夠使得系統的運算結構有效的運行,也能使得網絡的基本結構得到很好的改善,目前面向服務的數據中心架構能夠最大的優化系統資源的配置。上一章詳細的講了ITIL的數據架構,這些架構在理論上是比較成熟的,也能夠經得住長期的實踐考驗,在具體的實際應用中還要根據客戶的需求進行設計,設計的標準很多,其中最主要的有;結果要能實施、對總體的需求能夠準確的表達,既然主要是面向客戶的架構,那么所有的設計都要根據客戶的需求來定,這樣才能滿足客戶需要的功能。
4 云計算資源的管理
4.1 云計算管理模型。主要分為兩個部分,一個是被動式部件一個是主動式的部件,這兩種系統的結構都具有層級的結構,其中主動式的部件就是系統的各種資源,就是對系統的數據進行反復的利用,作用的內容就是系統結構的內容,通俗的說就是執行傳統以及非傳統計算過程。而作業是整個層次結構的實體,調度的主要內容就是吧任務映像到資源,而不是將作業映像到資源。
4.2 云計算的資源調度。云計算中關鍵的系統就是云計算的資源調度系統,它直接影響著資源管理的有效性和可操作性,然而云計算的動態性能以及云計算的結構性能又直接影響著云計算資源的調度,直接影響云計算的系統復雜性。云計算資源的調度系統設計可分為3類,主要有集中式、分布式以及層次式等,在這3中調度的類型中,集中調度最為常見,它主要是通過一個中央的調度中心進行數據的交換,這種調度方式主要是通過一個程序進行的,其中所有能夠使用的信息都能夠在數據的中心體現。分布調度的原理主要是進行交互式的作業,主要把數據傳送到遠程的存儲器中,用戶可以通過網絡訪問這個服務器從而獲得相關的數據,這種操作并沒有中心的系統進行操作。
5 結束語
云計算技術越來越流行,都歸功于計算機技術的發展,人們對網絡的需求與日俱增,如今這種需求涉及到很多的方面和領域,不僅在企業中有所體現,在日常生活中都與人們息息相關,本文全面的接受了云計算的一些基本架構,分析了云計算的一些概念和原理,初步了解云計算技術有一定的作用,作者水平有限,沒能在云計算的硬件和軟件上深入分析,希望這以后的生活中繼續研究。
參考文獻:
[1]羅軍舟,金嘉暉,宋愛波.云計算:體系架構與關鍵技術[J].通信學報,2011(07):3-21.
[2]張亞娟.云計算數據中心資源管理軟件設計[J].無線互聯科技,2014(04):90+94.
篇5
一、引言
信息化是促成未來中小學教育及學習革命的主要動力,《國家中長期教育改革和發展規劃綱要(2010-2020年)》明確提出,要“加快教育信息化進程”[1]。中小學數字化校園建設正是響應這一發展的需求而提出的概念。不同于高等學校的數字化校園建設,中小學校因其數量多、地域分散、資源分散、資金投入有限等原因,在每個學校均配置較多數量的服務器及其它軟硬件設備,建成類似于高校的信息化基礎設施,且配備大量專職信息管理人員并不現實,而且會出現資源利用效率低、使用維護費用高等問題。
云計算是近年來信息技術發展的新成果,代表未來信息技術的發展趨勢。云計算所具有的特點恰好能夠彌補以往數字化校園建設方案的不足,能解決目前中小學數字化校園建設中遇到的經費投入有限、基礎設施利用低效等問題。鑒于云計算可以為中小學數字化校園建設提供良好的技術途徑和技術方案這一事實,一些地方的中小學已啟動了云計算輔助教學的實踐,如鞍山一中、廣州天河區中小學、浙江海鹽地區中小學等。[2,3,4]《上海市中長期教育改革和發展規劃綱要》(2010-2020年)提出,上海的教育發展要利用“電子書包”和“云計算輔助教學”建立數字化學習環境,使每個學生能夠使用信息技術工具,實現隨時隨地的學習。[5]
在近期出現的中小學數字化校園建設方案中,云計算的概念被屢屢提及,也引發了不同的評論。[6]現階段中小學數字化校園建設對云計算的需求具體體現在哪些地方、如何利用云計算技術建設中小學數字化校園,都是中小學教育信息化工作者和信息技術專家必須直面的問題。本文通過分析中小學數字化校園的建設目標、基本架構及其功能,同時剖析云計算技術的本質和功用,尋求二者的契合點,理清中小學數字化校園建設對云計算技術的具體需求,并提出基于云計算技術的中小學數字化校園解決方案。
二、中小學數字化校園的本質及其架構
中小學數字化校園是以校園網絡為基礎,利用先進的信息化手段和計算機技術、網絡技術、通訊技術,實現從環境(包括設備、教室等)、資源(如圖書、講義、課件等)到活動(包括教學、管理、服務、辦公等)全部數字化。通過對數字信息資源的整合和集成,構成統一的用戶管理、統一的資源管理和統一的權限控制,最終實現教育過程的全面信息化。
中小學數字化校園的基本架構如圖1所示,從下而上依次為網絡基礎設施層、應用支撐層和應用層。網絡基礎設施層綜合運用計算機、網絡設備、通信終端、視音頻多媒體設備、RFID等,構架數字化校園的硬件平臺。網絡基礎設施層主要包括有線網絡、無線網絡、物聯網和五室(多媒體實驗室、遠程會議室、網絡教室、創新實驗室、電子閱覽室)。應用支撐層主要包含校園信息數據庫、數字資源庫等基礎數據庫和網絡安全、外部網接入等系統支撐軟件,為各種應用提供數據和技術支撐。應用層是基于校園網的,面向教師和學生的教學、管理及服務的軟件平臺,包含數字化校園的絕大多數應用系統。
對于數字化校園而言,以上三個層次的基本配置是必需的。對于具體的數字化校園建設項目,各層的軟硬件配置可根據實際情況做適當的取舍。無論采用什么樣的技術、配置多少信息技術產品,各種數字化校園建設方案的不同僅僅在于上述各層中的產品配置不同。具體到某個中學或小學,數字化校園的建設不必面面俱到,而應根據實際所需,以效用最大化為目的,根據需求進行數字化校園的應用層設計與規劃,再由應用層需求提煉出應用支撐層和基礎設施層的功能及相應的產品配置。在此過程中,還需兼顧已有的設備和設施,通過適應性改造,實現最大化的包容和繼承,避免一切從頭開始的方案。
三、云計算的體系結構及其技術特點
云計算是一種基于互聯網的計算方式,是網格計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算機和網絡技術發展融合的產物,也是引領未來信息產業創新的關鍵戰略性技術和手段。[9]狹義地講,云計算指IT基礎設施的交付和使用模式,通過網絡以按需、易擴展的方式獲得所需資源。廣義地講,云計算指服務的交付和使用模式,通過網絡以按需、易擴展的方式獲得所需服務。
云計算的體系結構可分為四層:物理資源層、資源池層、管理中間件層和SOA(Service-Oriented Architecture,面向服務的體系結構)構建層,[10]如圖2所示。物理資源層包括計算機、存儲器、網絡設施、數據庫和軟件等。資源池層是將大量相同類型的資源構成同構或接近同構的資源池,如計算資源池、數據資源池等。管理中間件層負責對云計算的資源進行管理,并對眾多應用任務進行調度,使資源能夠高效、安全地為應用提供服務。SOA構建層將云計算能力封裝成標準的Web Services服務,并納入到SOA體系進行管理和使用,包括服務接口、服務注冊、服務查找、服務訪問和服務工作流等。
云計算采用虛擬化技術調配資源,將處于不同層面的硬件、軟件、數據、網絡及存儲隔離開來,從而打破數據中心、服務器、存儲、網絡、數據和應用中的物理設備之間的劃分,實現架構動態化,達到集中管理和動態使用物理資源及虛擬資源的效果。云計算提供三類服務,即SaaS(軟件即服務)、PaaS(平臺即服務)和IaaS(基礎設施即服務)。[11] IaaS中包含操作系統和硬件基礎設施,如Amazon提供的面向IaaS層的EC2/S3。PaaS中主要包含各類數據庫和中間件,如Google提供的面向PaaS層的App Engine,以及微軟公司提供的Windows Azure。SaaS中主要包含多種應用程序,如Salesforce提供的online CRM等。隨著云計算的發展,傳統的以PC和服務器為中心的IT應用模式將發生巨大變化,IT的應用、部署模式和商業模式也將發生重大的變化,用戶只需要擁有可上網的終端設備,就能享受到自己想要的各種IT服務。
從云計算的體系結構和技術特點可知,云計算適合應用于具有以下特點的業務:一是業務量彈性大,用戶數量增加較快,對資源占用不均勻;二是業務量較小,無法充分利用所分配資源。而中小學校的數字化校園對于信息技術的需求恰好具有上述特點。
四、云計算如何應用于中小學數字化校園建設
如圖3所示,若將中小學數字化校園的架構與云計算的三種服務關聯起來,即可發現二者在各層存在明顯的對應關系。中小學數字化校園的應用層可使用Saas(軟件即服務)中的應用軟件,應用支撐層可利用PaaS(平臺即服務)中的數據庫和中間件,網絡基礎設施層可利用IaaS(基礎設施即服務)中的服務器等基礎設施。
由圖3中的關聯關系可知,云計算可以在中小學數字化校園建設的各個層級中得到應用,將云計算融入到校園的各個應用服務領域,通過計算及存儲資源的彈性分配和動態管理,構建綜合信息服務平臺,實現透明高效的校務管理和泛在網絡學習,能有效避免以往數字化校園架構所存在的信息孤島、系統彈性差、資源利用率低、建設周期長、IT成本高等缺點。
鑒于云計算在中小學數字化校園建設中的應用價值和潛力,國外主要IT公司,如Google、思科、蘋果、亞馬遜等均推出面向教育的云計算服務。如Google的協作學習平臺、微軟的教育云平臺等。[7]國內的電信企業華為也推出面向教育的云計算服務,如華為的智慧教育項目,提出了基于云計算環境的“區域教育云+智慧校園”的融合社會教育信息化解決方案。
利用云計算技術建設的中小學數字化校園可以實現“云計算輔助教學”(Cloud Computing Assisted Instructions),即學校和教師利用云計算提供的服務,構建個性化教學的信息化環境,支持教師的教學和學生的學習。利用基于云計算的教學基礎設施(如移動互聯的課堂、泛在的學習資源和社區),可以促進教學資源的整合,保障教學信息的安全,分析學生日常行為取向,改進教學設施和教學方法,實現以學生為中心的個性化教學,從而提高教學質量。
目前,數字化校園的建設主要有三種模式,即自主開發模式、合作開發模式和租賃模式。統計數據及市場分析結果表明,不同規模的中小學數字化校園的建設成本一般在2萬元至20萬元。受建設成本及技術條件等因素制約,中小學數字化校園的建設宜采用合作開發模式或租賃模式,而采用這兩種開發模式,則更適合引入云計算。數字化校園的部署模式主要有獨立部署模式、托管部署模式和合作部署模式。目前,我國高校大多采用獨立部署模式,大多數中小學也采用了獨立部署模式,少數中小學開始嘗試采用托管部署模式或合作部署模式。隨著云計算技術引入數字化校園建設,托管部署模式將更有競爭力。
五、面臨的問題及對策
當前,云計算應用于中小學數字化校園建設過程中所遇到的問題主要有兩類,一類是安全問題,另一類是資源建設問題。
所有教育資源均集中在云端,或均從云計算供應商的數據中心獲取,則必然存在廠商依賴和數據安全的問題。另外,各學校均有自己的私有數據需要保護,如校本課程資源、校園資產、教師及學生的個人信息等。針對上述問題,可通過采用公有云和私有云的混合云策略解決,學校內部的信息資源(如校本課程、特色課程)由私有云管理,學校外部的資源(如數字化圖書館、公共信息資源、科研資源)由公有云管理。公有云可實現資源共享,提高軟硬件使用效率;私有云既可保護各學校內部資源的安全,又能避免對IT基礎設施的大規模需求。此外,云計算的一大特點就是其安全性。例如,云計算系統通過監測集群內部異常數據,對可能的安全問題做出判定,并向各服務器發送防止病毒擴散的措施,從而預防安全問題的出現。
共享特定區域內的教學資源,是中小學數字化校園建設的重要保障條件。數字化校園的支持服務體系應由政府主導,由企業與學校共建,以區域(市/縣)教育主管單位為中心,整合教育資源及業務流程,建立統一的教育公共服務平臺,為教師、學生、家長及教育管理者提供統一的協作和溝通平臺。國家基礎教育云平臺已于2012年12月28日開通上線試運行,向全國各級各類教育免費提供公益服務。[8]北京、上海、南京等地已建設了面向區域的教育云,向區域內的學校、教師、學生和家長提供各種教學服務和教育教學資源。
參考文獻:
[1]國家中長期教育改革和發展規劃綱要(2010-2020年).
[2]俞建華.基于云計算的遠程教學資源建設模式――以浙江開放大學為例[J].中國電化教育,2011(12):130-134.
[3]賀小華.云計算在教育中的應用――以Google協作平臺為例[J].軟件導刊(教育技術),2009(9):71-74.
[4]任寧.云計算輔助教學初探[J].成人教育,2010(10):93-94.
[5]黎加厚.走向信息化教育“云”服務[J].中國教育信息化(基礎教育), 2008(20):20-21.
[6]王運武.我國數字校園建設研究綜述[J].現代遠程教育研究,2011(4):39-50.
[7]陳學軍,黃利華.基于云計算的義務教育學科課程資源共建共享模式[J].中國電化教育,2013(1):81-87.
[8]宋靈青.“國家教育資源公共服務平臺”正式開通上線[J].中國電化教育,2013(1):105.
篇6
1 技術背景與基本架構
1.1 技術背景
SDN始于2006年斯坦福大學的CleanSlate研究課題,2009年,Mckeown教授正式提出SDN概念,核心思想是通過分層將數據與控制解耦合,以此消除現有網絡的局限性,實現可編程網絡控制與轉發分離。SDN的開放可編程性提供主動網絡(Active Network),能夠通過簡單轉發節點設備來動態執行報文中所攜帶的應用程序,這也使得SDN能夠實現對網絡的靈活管控。另外,SDN的4D架構也將可編程的決策平面從數據平面中完全分離出來,它提高了異構網絡的管理能力。
SDN技術在學術界的理論拓展以及企業的廣泛推廣使其快速成長,諸如美國的GENI、Internet、歐盟的SPARC和日本的JGN2Plus都先后開展了基于SDN的技術研究與工作部署。在電信領域等方面,德國電信、Google、微軟、Yahoo等公司聯合成立了開放網絡基金會組織(ONF),希望將SDN相關標準化定制工作快速推廣。SDN技術理念打破了傳統網絡的運行模式及格局,受到了來自于世界各地科研機構與商業領域的青睞,逐步成為網絡標準化體系的技術標桿,也體現出作為潛力網絡技術的實際價值。
1.2 基本架構
在互聯網及軟件學術領域,SDN軟件定義網絡擁有狹義與廣義兩種定義,從廣義來看,SDN表示向上層應用最大限度開放資源接口,進而幫助系統實現應用的編程控制與基礎網絡架構流程;而從狹義角度來講,SDN是指符合ONF定義的開放架構,并要求在控制器的控制條件下基于OpenFlow協議來實現網絡架構轉發功能。其中所存在的區別就在于狹義SDN嚴格規定要采用OpenFlow,而廣義SDN則不僅僅局限于OpenFlow,它還可以采用諸如Netconf、XMPP等等其它控制接口或協議,如圖1。
總體而言,SDN框架應該滿足以下兩點設計思想:
(1)實現對網絡的控制層面與數據轉發層面分離,提高網絡管理的控制能力;
(2)提高硬件平臺的可編程性,實現快速配置,滿足靈活的應用需求。
而無論哪個組織提出的SDN體系結構,實現目標其實是一致的,SDN概念下的數據控制相分離的網絡具有開放性和可編程性,科研人員及運營人員可以通過PC、手機/PAD、Web網頁以及未來可能出現的各種途徑進行全網部署,部署工作僅僅是應用的簡單定制開發及配置。可以預見,針對SDN架構的業務應用研究,是未來研究發展的重要方向。
2 SDN的應用及未來發展
2.1 SDN在數據中心及云計算方面的應用
SDN轉發控制分離特性賦予其在流量工程方面的天然優勢,在2012年,谷歌公司就推出了B4項目,該項目充分展示了SDN的優越性,它利用OpenFlow技術將包括美國、比利時、芬蘭、新加坡、臺灣等12個國家的數據中心連接起來,促成了全球首個廣域商用SDN體系?;贠penFlow技術的流量工程實施應用后,數據中心的平均鏈路利用率從30%躥升到70%,甚至某些鏈路在繁忙時利用率達到100%,該項目的成功也為SDN在全世界信息領域的推廣奠定了信心基礎。有理由相信,未來數據中心在軟件定義的框架下,能夠對云計算實現重構,為網絡資源、計算資源和存儲資源提供重新整合的發展機會,使各項資源能夠協同控制,進而有效提升資源利用效率和服務質量。
2.2 SDN在無線接入網絡中的應用
SDN在無線接入網絡中的應用也已相當廣泛,通過利用可編程物理層與介質層來共同構建無線接入網絡數據平面,該數據平面可以同時兼容多個技術制式的網絡,例如WIFI、3/4G-LTE、GSM等。當這些數據技術平面被接入到SDN后,就可以通過向上接口來實現對業務應用的支撐,通過業務應用實現對用戶的集中式業務邏輯控制和移動性管理,從而能夠解決網間無縫切換以及單鏈路丟包嚴重等問題,研究結果也表明可以明顯提升此類應用的流暢度和視頻清晰度,大大提高用戶的體驗效果與質量。
2.3 SDN在光網絡中的應用
光網絡的集中控制涉及設備集中控制機制,通過它來設置轉發策略可以實現編程控制等技術的自我突破。將SDN應用于光網絡中,就可以構建出面向業務的新一代光網絡體系架構,例如SDON(Software-Defined Optical Networks),可以通過控制與傳送平面解耦來屏蔽光網絡中所存在的物理技術細節,并利用集中控制策略來提高光網絡的智能調度與協同控制機能。在2013年4月,ONF就成立了光傳送工作組OTWG(Optical Transport Working Group)。通過基于SDON架構和OpenFlow協議來實現多廠商的互操作。在2014年底,中國電信協調華為、中興等企業基于OpenFlow實現了SDON互通,也使得該業務能夠在未來的發展中可以充分融合到企業通信與合作應用體系當中。
3 結語
軟件定義網絡通過抽象將控制面和轉發面分離,能夠很好地解決傳統網絡中如配置復雜度、控制方式等諸多現實問題,同時,可編程網絡的相關研究也為SDN奠定了理論依據,使得應用層面可以直接調用接口而無須關心控制層乃至底層硬件,較好的開放性使其可以根據需求靈活定制各種應用,能夠在未來信息發展中應用于多個領域和行業。目前,更多的研究人員基于軟件定義技術拓展出了新一代技術的各種應用方向及思路,同時也應該意識到,應用的多樣化使得北向接口呈現多樣性,如何實現統一還需要業界進一步推動。
篇7
在建立相應的融合媒體云平臺之前,應率先明確如下問題,即:自建自有云平臺抑或租賃現成公用云平臺。在選取時,應將自身實際和未來產業發展形式緊密結合,我們應該明確的是,日后的媒體業務均將建立在云平臺基礎之上,但這只是一個結果,其實現需要經歷較長時間,其發展程度主要取決于以下二個方面:第一,播放終端的IT、IP及智能化改進,之前的通過數字信號傳輸的設備將被IT設備取代;第二,隨著IT產業的不斷完善,尤其是以光纖寬帶和計算能力為主的快速發展,導致電視視頻制播業務面臨高碼率、高存儲、高計算能力的需求。綜上,在很長時間里,融合媒體技術的發展將呈現多種云平臺并存的局面。即:
(1)媒體自建云平臺。該平臺主要指衛視自行建立的基于虛擬云計算技術上的云系統。該平臺主要用于解決目前制播系統向云體系過渡的問題。
(2)媒體專用云平臺。該平臺主要是在硬件上租賃公有平臺上的各種設備及相應服務,選用云計算技術進行管理。媒體專用云平臺主要針對于互聯網業務。
(3)公有云平臺。所謂的公有云平臺主要是阿里云、亞馬遜等公司提供的公共計算資源服務。使用者可以自由地在公有云平臺上上傳和下載需要的各類資源,對于一些高級資源,公有云平臺提供付費服務。在融合媒體云平臺系統中,公有云平臺主要是滿足社會服務功能[1]。
2 融合媒體環境下云平臺的設計實現問題研究
在涉及到融合媒體云平臺的設計實現方面,其中ONAIR云平臺是融合媒體平臺的代表作之一。作為媒體性質較強的云平臺,ONAIR將專業化音視頻處理技術同世界領先的云計算平臺以及遍布全國的CDN網絡二者深度融合,從而提高了云平臺對視頻端播放的控制作用,拓展了其內容制作、內容播控及網絡新媒體等功能。該平臺在設計時,嚴格遵循專業化導向,通過云平臺基礎服務提供商解決設施問題。
2.1 融合媒體環境下云平臺的基本架構形式
通過分析ONAIR云平臺可知,IaaS平臺能夠支撐各種最基本的云計算服務和功能,比如前文所述的阿里云、亞馬遜云等公共平臺。中間分布的PaaS層可以細化為6層,具體為:中間層(OM)和搜索引擎層(OCSE),這兩層的主要目的為配合不同云技術服務商的不同接口,實現對不同服務商的統一封裝;接口層(ESB)該層的目的是為實現其他復雜流程提供基礎,并實現與老舊系統的實時交互;基礎服務層(OBSP)基礎服務層主要為各種音視頻文件提供各類服務,比如:后期編輯、播放等功能;運營服務層(OBSS)為整個云平臺的正常運營提供服務,實現對服務的管理、收費及日志記錄等功能,確保平臺的盈利能力;位于拓撲圖最上一層的API層,將平臺所有的服務以API的方式封裝成接口給軟件開發人員及其他合作單位。對于融合媒體環境下的云平臺而言,其基本架構ONAIR的SaaS服務功能主要是為了滿足融合媒體環境下的各類服務,比如網絡電臺、微電臺、新聞云更新及自媒體云更新等。隨著互聯網技術的不斷發展,促使人類社會的認識發生了巨大的變革,日后的互聯網技術將朝著合作、開放的方向發展,因此,ONAIR的架構設計就充分體現了這一觀點[2]。
2.2 IaaS服務的功能介紹
為了提高融合媒體環境下的云平臺ONAIR的基礎服務能力,日前,ONAIR系統已經成功和阿里云服務實現對接。就對接的成果而言,所獲得的價值非常豐碩。從資源和硬件支持角度看,阿里云在國內已經初步建立了5個核心計算服務中心,計算服務器數量已經突破20萬臺次,這種計算規模完全可以支持目前的融合媒體環境下的云平臺計算服務水平,并且還可以支持其一定程度的擴張。其中,華通云數據擁有骨干網及遍布全國各地的CDN節點,借助這一顯著優勢,確保了ONAIR云平臺系統能夠將各類音視頻實時發送到全國的任何一個角落。
2.3 PaaS服務的功能介紹
(1)云平臺轉碼服務功能:云平臺的轉碼一般選用較為常用的集群轉碼方式,集群轉碼能很好地解決大內存的視頻轉碼效率。因為轉碼系統設置在云平臺上,其云計算方式可以無線放大,從而實現對視頻的高效轉碼。在具體的視頻轉碼操作中,高清視頻的轉碼能力可以達到10倍率左右。因此,對于操作用戶而言,僅需要給出輸入輸出的文件格式、碼率和需要達到的轉碼速度即可,其具體的轉碼操作均可由ONAIR云平臺系統自動完成[2]。(2)視頻快速編譯功能:選用BS架構形式,BS架構的界面部分采用低碼率視頻用于打點、瀏覽等交互操作。交互式操作完畢后,可將其上交到云平臺系統,進而實現視頻源代碼的快速編譯,從而確保視頻傳輸和共享的清晰度。(3)視頻采集服務:目前已有的SDI信號經制定編碼器切換為IP形式后,可以將其實時傳輸至云平臺端,并及時保存,當文件播放時,可將文件轉移到特定系統下或者直接下載至客戶端。(4)視頻播放功能:IP播放系統傳輸至云平臺后,可經過視頻服務器實現與CDN的交匯對接,將播放內容實時推送至客戶端口,其中包含PC端、手機移動端及互聯網電視等。其中視頻直播服務支持各種碼率和互聯網流協議。
2.4 SaaS服務功能
(1)網絡電視播放:網絡電視播放功能集成了視頻資源集中管理和服務(VMS)及相應的網站發送模式。通過云傳輸形式,在發送前確定好需要溝通和交換的資源,便可快速在云端開通虛擬機,實現虛擬機與原有系統的對接。以前傳統的電臺建立形式需要提前購置必要的電子設備,而現在使用云端傳送的形式,只要每月上繳固定的費用,便可實現資源實時獲取,在計費方式上,不同于以往的以時間為單位的繳納形式,云端傳送采用按量計費,計費方式更加人性化。(2)云端媒體資源整合:以往的媒體資源整合方式主要采用本地數據流磁帶庫從而實現對海量數據和文件的存儲和管理,由于該設備很容易出現故障,因此o后續的正常使用和維修保養造成了巨大的困難?;诖鎯υO備生產技術的不斷發展和完善,受到市場供求關系的影響,存儲設備的價格逐步下滑,通過云端處理的方式實現對海量數據和文件的存儲,同之前方法相比,顯示出極高的性價比和穩定性,數據傳送和訪問更加穩定可靠[1]。(3)云端新聞更新:采用云端實時更新的方式布置新聞媒體系統,提高了新聞的推送效率,可以快速將互聯網上上傳的新聞推送至指定新聞系統。新聞和相關文章被推送至云端上,新聞工作者可以直接取閱并修改,提高了以往新聞文稿的更新效率。(4)體育賽事的云端播放:之前的體育比賽前實況直播系統都集成在IBC中心,節目制作者必須在比賽實地才能實現對比賽的實況轉播。而云端賽事直播系統,是將IBC系統集成在云端,經過云平臺將視頻資料傳輸至相關媒體機構做進一步的編輯并第一時間,這樣一來,極大地提高了賽事的制作和播放效率,壓縮了工作時間,降低了相關成本,方便了節目部門的使用。比如在2014年的青奧會中,IBC系統建立了12條子系統,借助50M寬帶,實現了在短時間內將實況節目傳輸至云平臺供客戶端實時收看[2]。
3 結束語
綜上所示,云計算相關技術是保證融合媒體下云平臺建立的基礎,隨著互聯網及云計算技術的不斷完善,云計算及配套的云平臺系統必將成為新聞媒體中的生力軍,必將引領新一代的技術潮流。
篇8
Research on Web Service Based on SOA Applying for "Library2.0"
RI Cholsu1,2, SHI Yu-zhen1,3
(1.School of Computer, Wuhan University,Wuhan 430072, China; 2.School of Computer Science, Kim Il Sung University, Pyongyang, Korea; 3.College of Software, Pingdingshan University, Pingdingshan 467002, China)
Abstract: To realize "Library 2.0", we outlined SOA, including its basic concept and architecture, introduced the concept and its related protocol of Web Service that implement SOA, carried on the analysis about the present national and international application research situation of"Library 2.0" , core technology that realize "Library 2.0" using Web services based on SOA are introduced importantly.
Key words: Service-Oriented architecture; SOA; Web services; library 2.0; online public Access catalog
為了處理集成異種分布系統、節省開發時間和費用、提高數字圖書館系統之間的互通性和信息檢索的效率,提出了“圖書館2.0”。圖書館2.0的核心是以用戶為中心的變化,邀請用戶參與建設他們所需要的實體和虛擬服務,將以讀者為中心的整合理念也深入到每個館員的服務理念[1-2]。SOA(Service-Oriented Architecture)核心思想是用系統中的分散功能整合成可操作的、基于標準的服務,使其能被重新組合和重用。利用SOA技術建立統一的信息資源訪問調用接口和資源索引,讀者可以通過整合形成的服務站點進行訪問,基于SOA的Web服務實現圖書館2.0受到人們的普遍關注。
1 SOA和Web服務介紹
1.1 SOA技術
1.1.1 SOA概念
不同類型的操作系統,應用軟件,系統軟件和應用基礎結構相互交織是企業IT系統的現狀。要解決這些應用系統之間通信和互操作困難這個問題,從頭建立一個新的基礎環境是不可能的[3]。SOA為滿足Internet環境下信息資源集成的需要,通過連接能完成特定任務的獨立功能實體來實現的一種軟件系統架構,它將應用程序的不同功能單元--服務(Service),通過服務間定義的接口聯系起來,接口采用獨立于具體實現服務的硬件平臺、操作系統平臺和編程語言的中立方式定義,使得系統中的服務可以使用統一和標準的方式進行通信,實現業務系統間的互操作。
1.1.2 SOA基本架構
SOA由服務消費者(Service Consumer)、服務提供者(Service Provider)、服務注冊庫(Service Registry)組成[4]。服務消費者使用服務提供者提供的一個以上服務。服務提供者處理服務消費者的輸入值給他提供結果。服務注冊庫存儲對服務的描述信息。服務提供者把自己提供的服務登記在服務注冊庫,服務消費者從服務注冊庫查找自己必要的服務使用。根據情況,服務提供者也可能利用別的服務提供者的服務。
1.1.3 SOA實現技術
SOA只是一種指導軟件設計的方法論,并未對實現方法做出任何規定。當前SOA的實現技術有很多種,如分布式對象技術(CORBA、EJB、COM/DCOM)、面向消息的中間件技術(如WebSphereMQ)以及當前已經普遍應用的Web Service技術。
1.2 Web服務(Web service)
1.2.1 web 服務概念
Gartner定義了Web服務是為了分布式計算利用SOAP,WSDL,UDDI等web服務標準協議中哪一個的軟件組件[5]。W3C定義了Web服務是為了支持在網路上機器之間相互作用被提出的軟件系統,它有機器可讀性接口(WSDL),別的系統根據HTTP 協議利用SOAP 消息(message)來隨著接口描述的方式跟它相互作用。
1.2.2 web 服務基本架構
Web服務的基本架構包括三種角色(服務消費者-Service Consumer,服務提供者-Service Provider,服務注冊庫-Service Registry),為了應用程序之間保障與平立地通訊,定義查找、綁定、的3種操作。(publish):為了被訪問,服務的描述信息(WSDL)必須被以便服務消費者發現和調用。查找(find):服務消費者通過查詢注冊庫去定位符合其需求標準的服務。綁定(bind):在獲得服務描述信息之后,服務消費者據此去調用服務。那時候服務提供者用SOAP方式來給服務消費者提供它的內容。Web服務的基本架構(圖2)與SOA架構(圖1)基本上一致。
圖1 SOA體系結構 圖2 Web 服務體系結構
1.2.3 Web Service關鍵技術
Web服務是一種實現SOA的技術架構[6],是建立在開放標準和獨立于平臺的協議基礎之上的分布計算單元,它描述了一組可以在網絡上通過標準化的XML消息傳遞訪問的操作:它使用SOAP協議在服務提供者與服務使用者之間進行通信;通過WSDL協議定義服務接口;使用UDDI協議進行注冊和查找。
2 “圖書館2.0”應用技術
自2005年鮑爾?米勒(Paul Miller)提出圖書館2.0概念以來,圖書館圍繞以用戶為中心,鼓勵持續的有意識的變化、邀請用戶參與建設他們所需要的實體和虛擬服務,并通過始終如一的服務評估給予支持。利用web技術來能夠更新數字資源生產和流通、信息檢索和瀏覽方式、應用系統和用戶接口、服務提供方式和水平,目前通過RSS、Blog、Wiki、Folksonomy、Bookmarklet、Toolbar、Open API、Mash-up、AJAX、Flash、Flickr、Social Bookmark、Social Network和Widgets等技術來實現圖書館2.0。結合各國情況將圖書館2.0應用技術概括如下:
1) 圖書館利用RSS源來提供OPAC檢索結果,客戶在RSS、Blog等記錄RSS源地址的話,可實隨時瀏覽自己喜愛的信息。通過RSS技術下載包含講課內容的多媒體文件。圖書館的OPAC可通過附加RSS源發生器的方式實現客戶主導的SDI服務。
2) Blog在圖書館以行銷和交流手段所應用,通過RSS公開共享社會之間的信息圖書館主要利用兩種方式的Blog,服務形式Blog和設置形式Blog。
3) 大多數的OpenAPI接口保障應用程序之間的數據交換。利用Web服務來可以實現OpenAPI。與SOAP相比,使用REST協議的實例更多,因為它比SOAP更輕量更方便。
4) 圖書館提供Bookmarklet,在線書店可以檢索多數圖書館的OPAC。Bookmarklet跟圖書的ISBN有關,在OPAC上能夠檢索ISBN。
5) 為改善數字圖書館的開放性和接近性、服務提供質量和信息檢索瀏覽方式,可利用Open API,Mashup,AJAX 等Web 2.0技術。
6) 為了擴張圖書館服務資源、實現以客戶為中心的資源分類、共享每個人的經驗和評價,可利用Wiki、folksnomy、社會化書簽等其它Web2.0技術。
3 基于SOA的Web服務在“圖書館2.0”的技術實現
結合Web服務的特點和SOA架構提出了對在圖書館2.0建設中Web服務技術的應用方案,表1列出基于SOA方式的Web服務來實現Library2.0的方法。
1) Web服務技術的最符合的應用領域就是圖書館(或者有關單位)之間服務(或者數據)的共享共用。
2) Web服務技術最適合與OpenAPI、Mashup 和AJAX等的Web2.0技術結合。用它來可以實現OpenAPI、通過Mashup技術混合現有的服務產生有新功能的服務。Web服務的數據交換協議依靠XML格式,提高Web服務的數據處理能力,跟AJAX技術結合非常重要。
3) SOAP最符合于館際互借、文本復印等的復雜事務(transaction)處理。尤其是數字圖書館通過SOAP、REST、SRW/U來共享國家代表圖書館提供的圖書分類目錄、主題目錄、規范文件、同義詞詞典等資源的話,不僅可以提高業務效率還可以節省時間和費用。
4) 與SOAP相比,又輕量又單純的Web服務協議REST可以實現數字圖書館系統的松散耦合,它用于Open API實現現有的數據和服務的再組合。
5) XML-RPC是基于Internet的遠程函數調用協議。數字圖書館提供XML-RPC和OpenAPI的話,用戶可以把數字圖書館的目錄檢索結果存儲在他的MyLibrary、Blog、社會化書簽。
6) 開放型數字資源倉庫(repository)構筑時,使用OAI-PMH來收獲元數據,而且使用Web服務協議SRW/U來進行檢索的話,可以提高系統的互操作性、信息共享和檢索的效率。
4 結束語
在用戶創造數據的WWW2.0時代,Web服務是用戶能夠實現自己業務的核心技術。在數字圖書館領域內,為了實現集成異種分布系統、節省開發時間和費用、提高數字圖書館系統之間的互通性和信息檢索的效率,開展基于SOA的Web服務的圖書館2.0應用研究。Web服務協議REST,SOAP, XML-RPC,SRW, OAI-PMH成為通過輕量、簡單的編程和松散聯接方式建立數字圖書館優秀策略,利用SOA和Web服務實現數字圖書館的構建,提高“圖書館2.0”的服務水平和質量,是今后數字圖書館發展的方向。
參考文獻:
[1] Bradley P.How to use web 2.0 in your library[M].London:Facet,2007.
[2] Paul Sutherland.From library automation to Library 2.0[Z].New Zealand:Digital Innovation Librarian Christchurch City Libraries,2010.
[3] 馮志勇.基于Web服務的SOA在電子政務中的應用[D].成都:電子科技大學,2009.
[4] W3C.Web Services Glossary[Z].2004.
篇9
如今,在許多IT廠商的會上,云計算、大數據、移動和社交化已經成了必提的影響IT變革的四大要素。在這四大因素的作用下,IT系統越來越龐大和復雜,而用戶對IT系統的要求也水漲船高,希望IT資源隨時可用。為了應對新應用、新技術帶來的挑戰,很多用戶有些疲于奔命,不斷嘗試對IT系統進行調整和優化,虛擬化、云計算、大數據等技術手段都被派上了用場。但是在嘗試變革的過程中,一些用戶的精力過于集中在如何解決眼前的技術問題上,在埋頭苦干的時候,并沒有抬起頭來看一看未來IT的發展趨勢。其實,無論是IT廠商還是用戶,在這個IT變革的轉折點上都應該把眼光放得更長遠些,將技術變革的趨勢與應用的需求更緊密地結合在一起。
在“應用定義IT”、“軟件定義一切”等一系列新概念被熱炒后,HDS公司提出了自己對IT變革的看法――業務定義IT。軟件定義IT也好,業務定義IT也罷,其本質是相同的,都在強調用戶的需求和應用的重要性。HDS高級副總裁兼亞太地區總經理Neville Vincent解釋說:“業務定義IT就是從用戶的商業需求出發,重新審視IT能為其業務的發展提供哪些積極有效的服務。IT服務必須與用戶的業務需求緊密聯系起來?!?/p>
利用業務定義IT可以更好地保證IT服務的移動性、經濟性,并使用戶獲得更佳的洞察力。Neville Vincent舉了中國某大型汽車銷售商的例子。該銷售商不僅要掌握每個省的汽車銷售情況,而且要具體了解每個商的銷售數字,還要對多年的歷史銷售數據進行對比分析,這就需要借助大數據分析工具。掌握第一手的銷售數據,并通過數據分析對銷售策略進行調整,從而提升競爭力,這就是該汽車銷售商的首要業務需求,也是IT在不斷演進的過程中必須解決的實際問題。業務定義IT其實就是這么簡單。
Neville Vincent小結說:“IT是由使用者決定的。用戶希望不受時間和空間的限制,只要需要,就能獲得所需的信息。這在以前是不可想象的,而現在則成了IT努力的方向?!?/p>
業務永不中斷
業務定義IT并不是一句空話,其技術基礎就是永續IT云架構。對于云計算架構,人們已經十分熟悉,而HDS公司在云架構之前加上了“永續”二字,著重強調的是IT架構的可用性必須得到有效提升和保障,即使是在數據遷移的過程中,業務的連續性也不會受到影響,不會產生意外宕機。
如上文所述,業務定義IT可以改善業務的移動性、經濟性和洞察力,而確保這些改變的實現,就需要IT云架構始終可用,并且保持自動化和敏捷性。這三點恰好也是HDS賦予永續IT云架構的關鍵內涵。為了保證永續IT云架構的落地,HDS此次了一系列新產品和新的版本升級,比如VSP G1000、存儲虛擬化操作系統(SVOS)、Command Suite v8、Unified Compute Platform等。
“在云計算方面,我們提供的是私有云和混合云解決方案。在公有云方面,我們主要是配合合作伙伴的工作,而自己不會提供公有云服務?!盢eville Vincent告訴記者。在HDS的云計算框架中,基礎架構云、內容云和信息云三部分今年都會有更新,而永續IT云架構是HDS云平臺的基礎與核心。比如,VSP G1000和存儲虛擬化操作系統進一步充實了HDS的基礎架構云解決方案。雖然作為軟件定義存儲的代表,VSP G1000本身就極具賣點,不過在Neville Vincent的眼里,HDS還是以端到端平臺解決方案取勝,并在全面服務的基礎上實現方案的差異化。以VSP G1000為代表的存儲基礎架構、內容平臺和管理軟件等構成了HDS的差異化解決方案。
“為了推出永續IT云架構方案,我們已經準備了一年。我們相信,永續IT云架構方案一定能夠在亞太市場上取得成功?!盢eville Vincent希望內容移動性解決方案、永續IT云架構方案和整合方案今年能夠增長一倍,而作為平臺方案重要支撐的數據保護解決方案和文件管理方案也是HDS關注的重點。
存儲虛擬化的演進
HDS永續IT云架構最大的亮點就是存儲虛擬化操作系統和VSP G1000,兩者軟硬結合,相得益彰。HDS 產品規劃副總裁兼信息技術平臺部(ITPD)總工程師Michael Hay介紹說,存儲虛擬化操作系統是HDS首個用獨立軟件方式實現虛擬化功能的系統,它采用通用的軟件架構,能夠跨越HDS的整個基礎架構產品組合,同時增強服務器虛擬化的效能。存儲虛擬化操作系統使得用戶可以擁有更多選擇、更大的靈活性和一個簡約的基礎架構,能夠將傳統數據中心平滑遷移至軟件定義的數據中心。
存儲虛擬化操作系統兼具軟件定義存儲的靈活性和HDS企業級存儲軟件的成熟功能,在閃存優化、高級存儲虛擬化、自動分層、平滑數據遷移等方面實現了新的突破,且無需外置設備就能提供多系統和多數據中心的雙活功能。
在存儲虛擬化方面,HDS是基于存儲控制器虛擬化方式的成功代表。HDS使用基于存儲控制器的虛擬化,將存儲控制器與磁盤存儲系統分離。這種方法將邏輯視圖與物理資產分離,可以虛擬化其他廠商的存儲系統。而存儲虛擬化操作系統是在存儲硬件平臺上的一個軟件層,它利用軟件定義存儲的思路,將軟件與硬件相分離,充分發揮了軟件的靈活性與管理的方便性。Michael Hay表示,未來HDS的存儲平臺都將支持存儲虛擬化操作系統。
VSP G1000是運行存儲虛擬化操作系統的理想硬件平臺。VSP G1000可以實現逐步擴展,具有超過48GB/s的可用帶寬和超過120萬次操作/秒的NFS操作性能。 在各項配置和性能指標上,VSP G1000全面超越了以前的VSP系列,比如IOPS提高3倍多,緩存容量和HNAS集群節點數量都增加一倍,能效提高10%以上。Michael Hay表示,VSP系列與VSP G1000有不同的市場定位,兩者將并存。
簡化管理是最大賣點
篇10
作者簡介:朱 林(1981―),男,講師,碩士,研究方向:軟件工程、電子商務。
一、研究背景
現階段,各大高校的教育資源共享方式比較單一,效率也較低下,教育資源共享的方式通常有FTP共享、教師下發資料、通過打印實現共享或通過 U 盤進行傳輸,隨著時代的發展,這些資源共享的方式存在的弊端越來越明顯。
二、基于云計算的教育資源共享平臺設計
使用云計算構建教育資源共享平臺可以解決以上弊端,該平臺主要實現對教育資源的高效共享和安全存儲。用戶包括管理員、教師和學生,用戶都可以上傳和下載教育資源,管理員主要可以添加教師和學生信息,并對上傳的資源進行審核通過;教師可以錄入試題,批閱試卷;學生則可以在線測試,并在教師批閱試卷后進行查看。主要從以下幾個方面考慮平臺的設計:
1.云平臺系統架構的設計
系統可以采用Apache VCL云平臺進行基本架構的設計,軟件架構使用目前軟件開發常見的N層結構模型:表示層、業務邏輯層、數據訪問層以及數據存儲層。其中,表示層與用戶息息相關,用于顯示平臺輸出的數據以及系統接收用戶輸入的信息,為用戶提供一個可以進行人機交互操作的平臺;業務邏輯層是整個系統中的核心部分,主要功能在于系統業務規則的制訂、業務流程的實現等與業務需求密切相關的系統功能,它應對的是系統的領域邏輯,其處于數據訪問層與表示層之間,以弱耦合的結構在數據交換中起著橋接作用,在整體架構中的關鍵性不可忽視;數據訪問層和數據存儲層的功能比較純粹,前者主要負責對數據庫的訪問,后者主要功能是進行文件的存取。
2.數據庫的設計
任何一個軟件系統都離不開數據庫的支持,云平臺也不例外。系統在當前的狀況下運行,對于數據的儲存,數據庫基本上可以滿足用戶的需求,但考慮到業務系統的不斷更新以及數據量的快速增加,平臺在未來一段時間里在性能和易擴展性上的要求也會與日俱增。為此,根據云教育資源共享平臺的現狀和未來的發展,需要采用合理的、適應發展的存儲架構,對數據存儲與處理、擴展性、訪問接口、調度策略等做相應的優化與改善,從而加強對各種數據資源的存儲維護等行為操作。
3.角色及流程設計
在基于云計算的教育資源共享平臺中,主要有三種用戶角色,分別是系統管理員用戶、教師用戶以及學生用戶。
(1)系統管理員是該系統的主要角色,在該系統中,系統管理員需要管理教師以及學生用戶,可以創建教師與學生用戶,還可以上傳下載教育資源,對教育資源進行審核或刪除,并添加課程信息,錄入題庫,添加題目。
(2)教師業務流程。
在該系統中,教師用戶由管理員用戶創建,需要從管理員處獲取登錄賬號及密碼,教師可以上傳和下載教育資源,可以添加課程信息,錄入題庫,添加題目,新增試卷,錄入試卷,并且在學生測試后,對學生的測試進行閱卷評分,注銷退出。
(3)學生業務流程。
在該系統中,學生是主要使用者,學生用戶也由系統管理員創建,因此也需要從管理員處獲取登錄賬號和密碼,登錄后,學生可以上傳和下載教育資源,并且在線測試課程,測試后提交試卷,由教師閱卷評分后公布成績,學生可以查看課程測試的成績。
三、云計算服務類型及開發框架選擇
1.云計算服務類型
隨著云計算技術越來越成熟,云計算的服務領域也越來越廣泛,在廣大領域中云計算的服務類型主要有以下三種:
(1)基礎設施即服務。
消費者從一些完善的基礎設施中獲得相應的服務,其主要面向硬件需求的客戶,用戶只需要提供需要計算的數據。
(2)平臺即服務。
將云平臺作為服務模式,本系統的云計算即是云平臺服務,需要用戶自己寫服務器,然后將所寫的服務器部署到云平臺上即可。用戶也可以自己寫云平臺,在這里為了方便,直接將服務器部署到開源的云平臺上。而本系統所選擇的云平臺為新浪云。
(3)軟件即服務。
軟件即服務,從字面意思理解,即通過軟件的形式提供服務,在這種云計算服務中,用戶并不需要購買軟件,只需要向擁有軟件的商家租用即可,通過租用的基于Web的軟件管理經營的活動。
2.主流云平臺
當前主流的云平臺主要有阿里云、新浪云等。其中可以使用新浪提供的云平臺開發本系統。在新浪云注冊賬號,然后進入新浪云服務,創建應用,在代碼管理中上傳自己的項目war包,下載新浪云的架包,然后將代碼的war包上傳到新浪云,并啟動新浪云上的MySQL服務,配置相應的JDBC連接。
3.開發框架
本系統可以選擇SSH框架進行開發,SSH框架由Spring,Struts,HibernateM成,其中Spring可以說是一個管理層,用來管理Struts和Hibernate之間的工作,Spring框架是一個輕量級的框架,主要有IOC和AOP兩大機制。Struts是一個基于MVC模型的整合框架,即Model層、View層、Control層。因此Struts是用來做應用層,負責調用service層。Hibernate是系統的持久層,也可以說是數據訪問層,它對JDBC調用數據庫作了輕量級的封裝,省去了大量的SQL語句。SSH框架是當前比較主流的Java Web框架。
四、系統構建關鍵點分析
(1)數據庫設計是系統構建的重要組成部分。教育資源共享平臺從總體上來說是屬于教學管理類系統平臺,在設計時,可以使用SQL Server數據庫系統進行數據的存儲管理。先要對系統的各個功能要有明確的定義,在此基礎上設計出功能表,創建數據庫。另外,必須明確表的有效屬性,在建表初期,難免會有無用的屬性,需經過反復的測試,只保留必要的屬性,減少數據庫的規模。
(2)對于需求的理解程度是系統的重點,需要分析平臺設計背后所反映出來的供求關系,對資源的廣度和效度進行深度挖掘,在基本要求和功能之上,創造盡可能多的創新點,并努力提高平臺的安全性和效率。
篇11
一、關于云計算與云審計的基本概念論述
“云計算”一詞源于Google等互聯網公司的大數據處理過程,于2006年在國際搜索引擎大會上首次提出,以美國國家標準與技術研究院給出的定義較為權威:云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池,這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。
“云審計”是基于云計算而產生的,可以認為“云審計”就是在審計工作中運用云計算的概念和技術。“云審計”有兩個基本特點,一是以審計工作為服務目的,“云審計”的應用是為了使審計師減少簡單的計算勞動,提高審計效率;二是以云計算為技術手段,利用云計算技術升級和優化現有的審計方法。
隨著近年來供電企業信息化程度的提高,服務器的后臺數據也越來越多,而審計師配備的個人電腦是無法滿足檢查這些數據的需求的。數據庫中一個簡單的操作指令可能都要在個人電腦上花費十幾分鐘甚至數個小時。而“云審計”技術卻可以很輕松地解決這些問題
二、云審計系統的框架構建
(一)云審計系統的概念和特點
云審計系統是一個全新的事物,國際上暫時還沒有給出一個比較準確和完整的定義。為方便研究,本文基于信息技術現狀和審計實際應用,對云審計系統的概念進行初步闡述:云審計系統是基于所獲得的數據,根據審計對象的基本特性,通過設定計算、判斷和限制條件建立數學或邏輯表達式,用于對審計目的進行驗證的過程。云審計系統主要有五個特點:
1.審計網絡自助服務。審計自助服務免去了審計師與被審計單位在數據獲取上的溝通,使審計師能自行獲取所需數據,并設定疑點檢查條件;2.高帶寬網絡。多個審計師可以在不同的地點獲取同樣的數據,在網絡速度上不會受到影響;3.審計數據資源池。審計師可以將得到的所有數據上傳至“云端”,形成審計數據資源池,共享給有相關權限的其他審計師;4.審計彈性架構。使審計師可以隨時隨地通過權限認證后登陸系統獲取資源;5.可度量服務。為審計系統提供自動化的監控,并記錄審計師的工作過程,包括審計方法、程序和證據獲取手段等[1]。
(二)云審計系統建設的可行性分析
在理論基礎方面,國際上關于云計算系統的理論體系已經基本完備,國內云計算技術的研究和發展也十分迅速,為云審計系統提供了充分的先決條件。在技術方面,實施云計算的各種技術方案體系已經在生活的各個方面投入應用,供電企業的審計信息化也有相當堅實的基礎,完全可以借鑒其他行業在云計算方面的先進技術和經驗。在成本方面,云審計系統的部署費用并不高昂。服務器和網絡設備可以基于現有條件加以升級和改造,不需要全部更換。用戶端也不需要更換新的設備,凡是能打開瀏覽器的電腦、平板電腦甚至智能手機都可以登陸云審計系統[2]。
(三)云審計系統的數據處理流程
基于大數據背景,云審計系統可以將各供電企業的審計數據整合為海量的審計資源池,構成審計數據的采集、導入、分析、展示平臺,使審計業務流程轉化為數據處理過程。
1.云審計系統的數據采集
云審計系統的數據采集方法必須非常全面,充分考慮審計數據的復雜性、多樣性和異構性。常見的數據采集方法有兩類,一類是復制采集,從被審計單位導出數據庫信息或整個數據庫的備份,用移動硬盤或U盤拷貝的方式,上傳到云審計系統進行處理;另一類是在線采集,與被審計單位的業務系統制定標準的數據接口,不間斷地連續采集業務數據,實現對業務流的動態監控。在線采集方式具有時效性強、響應速度快的優點,今后將成為主流的數據采集方式[3]。
2.云審計系統的數據導入
在供電企業各類業務系統的海量數據中,數據之間的結構和類型千差萬別。在進行分析之前,應先將這些數據有效地導入系統,把重要數據如重要指標、近期變化數量等置入高性能存儲器中,把不常用的次要數據置入一般存儲器,并去除不需要的冗余數據。
3.云審計系統的數據分析
云審計系統中集成了大量審計分析程序,利用分布式計算集群對海量數據進行各種分析和分類統計,以滿足審計師的分析需求云審計系統的數據分析具有以下幾方面的特點:
一是審計分析程序的可構造性。各種審計分析程序以模塊化的方式提供給審計師,可以進行任意調整。二是注重對數據的全面分析。在大數據處理時代,抽取樣本檢查和全部數據檢查這兩種方式,在云審計系統面前的區別,只不過在時間上相差數秒鐘或數分鐘而己。三是注重數據之間的關聯度分析。在以往的審計中,對被審計單位工作數據的檢查,只是對特定的業務數據進行簡單的統計和復核[4]。
4.云審計系統的數據展示
數據展示將實現可視化,能夠直觀地將數據的特點、變化和疑點呈現出來,將難以閱讀的原始數據轉變為界面清晰、易于理解的圖表。進而使審計師能夠與這些能講故事的數據進行交流,對數據處理結果進行多維度分析,從中找到審計問題出現的基本規律和深度原因。
參考文獻:
[1]王鵬.云計算的關鍵技術與應用實例[M].北京:人民郵電出版社.2012.
篇12
引言:信息技術發展速度很快,高校資源信息化管理已經成為信息化建設中的重要內容,是實驗室建設中需要高度重視內容?,F階段,一些高校通過建設資源傾斜,使得高?;A網絡設施建設已經較為完善,為資源共享提供了便利條件。對于資源共享需要注重以下兩點內容,第一就是資源共享的科學管理,第二就是資源共享平臺的創建。從中可以了解到資源共享平臺的創建是資源共享的必要條件,對云桌面技術下實驗室資源共享平臺的建設進行深入探究是具有重要意義的,下面就對相關內容進行詳細闡述。
一、 基于云桌面的共享平臺
(一)云技術及方案
云技術屬于一種高新技術,該技術被眾多科研人員認為是在個人電腦、互聯網之后,電子信息領域取得了又一創新成就。云技術的誕生對IT行業發展也造成了較深影響。該技術是以互聯網的計算方式為基礎,對硬件、軟件資源和信息進行共享,并且結合互聯網絡通過按需、易擴展的方式獲得相應服務。云技術的核心思想在于對大流量用網絡連接的計算機資源進行統一性的管理,進行計算資源構建,有針對性的提供服務。利用云技術可以大幅度提升基礎設施、軟件、平臺的應用效率,深層次的挖掘其應用價值,降低程序、數據應用和儲存過程中在個人電腦上占據的空間。云技術平臺服務的本質可以讓用戶不在考慮計算平臺操作系統和軟件環境配置,可以應用云桌面方式實現服務訪問。加強了系統硬件、軟件等多項資源之間的聯系,使得這些資源可以構建成為一個龐大的資源池,真正的實現資源的動態化管理。用戶在實際應用過程中只需要考慮如何應用,不需要考慮服務是由哪一服務器支持的,可以較大程度得勁降低管理成本投入。
(二)平臺設計的功能
實驗室應用的軟件有著多樣化、專業化的特性,共享資源管理難度性較強。原有的資源管理方式以及管理技術已經不能滿足現階段實驗室工作開展的多元化需求,以云桌面技術為基礎構建的實驗室資源共享平臺需要具備以下功能:第一就是可以實現軟件資源的共享。實驗室在長期發展過程中開發、購買了很多專業性較強、價格昂貴的軟件,增強軟件的共享性可以盡可能的提升軟件應用效率,深層度的挖掘軟件應用價值,避免軟件重復性的購置,降低實驗室建設的成本投入。平臺還可以對軟件進行科學、集中管理,依據服務的方式對軟件進行交付處理,對有效的實驗室資源進行動態化管理。資源的集群管理。所有軟件資源安裝在服務端,用戶只需登錄到虛擬桌面,無需安裝應用程序及終端配置。實現試驗數據端到云的存儲。海量的試驗數據和原始記錄和視頻及時進行安全存儲,以供科研分析和后續大學生實驗教學使用。云平臺對所有數據將具有備份、歸檔和災難恢復等功能。滿足資源對軟硬件不斷更新的要求。
二、云平臺的實現
(一)平臺架構
云平臺技術采用虛擬化技術在物理設備和具體應用之間加入了一層抽象,虛擬技術根據不同需求變化彈性調整系統規模,使資源得到最佳利用。平臺架構采用多服務器的群組部署方式,可以便捷地實現橫向或縱向的擴展,云平臺基本架構見圖1。平臺支撐服務器按功能可分為終端設備接入服務器集群、基礎架構服務器集群、虛擬應用服務器集群三個集群。架構流程為:用戶使用各種終端設備連接入口服務器(WI),通過域控制器(AD)驗證身份,在基礎架構服務器集群的調控下,訪問分配的虛擬桌面和應用,透過該桌面訪問后臺系統完成各種資源利用。從服務器網段到終端網段所有的通訊都被安全接入網關設備封裝在加密通道中。
(二)云平臺實現
據不同軟件的運行環境和用戶使用的需求及權限,可實現兩種形式的:桌面和應用程序。部署方式分為兩種:服務器模式和應用流模式。服務器安裝模式類似于該軟件在客戶端的安裝過程,將用戶軟件安裝在XenApp服務器上執行;應用流模式可以實現應用軟件和操作系統之間沒有安裝關系,但同樣可以運行該軟件。管理員只需要通過Citrix提供的流打包工具(Profiler),將該軟件打成應用流包,然后放置在文件服務器。本實驗室的交通應用的各種軟件,采用服務器安裝模式。針對不同的應用場景和不同應用需求,使用不同的部署方式,通過軟硬件構架和組件,構成了一個靈活的統一終端虛擬化云平臺。
(三)用戶安全接入和訪問
將用戶終端隔離后可以對后臺應用服務器起到很好的保護作用,用戶所有的個人桌面、應用和文檔被集中控制在虛擬桌面層。訪問流程簡單地描述為:用戶使用各種終端設備連接入口服務器(WI),通過域控制器(AD)驗證身份,在基礎架構服務器集群的調控下,訪問分配給他的虛擬桌面和應用,通過該桌面訪問后臺系統。從服務器網段到終端網段所有的通訊都被安全接入網關設備封裝在加密通道中。這樣的架構既保證了網絡層的傳輸安全,保護了實驗室的數據安全。虛擬應用平臺通過活動目錄來統一定義用戶訪問服務器的權限?;顒幽夸浿锌梢远x用戶組,并基于用戶組定義權限,因此在應用過程中如果增加用戶,只需在活動目錄中增加用戶并指定用戶組即可,無需單獨定義其權限。用戶從公網訪問內部的虛擬應用或者虛擬桌面時,在保證高效訪問的同時我們還得面對外部網絡帶來的各種挑戰,另外還需兼顧WebInterface的單點故障問題和提高平臺可擴展性。平臺實現的示意圖見圖2。
結語:基于新興技術的云平臺信息化管理技術,為實現資源虛擬化共享提供了實際可行的手段。云技術作為第三次的IT浪潮,對高校資源管理和利用將帶來根本性的變化。云技術的彈實現了基礎設施的效率最大化,使院內所有師生可以共享云平臺享受優質的信息化服務,避免重復購置,也可以減輕軟硬件維護人員壓力。從資源共享出發,促進高校間優質教育資源共享,也可通過收取一定的費用,對社會同行開放資源池,提高高校信息化的建設水平。云技術為虛擬實驗室建設提供了方便的通道,在今后的使用中也將逐步開發該平臺在大規模數據處理及計算方面的應用,將大型數據計算和圖像處理的虛擬實驗室作為該平臺的重點研究方向,以更好發揮其在科研和教學中的作用。
參考文獻
[1] 李平,毛昌杰,徐進.開展國家級虛擬仿真實驗教學中心建設提高高校實驗教學信息化水平[J].實驗室研究與探索. 2013(11).
篇13
1.1 數據挖掘技術概述
數據挖掘出現于 20 世紀 80 年代后期,90 年代有了突飛猛進的發展,并在進入 21 世紀后繼續繁榮。隨著科技的不斷進步,在物聯網、云計算、移動互聯網等發展的推動下,數據發生了“大爆炸”,其規模呈幾何級上升。如何將這些海量的、復雜的數據轉化成人類可理解的、有用的知識,從而指導我們的決策正成為目前面臨的重要的問題。
如今,隨著云計算的出現和發展,數據挖掘技術迎來了新的機遇和挑戰?,F在的基于云計算的并行數據挖掘與服務的模式。數據挖掘的算法可以分布在多個節點上,并且這些算法之間是并行的。在進行數據挖掘的過程中,我們需要的資源會實現按需分配,具有很大的伸縮性。在分布式計算模型下,使用的是云計算模式。算法的實現采用 MapReduce 的方式,從而實現并行的要求。
1.2 Hadoop 框架
Hadoop是一個開源的分布式系統基礎架構,由 Apache 基金會開發。Apache Hadoop是一款支持數據密集型分布式應用并以Apache 2.0許可協議的開源軟件框架。它支持在商品硬件構建的大型集群上運行的應用程序。
Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程范式:應用程序被分割成許多小部分,而每個部分都能在集群中的任意節點上執行或重新執行。此外,Hadoop還提供了分布式文件系統,用以存儲所有計算節點的數據,這為整個集群帶來了非常高的帶寬。MapReduce和分布式文件系統的設計,使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據?,F在普遍認為整個Apache Hadoop平臺包括Hadoop內核、MapReduce、Hadoop分布式文件系統(HDFS)以及一些相關項目,有Apache Hive和Apache HBase等等。
2 Hadoop數據存儲平臺
2.1基本設計思想
我們的基本思想是:充分利用 Hadoop的集群特征,將數據挖掘系統中需要巨大計算能力的各個模塊的計算和存儲要求擴展到Hadoop集群中的各個節點上,利用集群的并行計算和存儲能力來進行相關數據挖掘工作。系統采用MVC三層架構設計使結構更加清晰,系統易于擴展。在底層,使用 Hadoop來存儲、分析和處理巨大的數據量,而在高層通過接口直接透明的調用底層的計算和存儲能力。
在整個系統中,我們可以使用 HDFS 來存儲文件和數據。HDFS 具有很高的數據吞吐量,并且很好的實現了容錯機制。HDFS 提供了多種訪問接口,包括 API以及各種操作命令。使用 HDFS,我們可以為原始的大數據集提供存儲空間,對臨時文件進行存儲,為數據預處理、數據挖掘過程提供輸入數據,同時輸出數據我們也保存在 HDFS 中。系統整體架構如圖1所示。
2.2系統結構模型
結合以上的基本設計思想以及典型的數據挖掘系統模型,采用分層的思想,自頂向下每層都透明的調用下層接口,最頂層為交互層,用于用戶和系統之間的交互。最底層為分布式計算層,使用 HADOOP 來實現文件分布式存儲和并行計算功能。使用分層,各層之間變得獨立,易于系統的擴展。下面詳細介紹我們得到的基于 HADOOP 的數據存儲系統。如圖2所示。
1、交互層
提供系統和用戶之間的接口。通過提供具有良好表現形式的圖形界面,使得用戶可以登陸系統定制各種細粒度的業務,查看或者保存各種輸出結果。
交互層具有的模塊包括:
①用戶管理模塊:實現用戶身份的識別以及相應權限的設置,同時也包括對用戶登陸或者注銷等常用的管理。
②業務展示模塊:實現用戶提交的各種業務,并對業務結果進行查看,分析和保存等功能。用來將系統的返回結果交付給用戶。
2、業務應用層
提供了各種業務邏輯并實現了對各種業務流程的控制和調度。用戶提交的業務在這一層被處理,控制和調度。
業務應用層具有的模塊包括:
①用戶界面:用戶可以通過簡單應用的操作界面工具,進行海量數據處理存儲。
②業務響應模塊:相應上層的業務模塊,對完成業務所需的子業務進行調用、管理,并通過調用底層模塊完成業務。
3、數據處理層
為業務應用層提供數據挖掘階段業務流需要的各個模塊,并且具有較細的粒度。如數據預處理,模式評估,數據挖掘等組件。這一層是整個系統的核心,在這一層,主要的任務在于實現各種任務過程中算法的并行化,并將任務提交到 Hadoop 分布計算層進行運算。并將結果返回給業務應用層。
數據處理層具有的模塊包括:
①系統管理模塊:對系統實現分布式管理。主要包括:負載平衡管理、系統日志管理、對象事務管理、系統遠程部署管理等。
②數據加載模塊:將挖掘所需的數據進行注冊并放入系統的 HDFS 文件系統。
③數據存儲模塊:提供對海量數據的并行加載、處理和存儲功能。將數據從其他外設中導入平臺的HDFS;并行ETL 模塊用來對HDFS中的原始數據進行處理得到存儲數據;并行存儲模塊提供對處理后的數據進行存儲.
④并行查詢模塊:提供對海量數據的并行查詢、用戶自定義事務處理等功能。
⑤備份恢復模塊:提供對系統存儲數據的備份管理、備份存儲、備份恢復等功能,增強系統的安全
性和容錯性。
⑥模式評估模塊:Hadoop 框架自身提供了 HDFS,MapReduce 運行模式、運算環境以及自動管理。
4、分布式計算層
使用 HADOOP 框架來實現集群存儲、計算。Hadoop 提供了分布式文件系統和并行的運行模式,同時實現了對分布式系統的管理。我們需要在此之上實現任務提交的 Server。
3總結
本文分析了對現階段基于云計算平臺實現的數據挖掘研究以及開源的集群框架Hadoop的研究現狀作了分析。并在此基礎上設計了基于Hadoop的數據存儲系統的基本架構。采用以 Hadoop分布式平臺作為基礎,以 HDFS分布式文件系統和MapReduce 并行計算模型作為處理數據的方法。同時給出了系統的模型并簡要介紹了各個功能模塊。通過將數據挖掘技術與云計算時代下的集群框架 Hadoop結合起來,利用集群巨大的計算能力和存儲能力,從而實現對超大規模數據挖掘的性能提升。
參考文獻:
[1]維基百科 Apache Hadoop [EB/01] http:///wiki/Apache_Hadoop,2015
[2]Hadoop 技術 [EB/01] http:/// ,2010
[3]朱珠. 基于 Hadoop 的海量數據處理模型研究和應用[D].北京:北京郵電大學,2008.
[4]JeffreyDean, SanjayGhemawat. MapReduce: Symplified Data Processing on Large Clusters
[J].NewYork: ACM, 2008, 51(1):107~113.
[5]韓家煒, 坎伯. 數據挖掘概念與技術[M]. 北京:機械工業出版社,2008.
[6]Dean J,Ghemawat S.MapReduce:Simplifier date processing on large munications of the ACM ,2008,51(1):107-113
[7]B.Callaghan,B.Pawlowski,P. Staubach RFC 1813-NFS Version 3 Protocol Specification June 1995.
[8]Jeffrey Dean. Experiences with MapReduce, an abstraction for large-scale computation Proc.15th International Conference on Parallel Architectures and Compilation Techniques,2006:1.
[9]Yang Lai, Shi ZhongZhi. An Efficient Data Ming Framework on Hadoop using Java Persistence API. 2010 10th IEEE International Conference on Computer and Information Technology (CIT 2010).