熱門標簽:代寫本科論文 寫作發表 工程師論文 代寫一篇論文多少錢
當前位置: 代寫一篇論文多少錢 > 計算機論文 > 大數據云相關技術內容探究

大數據云相關技術內容探究

時間:2019-06-11 14:28作者:曼切
本文導讀:這是一篇關于大數據云相關技術內容探究的文章,在數據組織和處理方面, 知識的發現和決策是一項具有挑戰性的任務, 這是一種被稱為“大數據計算”的新興趨勢, 它是一種將大規模計算、新的數據密集型技術和數學模型結合起來的新模式, 用于構建數據分析。

  摘    要: 信息技術的進步及其在商業、工程、醫學和科學研究等領域的廣泛發展, 導致了信息/數據爆炸, 大數據的組織和處理需要巨大的存儲和計算能力。文章研究了大數據云, 大數據和云計算的集成技術, 以及大數據計算作為云計算的服務。

  關鍵詞: 大數據; 云計算; 大數據云; 數據分析;

  信息技術的進步及其在商業、工程、醫學和科學研究領域的廣泛發展, 導致信息/數據爆炸。在數據組織和處理方面, 知識的發現和決策是一項具有挑戰性的任務, 這是一種被稱為“大數據計算”的新興趨勢, 它是一種將大規模計算、新的數據密集型技術和數學模型結合起來的新模式, 用于構建數據分析。

  一、大數據云的特點及分類

  來自社會媒體、網絡日志、科學研究、傳感器網絡、商業交易等多種來源的數據正在迅速增長。從如此大的數據中獲得有用的決策信息, 將來自多個來源的信息融合起來將是一項具有挑戰性的任務。

  大數據云計算也稱為“大數據云”, 它是大規模、分布式計算和存儲基礎設施的數據密集型分析平臺。大數據云的特點如下:1.大規模分布式計算和數據存儲:廣泛的計算設施, 無縫地訪問可伸縮的存儲庫和數據服務;2.信息定義數據存儲:基于元數據的數據訪問而不是路徑和文件名;3.分布式虛擬文件系統:文件系統可以動態創建和映射到計算集群;4.計算和數據的無縫訪問:透明訪問大規模數據和計算資源;5.數據容器和計算資源的動態選擇:能夠處理虛擬機的動態創建, 并能夠訪問增加數據位置鄰近度的大規模分布式數據源;6.高性能數據和計算:計算和數據應是高性能驅動的;7.多維數據處理:支持多種形式的數據, 并使用必要的工具進行處理;8.分析平臺服務:能夠在環境中開發、部署和使用分析;9.計算和數據的高可用性:計算和數據的復制機制;10.數據密集型計算平臺:支持傳統和新興的數據密集型計算模型以及應用程序的可擴展部署和執行。

大數據云相關技術內容探究

  大數據云是新一代數據密集型平臺, 用于快速構建分析并通過可彈性擴展的基礎架構進行部署。根據向最終用戶提供的服務, 這些服務大致分為四種類型。

  公共大數據云:基于彈性可伸縮云基礎設施的大規模數據組織和處理。資源通過互聯網作為付費計算模式提供服務。例子包括Amazon云中的大數據計算, 大數據計算的Windows Azure HDInsight, RackSpace Cloudera Hadoop和Google云平臺。

  私有大數據云:通過虛擬化基礎架構在企業內部署大數據平臺, 對單個組織擁有更大的控制權和隱私權。

  混合大數據云:公共和私有大數據云的聯合, 提高了系統的可擴展性, 災難恢復和高可用性。在此部署中, 私有任務可以在峰值工作負載期間遷移到公共基礎設施上。

  大數據訪問網絡和計算平臺:由多個不同提供商作為服務提供的數據、計算和分析的集成平臺。

  二、大數據云元素

  大數據和傳統的數據倉庫機制在很多方面都存在差異, 比如大規模數據組織, 以及對數據科學家進行分析開發的平臺和工具。

  1.大數據基礎設施服務:該層提供核心服務, 如大數據的計算、存儲和數據服務。

  計算云:按需提供計算資源, 可以根據分析需求進行擴展或縮減。

  存儲云:通過網絡提供的大量存儲空間。提供的存儲包括文件系統, 塊存儲和基于對象的存儲。存儲云提供可選擇的文件系統, 并且還可彈性擴展。存儲云通常基于數據量和事務/數據傳輸的定價模型進行訪問。存儲云提供的幾種服務是原始的、塊的和基于對象的存儲。

  數據云:數據云類似于存儲云;然而, 與存儲空間交付不同, 它們提供數據作為服務。數據云提供了發布數據、標記數據、發現數據和處理感興趣數據的工具和技術。基于數據采集、分析、分析報告和長期保存數據的“標準科學模型”四個步驟, 數據云運行在利用存儲云的領域特定數據上, 以服務數據。

  2.大數據平臺服務:此層提供調度器, 數據檢索查詢機制和數據密集型編程模型, 以解決多個大數據分析問題。

  3.大數據分析服務:將大數據分析作為大型數據云基礎設施的服務。服務將根據服務級別協議 (SLA) 提供給企業, 滿足QoS參數。

  三、大數據云分層體系結構

  大數據云計算的體系結構被表示為四層模型。云基礎設施層處理彈性的可伸縮計算、存儲和網絡基礎設施。大數據結構層解決了用于數據管理、訪問和聚合的幾種工具。第三層是平臺層, 它處理用于數據訪問和處理的工具和技術, 用于設計用于執行的分析和調度模型的編程環境, 等等;頂層是大數據分析, 專注于分析使用, 以及發布標準, 將其作為服務。

  1.云基礎設施層:大規模地管理動態和彈性可伸縮的大型基礎設施, 計算和存儲資源作為服務。虛擬化技術用于根據SLA和QoS參數對資源進行按需配置。該層提供的服務如下:1.大型彈性基礎設施, 按需建立大型數據平臺;2.動態創建虛擬機;3.按需對文件/塊/基于對象的存儲進行大規模的數據管理;4.在存儲庫中無縫移動數據的能力;5.能夠創建虛擬機, 并使用計算節點自動安裝文件系統。

  2.大數據結構:該層解決可以訪問存儲, 計算和應用程序服務的工具和API。該層提供可互操作的協議API來連接指定的多個云基礎設施標準。

  3.大數據平臺作為服務:核心層提供多種平臺服務, 用于存儲/數據以及基于SLA和QoS的計算服務。該層由中間件管理工具 (如調度程序) , 數據管理工具 (如NoSQL工具) 和數據密集型數據處理程序組成。這一層將主要關注工具和軟件開發工具包 (SDK) 的開發, 這些工具是分析設計的關鍵。

  4.大數據分析:作為服務提供的大數據分析, 用戶可以快速地進行分析工作, 而無需投資于基礎設施, 只為所消耗的資源支付費用。該層組織軟件設備存儲庫, 并在基礎設施上快速部署, 并將最終結果交付給用戶;定價將根據使用情況、QoS提供的方法計算。

  四、分層的組件

  (一) 基礎設施層

  該層提供有效管理和交付計算元素、存儲、數據和網絡基礎設施的服務。該層又分為資源層和接口層兩個子層。資源層在物理或虛擬環境中方便計算、存儲和數據服務。物理環境類似于沒有虛擬化的數據中心, 類似于本地網絡中的集群設置。在虛擬環境中, 它可能是一個私有/公共/混合云提供商, 提供基于消費的服務。物理和虛擬環境下資源層的功能相似;然而, 虛擬環境提供的資源利用率高;然而, 隨需應變的資源配置和高度可伸縮的特性, 由于強制的虛擬化技術而導致性能下降。

  1. 資源層:

  資源層包括物理資源和云資源。通過本地數據中心或內部提供的非虛擬計算和存儲資源。可以通過標準協議、網絡接口訪問物理資源。虛擬化/云資源由幾個云計算提供商 (如計算, 存儲和應用程序云) 提供。計算云可根據需要提供多種可擴展的機器實例;存儲/數據云在線提供存儲庫或數據, 有時兩者都提供。云基礎架構可能是私有的, 公共的或兩者兼而有之。但是, 訪問機制和安全實現將根據所選擇的云的類型不同而有所不同。

  2. 接口層:

  接口層支持基于Web和可互操作服務的開放標準協議。主要挑戰包括異構硬件和存儲基礎設施之間的互操作性, 以及不同云提供商之間的遷移/訪問。接口層提供了訪問計算資源、存儲資源和應用程序服務的標準接口。這一層根據提供給基礎層的服務劃分為四個組件, 例如網絡接口協議、云計算管理接口 (CCMI) 、云存儲/數據管理接口 (CS/DMI) 和云應用服務接口 (CASI) 。

  (二) 大數據平臺層

  這是一個中間件層, 根據功能進一步劃分為四個子層;它們是基礎層、運行時間層、編程建模層和SDK層。基礎層提供了資源管理、數據存儲、數據管理、安全性和虛擬設備的機制。運行時間層解決了幾個調度機制和作業管理機制。編程建模層采用了幾個編程標準;SDK層提供用于多種語言編程的API。

  (三) 用戶

  系統的若干利益相關者如:1.開發人員:大數據通用應用設計師;2.數據科學家:設計分析應用程序的數據分析師。這可能是業務分析, 科學探索等;3.終端用戶:系統的分析用戶。

  大數據云允許企業在其產品, 資源或客戶上收集實時數據點, 然后重新打包, 以優化客戶體驗或資源利用率;大數據云提供服務和付費的消費模式, 有效降低應用程序開發的成本;大數據云能提高組織內數據共享的數量和更新的速度, 使企業和其他組織能夠更快、更準確地響應客戶需求;大數據云使企業能夠通過快速建立大數據數據庫和編寫分析來挖掘信息, 從而節省資金, 增加收入, 并在垂直方面實現許多其他業務目標。

聯系我們
范文范例
網站地圖 | 網站介紹 | 聯系我們 | 服務承諾| 服務報價| 論文要求 | 期刊發表 | 服務流程
极速快乐十分彩