目錄

• 簡介
• 背景
• • NIST大數據互操作性框架將發布三個版本
  • 關鍵組件
• 結論
• • 數據管理和存儲
  • 大數據分析和應用程序界面
  • 大數據基礎架構

簡介

大數據是一個術語，用于描述網絡、數字化、傳感器負載、信息驅動的世界中的大量數據。雖然大數據存在機遇，但數據可能會淹沒傳統的技術方法，數據的增長速度超過了數據分析領域的科技進步。為了推進大數據方面的進展，NIST大數據公共工作組(NBD-PWG)正在努力就與大數據相關的重要基本概念達成共識。結果在NIST大數據互操作性框架系列卷中進行了報告。本卷，第5卷，介紹了參考體系結構調查的結果。詳細描述了審查的參考體系結構，隨后是參考體系結構比較的摘要
本文檔**《NIST大數據互操作性框架:第5卷體系結構白皮書調查》**由NIST大數據公共工作組(NBD-PWG)參考體系結構分組編寫，旨在促進對大數據操作復雜性的理解，并作為使用通用參考框架開發特定系統體系結構的工具。該小組調查了目前由支持大數據框架的領先公司或個人發布的大數據平臺，并對材料進行了分析。這項工作揭示了大數據架構的顯著一致性。被調查的架構中最常見的主題概述如下。
大數據管理
結構化、半結構化和非結構化數據速度、種類、數量和可變性
SQL和NoSQL分布式文件系統大數據分析描述性、預測性和空間性
實時交互式批處理分析報告
儀表板大數據基礎設施
內存數據網格操作數據庫分析數據庫關系
數據庫平面文件內容管理
系統橫向可擴展架構NIST大數據互操作性框架由七個部分組成，
每個部分都針對一個特定的關鍵主題，源自這七卷是:第1卷，定義；第2卷，分類；第3卷，用例和一般要求；第4卷，安全和隱私；第5卷，架構白皮書調查；第6卷，參考架構；第7卷，標準路線圖
NIST大數據互操作性框架將發布三個版本，對應于NBD-PWG工作的三個開發階段。這三個階段旨在實現NIST大數據參考架構的以下目標。階段1:確定高級大數據參考體系結構的關鍵組件，這些組件與技術、基礎架構和供應商無關。階段2:定義NBDRA組件之間的一般接口。階段3:通過通用接口構建大數據通用應用程序，驗證NBDRA。本卷第1.5節重點介紹了分組在第2階段的潛在未來工作領域。本卷中記錄的當前工作反映了在快速發展的大數據領域中開發的概念。

背景

商業、學術和政府領導人廣泛認同大數據在激發創新、推動商業和推動進步方面的巨大潛力。
大數據是一個通用術語，用于描述當今網絡化、數字化、傳感器負載和信息驅動的世界中的海量數據。大量數據資源的可用性有可能回答以前無法回答的問題，包括以下問題:如何能夠足夠早地可靠檢測到潛在的大流行并進行干預？
在合成具有先進性能的新材料之前，能否對這些材料進行預測？
在防范網絡安全威脅方面，攻擊者目前相對于防御者的優勢如何逆轉？大數據壓倒傳統方法的能力也得到了廣泛認同。數據量、速度和復雜性的增長率超過了數據分析、管理、傳輸和數據用戶領域的科技進步。盡管對大數據固有的機遇和當前的局限性有著廣泛的共識，但在一些重要的基本問題上缺乏共識繼續困擾著潛在用戶，阻礙著進展。這些問題包括以下內容:什么屬性定義了大數據解決方案？
大數據與傳統數據環境和相關應用有何不同？
大數據環境的基本特征是什么？
這些環境如何與當前部署的架構集成？
為了加速部署強大的大數據解決方案，需要應對哪些核心科學、技術和標準化挑戰？
在這種背景下，2012年3月29日，白宮宣布了大數據研究和開發計劃。1該計劃的目標包括幫助加快科學和工程領域的發現速度，加強國家安全，以及通過提高從大量復雜的數字數據中提取知識和見解的能力來轉變教學和學習方式。六個聯邦部門及其機構宣布了超過2億美元的承諾，涵蓋80多個項目，旨在顯著改善從海量數字數據中訪問、組織和得出結論所需的工具和技術。該計劃還要求行業、研究型大學和非營利組織與聯邦政府合作，充分利用大數據創造的機會。在白宮倡議和公眾建議的推動下，國家標準與技術研究所(NIST)接受了挑戰，鼓勵行業專業人士合作，以進一步安全有效地采用大數據。作為2013年1月15日至17日舉行的NIST云和大數據論壇的一項成果，人們強烈鼓勵NIST創建一個公共工作組來開發大數據互操作性框架。論壇參與者指出，該框架應定義大數據需求并確定其優先級，包括互操作性、可移植性、可重用性、可擴展性、數據使用、分析和技術基礎架構。這樣，該框架將加快采用最安全、最有效的大數據技術和工藝。
2013年6月19日，NIST大數據公共工作組**(NBD-PWG)成立**，來自全國各地的行業、學術界和政府廣泛參與。NBD-PWG協議的范圍包括形成一個包括工業、學術界和政府在內的所有部門的利益共同體，目標是在定義、分類、安全參考體系結構、安全性和隱私方面達成共識，并由此形成一個標準路線圖。這種共識將創建一個供應商中立、技術和基礎設施獨立的框架，使大數據利益相關方能夠在最合適的計算平臺和集群上為其處理和可視化需求確定和使用最佳分析工具，同時也允許大數據服務提供商實現增值。
NIST大數據互操作性框架由七卷組成，每一卷都涉及一個特定的關鍵主題，這是NBD-PWG研究所的工作成果。這七卷是:第1卷，定義；第2卷，分類；第3卷，用例和一般要求；第4卷，安全和隱私；第5卷，架構白皮書調查；第6卷，參考架構；第7卷，標準路線圖

NIST大數據互操作性框架將發布三個版本

對應于NBD-PWG工作的三個階段。這三個階段旨在實現NIST大數據參考架構的以下目標。)
階段1:確定高級NBDRA關鍵組件，這些組件與技術、基礎架構和供應商無關。
階段2:定義NBDRA組件之間的一般接口。階段3:通過通用接口構建大數據通用應用程序，驗證NBDRA。本卷第1.5節重點介紹了分組在第2階段的潛在未來工作領域。本卷中記錄的當前工作反映了在快速發展的大數據領域中開發的概念。

關鍵組件

大數據分析平臺應該是縱向和橫向可擴展的，這可以在使用基于云的平臺和云間集成模型和架構時自然實現

還有很多其他平臺的大數據架構，這里不一一列舉

結論

通過收集、審查和比較大數據架構實施，發現了許多共性。被調查的架構之間的這些共性有助于NBDRA的發展。盡管每個大數據系統都是根據特定實施的需求定制的，但大多數實施中都包含某些關鍵組件。在調查的體系結構中觀察到三個通用組件，如下所述，每個組件都列出了關鍵注意事項。圖18包含關于三個通用組件的附加信息。

數據管理和存儲

結構化、半結構化和非結構化數據的大的數量
種類、速度和可變性
分布式文件系統
SQL和NoSQL

大數據分析和應用程序界面

描述性、預測性和空間性，
實時
交互式
批處理分析
報告

大數據基礎架構

內存數據
網格操作
數據庫分析
關系數據庫
平面文件內容管理系統
水平可擴展架構

大多數被調查的體系結構為數據用戶/消費者和協調者提供支持，并提供系統管理、數據資源管理、安全和數據治理等功能。這些體系結構還顯示出普遍缺乏標準化和充分的支持來解決數據安全和隱私問題。額外的數據安全和隱私標準化將加強大數據平臺。

總結

以上是生活随笔為你收集整理的NIST Big Data Interoperability的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。