摘要： 阿里云E-MapReduce實踐 E-MapReduce的HBase集群間遷移 E-MapReduce提供HBase服務(wù)，本文介紹了幾種HBase集群間遷移的方法。 E-MapReduce中Spark 2.x讀寫MaxCompute數(shù)據(jù) 最新的aliyun-emapreduce-sdk將MaxCompute數(shù)據(jù)以DataSource的方式接入Spark 2.x，用戶可以使用類似Spark 2.x中讀寫json/parquet/csv的方式來訪問MaxCompute。

阿里云E-MapReduce實踐

• E-MapReduce的HBase集群間遷移
  E-MapReduce提供HBase服務(wù)，本文介紹了幾種HBase集群間遷移的方法。
• E-MapReduce中Spark 2.x讀寫MaxCompute數(shù)據(jù)
  最新的aliyun-emapreduce-sdk將MaxCompute數(shù)據(jù)以DataSource的方式接入Spark 2.x，用戶可以使用類似Spark 2.x中讀寫json/parquet/csv的方式來訪問MaxCompute。

資訊

• 數(shù)據(jù)API經(jīng)濟與大規(guī)模數(shù)據(jù)流通：從水的寓言說起
  近期數(shù)據(jù)API接口服務(wù)逐漸興起，正因數(shù)據(jù)API服務(wù)允許需求方“挑數(shù)據(jù)”，并具備“開箱即用”以及降低交易成本與門檻等優(yōu)點，將會成為數(shù)據(jù)能力開放與交易流通的重要手段。但數(shù)據(jù)API從當(dāng)前的實踐來看遠非完美，運營不慎會導(dǎo)致類似金融領(lǐng)域洗錢行為的“洗數(shù)”活動出現(xiàn)，并在隱私保護、計費方面存在不足，因此本文提出了“增強型數(shù)據(jù)交換導(dǎo)向API”的概念，使得數(shù)據(jù)API經(jīng)濟能在深思熟慮的頂層設(shè)計下運行。本文將從一個寓言故事引出上述探討。
• 對農(nóng)業(yè)大數(shù)據(jù)資源目錄體系的一點思考
  筆者對農(nóng)業(yè)大數(shù)據(jù)資源的目錄體系做了一些思考和探索，從多個維度和領(lǐng)域?qū)r(nóng)業(yè)大數(shù)據(jù)進行了初步的規(guī)劃分類，并對技術(shù)實現(xiàn)思路進行了初步的考慮。
• 基于MIT研發(fā)出腦控機器人：可使用腦波為機器人糾錯
  麻省理工學(xué)院的計算機科學(xué)和人工智能實驗室(CSAIL)的團隊和波士頓大學(xué)打造出了一種反饋系統(tǒng)，讓人類僅用大腦就可以迅速糾正機器人犯下的錯誤，這款 MIT 研發(fā)出的反饋系統(tǒng)能夠讓人類操作者僅通過大腦信號就能實時糾正機器人做出的選擇。
• （技術(shù)）基于Hadoop的數(shù)據(jù)倉庫Hive 基礎(chǔ)知識
  Hive是基于Hadoop的數(shù)據(jù)倉庫工具，可對存儲在HDFS上的文件中的數(shù)據(jù)集進行數(shù)據(jù)整理、特殊查詢和分析處理，提供了類似于SQL語言的查詢語言–HiveQL，可通過HQL語句實現(xiàn)簡單的MR統(tǒng)計，Hive將HQL語句轉(zhuǎn)換成MR任務(wù)進行執(zhí)行。
• （技術(shù)）Flink-CEP論文與源碼解讀之狀態(tài)與狀態(tài)轉(zhuǎn)換
  Flink的CEP設(shè)計與實現(xiàn)重度參考了論文《Efficient Pattern Matching over Event Streams》。該文章結(jié)合論文談了Flink CEP的設(shè)計。
• （技術(shù)）Spark性能優(yōu)化之道——解決Spark數(shù)據(jù)傾斜（Data Skew）的N種姿勢
  文結(jié)合實例詳細(xì)闡明了Spark數(shù)據(jù)傾斜的幾種場景以及對應(yīng)的解決方案，包括避免數(shù)據(jù)源傾斜，調(diào)整并行度，使用自定義Partitioner，使用Map側(cè)Join代替Reduce側(cè)Join，給傾斜Key加上隨機前綴等。
• （技術(shù)）從0到1認(rèn)識 Spark SQL Catalyst
  本文主要介紹SparkSQL的優(yōu)化器系統(tǒng)Catalyst。

總結(jié)

以上是生活随笔為你收集整理的开源大数据周刊-第44期的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。