(轉(zhuǎn)載請(qǐng)注明出處：http://blog.csdn.net/buptgshengod)

1.參會(huì)有感

? ? ? 首先還是非常感謝CSDN能給我票，讓我有機(jī)會(huì)參加這次中國(guó)云計(jì)算峰會(huì)。感覺(jué)不寫(xiě)點(diǎn)什么對(duì)不起CSDN送我的門(mén)票（看到網(wǎng)上賣(mài)一千多一張呢）。 ? ? ? ? 還是得從國(guó)家會(huì)議中心說(shuō)起，兩年前l(fā)z曾經(jīng)在那當(dāng)過(guò)IDF的志愿者，當(dāng)時(shí)是純體力勞動(dòng)，負(fù)責(zé)給參會(huì)人員發(fā)一些雜志什么的，當(dāng)時(shí)苦逼的為了多蹭一個(gè)盒飯躲到柜子后面直到開(kāi)飯。真沒(méi)想到兩年后可以以來(lái)賓的身份參加國(guó)家會(huì)議中心的大會(huì)（雖然午餐還是苦逼的盒飯吧），這次真的可以走進(jìn)主會(huì)議場(chǎng)聆聽(tīng)專(zhuān)家們的報(bào)告。說(shuō)實(shí)話(huà)，一進(jìn)主會(huì)議場(chǎng)看到幾千個(gè)碼農(nóng)，都是差不多的裝扮，真的有點(diǎn)小震撼。 ? ? ? ? 聽(tīng)了幾個(gè)院士和運(yùn)營(yíng)商老總的報(bào)告，最震撼的還是微軟副總裁王亞勤先生的演講，感覺(jué)挺震撼的。不得不說(shuō)微軟就是微軟（大家可以搜搜這段演講看一下），他說(shuō)的有一句話(huà)很有意思“從互聯(lián)網(wǎng)讓我們從物理變?yōu)樘摂M，現(xiàn)在云讓我們從虛擬變回物理”（沒(méi)看懂的可以留言討論哈）。 ? ? ? ? 參加這次大會(huì)不是為了學(xué)一個(gè)算法或是什么，應(yīng)該是從宏觀上了解云的發(fā)展。李德毅院士說(shuō)：云就是計(jì)算P級(jí)數(shù)據(jù)的能力。確實(shí)，隨著數(shù)據(jù)過(guò)剩的時(shí)代已經(jīng)到來(lái)。數(shù)據(jù)成了解決問(wèn)題的基礎(chǔ)，算法是解決問(wèn)題的工具，云就是我們的途徑。

2.云就在身邊

? ? ?下面寫(xiě)下我最近在操作阿里云的一些感受，博主參加了阿里的天貓大數(shù)據(jù)競(jìng)賽，靠著抱大腿戰(zhàn)術(shù)成功入圍S2，阿里給每個(gè)進(jìn)入S2階段的隊(duì)伍開(kāi)設(shè)了服務(wù)器端的賬號(hào)。先秀一下，阿里云端的虛擬機(jī)界面，（苦逼的xp）
下面一行黑色的就是阿里云odps的命令行工具，在里面可以進(jìn)行數(shù)據(jù)庫(kù)操作，主要是sql語(yǔ)句。我的理解是這個(gè)odps就是hadoop的改版，不知道這種說(shuō)法對(duì)不對(duì)。 ? ? ? ? 記得當(dāng)年，我們寢室的czx問(wèn)我們幾個(gè)什么是云，旭哥說(shuō)了：“我覺(jué)得云就是分布式。”

（1）MR ? ? ? ?

? ? ? ? 分布式就是將大量的數(shù)據(jù)運(yùn)算按照一定規(guī)則分配到云上的無(wú)數(shù)個(gè)服務(wù)器上，并行完成，這樣就可以極大地提高運(yùn)算效率。然而，如何分配，計(jì)算完又如何將數(shù)據(jù)匯總，這就依賴(lài)于MapReduce了，這里簡(jiǎn)稱(chēng)MR。 ? ? ? ? MR來(lái)源于google的一篇論文，MR分為mapper和reducer，mapper是將數(shù)據(jù)切割為key，value對(duì)的形式，reducer是對(duì)每個(gè)key的value的邏輯進(jìn)行計(jì)算。driver負(fù)責(zé)一些傳入傳出的數(shù)據(jù)入口。上個(gè)圖吧，這是我在阿里服務(wù)器上的一個(gè)MR程序
? ? ? ? 寫(xiě)好的MR程序，export成為jar文件，再傳到云上，將數(shù)據(jù)庫(kù)的table輸入就可以實(shí)現(xiàn)對(duì)應(yīng)的算法了。

?（2）udf

? ? ? ? ?udf就是實(shí)現(xiàn)云端的sql的function函數(shù)。舉個(gè)例子，比如說(shuō)有個(gè)表，里面的數(shù)據(jù)是412142=>3522。我們想以中間的箭頭符號(hào)為分隔，獲取412142或是3522.因?yàn)閟ql中是沒(méi)有類(lèi)似于splite的函數(shù)的。所以我們要寫(xiě)一個(gè)sql的function實(shí)現(xiàn)這個(gè)功能。這個(gè)function我們用java寫(xiě)好，只要將生成的jar文件放到云端，就可以調(diào)用。
? ? ? ?
? ? ? ? ? 以上是我對(duì)于云的一些感受和看法，歡迎大家留言討論！

總結(jié)

以上是生活随笔為你收集整理的云计算大会有感—MapReduce和UDF的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。