對于復(fù)雜事件處理和Twitter API的新手，我希望這是一個簡短的教程，可以幫助他們Swift起步。

管理大數(shù)據(jù)并從中挖掘有用的信息是當(dāng)前技術(shù)中最熱門的討論主題。 來自Twitter，Facebook和Linkedin等社交網(wǎng)絡(luò)的半結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長使Hadoop，Cassandra等技術(shù)成為每個技術(shù)對話的一部分。 為了不落后于競爭，所有以客戶為中心的組織都在積極參與制定社會戰(zhàn)略。
公司可以從社交網(wǎng)絡(luò)中獲取什么數(shù)據(jù)？ 為初學(xué)者考慮基于位置的服務(wù)，定向廣告和算法股權(quán)交易。 IDC Insights擁有一些有關(guān)大數(shù)據(jù)與業(yè)務(wù)分析之間關(guān)系的信息博客 。 Barb Darrow在gigaom.com上的博客文章中解釋說，大數(shù)據(jù)本身將是毫無意義的，除非可以使用合適的分析工具進行篩選。

公司通常會聽取社交信息，以了解客戶對產(chǎn)品的興趣或看法。 他們還試圖確定“影響者”（在社交圖中聯(lián)系最多的人），以便他們可以向此類人員提供更好的報價，并從他們的營銷中獲得更大的收益。 從事股票交易的公司想知道在Twitter上討論了哪些公開貿(mào)易公司，以及用戶對此的看法。

從像IBM這樣的大公司到規(guī)模較小的新興企業(yè)，每個人都在競相利用大數(shù)據(jù)管理和分析的大部分機會。 可以從Web上免費獲得許多有關(guān)大數(shù)據(jù)的文檔，例如IBM'Big Data Platform'的電子書。 但是，其中很多僅涉及理論。 Jouko Ahvenainen在回應(yīng)Barb Darrow的上述帖子時指出，“許多談?wù)摯髷?shù)據(jù)機會的人過于籠統(tǒng)，談?wù)摰氖歉玫目蛻衾斫?#xff0c;更好的銷售等。實際上，您必須非常具體，您利用什么以及如何使用”。

聽起來合理，不是嗎？ 因此，我開始通過制作一個想法原型來進一步研究這一點，這是我知道的唯一好的選擇。 如果我能做到，那么任何人都可以做到。 該代碼非常簡單。 但是，這就是重點。 自己編寫CEP框架非常復(fù)雜，但使用起來卻不是。 同樣，Twitter使通過REST API獲取信息變得非常容易。

大數(shù)據(jù)– http://www.bigdatabytes.com/managing-big-data-starts-here/

我之前在博客中寫道，復(fù)雜事件處理（CEP）是大數(shù)據(jù)框架的關(guān)鍵組成部分。 與CEP一起，具有Hadoop的框架用于從社交網(wǎng)絡(luò)的24×7數(shù)據(jù)流中進行編譯，解析和理解。 今天，Twitter的流式API和CEP可以一起使用，以捕獲Twitter用戶的幸福感。 每當(dāng)我在推文的文本中發(fā)現(xiàn)“大聲笑”時，我在下面提供的代碼都會偵聽實時推文，以生成一個“幸?！笔录?CEP用于捕獲快樂事件，并且每當(dāng)在預(yù)定時間段內(nèi)快樂事件的計數(shù)超過預(yù)定數(shù)量時，都會發(fā)出警報。 假設(shè)用戶每次使用“大聲笑”都會感到高興，這是非常簡單的，但這有助于理解要點。 在實踐中，衡量用戶的情感并不容易，因為它涉及自然語言分析。 考慮下面的示例，該示例突出了分析自然語言的復(fù)雜性。

Iphone從來沒有變好。

Iphone從未 如此出色。

如您所見，在句子中僅添加一個單詞就完全改變了含義。 因此，自然語言處理被認為是計算機科學(xué)中最棘手的問題之一。 您可以使用斯坦福大學(xué)提供的免費在線講座來學(xué)習(xí)“自然語言處理”。 該鏈接直接帶您進入克里斯托弗·曼寧（Christopher Manning）關(guān)于自然語言分析的第一堂課。 但是，以我的觀點，在社交媒體和現(xiàn)代通用術(shù)語中普遍使用縮寫詞使這項工作變得容易一些。 諸如“ lol”和“ AFAIK”之類的縮寫準(zhǔn)確地表達了含義。 使用“大聲笑”項目“有趣”和“ AFAIK”可能表示用戶“不確定”他或她自己。

下面提供的代碼使用Twitter4j api收聽實時Twitter提要，使用Esper CEP收聽事件并在達到閾值時提醒我們。 您可以從http://twitter4j.org/en/index.html下載twitter4j二進制文件或源文件，也可以從http://esper.codehaus.org/下載Esper。 在執(zhí)行代碼之前，請確保創(chuàng)建一個Twitter帳戶（如果您沒有的話），并在此處閱讀Twitter的指南和概念及其流API。 Twitter目前僅允許通過用戶名和密碼組合進行身份驗證，但是不久之后將逐步淘汰該方法，以支持oAuth身份驗證。 另外，請密切注意其“訪問和速率限制”部分。

以下代碼在一個線程中使用流式API。 請不要同時使用其他線程，以免達到速率限制。 持續(xù)達到命中率限制可能會導(dǎo)致Twitter將您的Twitter ID列入黑名單。 同樣重要的是要注意，流式API并不是以我們的方式發(fā)送每條推文。 Twitter通常會通過每10條發(fā)一條信息發(fā)送1條樣本來對數(shù)據(jù)進行采樣。 但是，對于我們來說這不是問題，只要我們對數(shù)據(jù)中的模式感興趣，而不對任何特定的推文感興趣。 Twitter為需要無速率限制的流數(shù)據(jù)的企業(yè)提供付費服務(wù)。 下圖顯示了數(shù)據(jù)的組成和處理。

圖。 代碼中尚未實現(xiàn)的圖表和數(shù)據(jù)庫

package com.sybase.simple;public class HappyMessage {public String user;private final int ctr=1;public String getUser() {return user;}public void setUser(String user) {this.user = user;}public int getCtr() {return ctr;} }

清單1.表示快樂事件的標(biāo)準(zhǔn)java bean。

package com.sybase.simple;package com.sybase.simple;import com.espertech.esper.client.EventBean; import com.espertech.esper.client.UpdateListener;public class HappyEventListener implements UpdateListener{public void update(EventBean[] newEvents, EventBean[] oldEvents) {try {if (newEvents == null) {return;}EventBean event = newEvents[0];System.out.println("exceeded the count, actual " + event.get("sum(ctr)"));} catch (Exception e) {e.printStackTrace();}} }

清單2.定義了Esper偵聽器。

package com.sybase.simple;package com.sybase.simple;import java.io.IOException;import twitter4j.Status; import twitter4j.StatusDeletionNotice; import twitter4j.StatusListener; import twitter4j.TwitterException; import twitter4j.TwitterStream; import twitter4j.TwitterStreamFactory; import twitter4j.conf.Configuration; import twitter4j.conf.ConfigurationBuilder;import com.espertech.esper.client.EPServiceProvider; import com.espertech.esper.client.EPServiceProviderManager; import com.espertech.esper.client.EPStatement;public class TwitterTest {static EPServiceProvider epService;public static void main(String[] args) throws TwitterException, IOException {// Creating and registering the CEP listenercom.espertech.esper.client.Configuration config1 = new com.espertech.esper.client.Configuration();config1.addEventType("HappyMessage", HappyMessage.class.getName());epService = EPServiceProviderManager.getDefaultProvider(config1);String expression = "select user, sum(ctr) from com.sybase.simple.HappyMessage.win:time(10 seconds) having sum(ctr) > 2";EPStatement statement = epService.getEPAdministrator().createEPL(expression);HappyEventListener happyListener = new HappyEventListener();statement.addListener(happyListener);ConfigurationBuilder cb = new ConfigurationBuilder();cb.setDebugEnabled(true);//simple http form based authentication, you can use oAuth if you have one, check Twitter4j documentationcb.setUser("your Twitter user name here");cb.setPassword("Your Twitter password here");// creating the twitter listenerConfiguration cfg = cb.build();TwitterStream twitterStream = new TwitterStreamFactory(cfg).getInstance();StatusListener listener = new StatusListener() {public void onStatus(Status status) {if (status.getText().indexOf("lol") > 0) {System.out.println("********* lol found *************");raiseEvent(epService, status.getUser().getScreenName(),status);}}public void onDeletionNotice(StatusDeletionNotice statusDeletionNotice) {System.out.println("Got a status deletion notice id:"+ statusDeletionNotice.getStatusId());}public void onTrackLimitationNotice(int numberOfLimitedStatuses) {System.out.println("Got track limitation notice:"+ numberOfLimitedStatuses);}public void onScrubGeo(long userId, long upToStatusId) {System.out.println("Got scrub_geo event userId:" + userId+ " upToStatusId:" + upToStatusId);}public void onException(Exception ex) {ex.printStackTrace();}};twitterStream.addListener(listener);//twitterStream.sample();}private static void raiseEvent(EPServiceProvider epService, String name,Status status) {HappyMessage msg = new HappyMessage();msg.setUser(status.getUser().getScreenName());epService.getEPRuntime().sendEvent(msg);}} }

清單3。

Twitter4j偵聽器已創(chuàng)建。 此偵聽器和CEP偵聽器開始偵聽。 每個Twitter帖子都被解析為“大聲笑”。 每次找到“哈哈”，都會生成一個快樂事件。 每當(dāng)最近10秒內(nèi)“ lol”的總數(shù)超過2時，CEP偵聽器都會發(fā)出警報。
該代碼建立了一個長期運行的線程來獲取Twitter提要。 每次達到閾值時，您都會在控制臺上看到輸出。 請記住要終止程序，它不會自行終止。

現(xiàn)在，您已經(jīng)可以使用此基本功能，可以通過多種方式擴展此原型。 您可以處理其他數(shù)據(jù)提要（來自Twitter以外的其他來源），并使用Esper對來自兩個數(shù)據(jù)提要的數(shù)據(jù)進行核對。 為了使輸出具有視覺吸引力，您可以將輸出提供給某些圖表庫。 例如，每次Esper識別事件時，數(shù)據(jù)點都將用于在折線圖上渲染一個點。 如果以這種方式跟蹤“快樂事件”，那么該圖將本質(zhì)上顯示Twitter用戶在一段時間內(nèi)不斷變化的快樂水平。

請在評論部分中提供您的反饋，并通過+1與他人分享，如果您希望看到更多有關(guān)此主題的信息，請告訴我。

參考：通過我們的JCG合作伙伴 使用Twitter4j和Esper跟蹤Twitter上的用戶情緒 ? Mahesh Gadgil在“ 簡單而實用”博客上。

翻譯自: https://www.javacodegeeks.com/2012/03/twitter4j-and-esper-tracking-user.html

總結(jié)

以上是生活随笔為你收集整理的Twitter4j和Esper：在Twitter上跟踪用户情绪的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。