OSCACHE(转)
2019獨角獸企業重金招聘Python工程師標準>>>
Cache是一種用于提高系統響應速度、改善系統運行性能的技術。尤其是在Web應用中,通過緩存頁面的輸出結果,可以很顯著的改善系統運行性能。本文中作者給大家介紹一個實現J2EE框架中Web應用層緩存功能的開放源代碼項目----OSCache。通過應用OSCache,我們不但可以實現通常的Cache功能,還能夠改善系統的穩定性。
1?面臨的問題
1.1?需要處理的特殊動態內容
在信息系統建設過程中我們通常會遇到這樣的問題:
1.?基礎數據的變更問題
信息系統中需要處理的基礎數據的內容短時間內是不會發生變化的,但是在一個相對長一些的時間里,它卻可能是動態增加或者減少的。
舉個例子:電子商務中關于送貨區域的定義,可能短時間內不會發生變化,但是隨著電子商務企業業務的擴大,系統中需要處理的送貨區域就可能增加。所以我們的系統中不得不在每次向客戶展示送貨區域信息的時候都和數據庫(假設送貨區域信息保存在數據庫中,這也是通常采用的處理方法)進行交互。
2.?統計報表(不僅限于統計報表)的問題
一般來說,統計報表是一個周期性的工作,可能是半個月、一個月或者更長的時間才會需要更新一次,然而統計報表通常是圖形顯示或者是生成pdf、word、excel等格式的文件,這些圖形內容、文件的生成通常需要消耗很多的系統資源,給系統運行造成很大的負擔。
1.2?問題的共同點
通過比較分析,不難發現這兩類問題有一些共同點:
1、被處理的內容短時間不變,所以短時間內可以作為靜態內容進行處理
2、在一個不太長的時間內,被處理的內容可能或者必定產生變化,所以必須將他們作為動態內容進行處理
3、在合理的時間區段內可以忽略被處理內容變化后帶來的影響
4、對這些內容的處理動作比較消耗系統性能,影響系統響應時間
1.3?解決方法
緩存技術可以幫助我們很好的解決這個問題:
1、緩存信息
當上述的基礎數據或者統計報表第一次被訪問時,被處理的內容被當作動態信息,基礎數庫從數據庫中獲得,統計報表也會被生成符合要求的圖形、文件,然后這些信息都會被放入緩存信息中。
2、響應信息由緩存提供
當上述的基礎數據或者統計報表繼續被訪問時,系統將會首先檢查緩存信息中是否有對應的內容和我們設定的緩存規則,如果符合緩存信息存在而且符合緩存規則,給出的響應將來自于緩存信息,如果沒有或者緩存信息已經不符合設定的要求,系統將重復上一步的動作。
很顯然,上面的步驟2中,多數情況下,當用戶請求到達時,被處理的內容將來自于緩存,所以大大的減少了與數據庫的交互,或者不再需要為每個請求都生成一次報表圖形或者文件,這部分工作的減少對于降低系統性能消耗、提高系統穩定性和并發處理能力是非常有益的。
2?OSCache簡介
OSCache是OpenSymphony組織提供的一個J2EE架構中Web應用層的緩存技術實現組件,它的出現解決了我們面臨的問題。?OSCache目前最新的穩定版本是2.3.2,本文中的例子都是基于這個版本的,如果大家運行例子的過程中發生問題,請首先確認是否采用了正確的軟件版本。
2.1?主要特征
1.?兼容多種支持JSP的web服務器
已經通過兼容測試的web服務器包括OrionServer?(1.4.0或者以上版本)?、Macromedia?JRun?(3.0或者以上版本)?、BEA?Weblogic?(7.x或者以上版本)?、IBM?Websphere?(5.0版本)、Silverstream?(3.7.4版本)、Caucho?Resin?(1.2.3或者以上版本)、Tomcat?(4.0或者以上版本)?,其他支持servlet2.3、jsp1.2的web服務器應該都是完全兼容OSCache的。
2.?可選的緩存區
你可以使用內存、硬盤空間、同時使用內存和硬盤或者提供自己的其他資源(需要自己提供適配器)作為緩存區。
- 使用內存作為緩存區將可以提供更好的性能??
- 使用硬盤作為緩存區可以在服務器重起后迅速恢復緩存內容??
- 同時使用內存和硬盤作為緩存區則可以減少對內存的占用??
3.?靈活的緩存系統
OSCache支持對部分頁面內容或者對頁面級的響應內容進行緩存,編程者可以根據不同的需求、不同的環境選擇不同的緩存級別。
4.?容錯
在一般的web應用中,如果某個頁面需要和數據庫打交道,而當客戶請求到達時,web應用和數據庫之間無法進行交互,那么將返回給用戶"系統出錯"或者類似的提示信息,如果使用了OSCache的話,你可以使用緩存提供給用戶,給自己贏得維護系統或者采取其他補救的時間。
其它特性還包括對集群的支持、緩存主動刷新等特性,大家可以參考OpenSymphony網站上的其他資源獲取更多的信息。
3?OSCache組件的安裝
OSCache是一個基于web應用的組件,他的安裝工作主要是對web應用進行配置,大概的步驟如下:
1.?下載、解壓縮OSCache
請到OSCache的主頁http://www.opensymphony.com/oscache/download.html下載Oscache的最新版本,作者下載的是OSCache的最新穩定版本2.0。
將下載后的。Zip文件解壓縮到c:\oscache(后面的章節中將使用%OSCache_Home%來表示這個目錄)目錄下
2.?新建立一個web應用
3.?將主要組件%OSCache_Home%\oscache.jar放入WEB-INF\lib目錄
4.?commons-logging.jar、commons-collections.jar的處理
- OSCache組件用Jakarta?Commons?Logging來處理日志信息,所以需要commons-logging.jar的支持,請將%OSCache_Home%\lib\core\commons-logging.jar放入classpath(通常意味著將這個文件放入WEB-INF\lib目錄)??
- 如果使用JDK1.3,請將%OSCache_Home%\lib\core\commons-collections.jar放入classpath,如果使用JDK1.4或者以上版本,則不需要了??
5.?將oscache.properties、oscache.tld放入WEB-INF\class目錄
- %OSCache_Home%\oscache.properties包含了對OSCache運行特征值的設置信息??
- %OSCache_Home%\oscache.tld包含了OSCache提供的標簽庫的定義內容??
6.?修改web.xml文件
在web.xml文件中增加下面的內容,增加對OSCache提供的taglib的支持:
| <taglib> <taglib-uri>oscache</taglib-uri> <taglib-location>/WEB-INF/classes/?oscache.tld</taglib-location> </taglib>? |
4?開始使用OSCache中的緩存組件
OSCache中按照緩存范圍的不同分為兩種不同的方式:一種是緩存JSP頁面中部分或者全部內容,一種是基于整個頁面文件的緩存。
4.1?JSP部分內容緩存
4.1.1?Cache-OSCache提供的緩存標簽
這是OSCache提供的標簽庫中最重要的一個標簽,包括在標簽中的內容將應用緩存機制進行處理,處理的方式將取決于編程者對cache標簽屬性的設置。
第一次請求到達時,標簽中的內容被處理并且緩存起來,當下一個請求到達時,緩存系統會檢查這部分內容的緩存是否已經失效,主要是以下幾項:
- 1.?緩存時間超過了cache標簽設置的time或者duration屬性規定的超時時間??
- 2.?cron屬性規定的時間比緩存信息的開始時間更晚??
- 3.?標簽中緩存的內容在緩存后又被重新刷新過??
- 4.?其他緩存超期設定??
如果符合上面四項中的任何一項,被緩存的內容視為已經失效,這時被緩存的內容將被重新處理并且返回處理過后的信息,如果被緩存的內容沒有失效,那么返回給用戶的將是緩存中的信息。
cache標簽的屬性說明:
key?-?標識緩存內容的關鍵詞。在指定的作用范圍內必須是唯一的。默認的key是被訪問頁面的URI和后面的請求字符串。
你可以在同一個頁面中使用很多cache標簽而不指定他的key屬性,這種情況下系統使用該頁面的URI和后面的請求字符串,另外再自動給這些key增加一個索引值來區分這些緩存內容。但是不推薦采用這樣的方式。
scope?-?緩存發生作用的范圍,可以是application或者session
time?-?緩存內容的時間段,單位是秒,默認是3600秒,也就是一個小時,如果設定一個負值,那么這部分被緩存的內容將永遠不過期。?
duration?-?指定緩存內容失效的時間,是相對time的另一個選擇,可以使用簡單日期格式或者符合USO-8601的日期格式。如:duration='PT5M'?duration='5s'等
refresh?-?false?或者true。
如果refresh屬性設置為true,不管其他的屬性是否符合條件,這部分被緩存的內容都將被更新,這給編程者一種選擇,決定什么時候必須刷新。?
mode?-?如果編程者不希望被緩存的內容增加到給用戶的響應中,可以設置mode屬性為"silent"
其它可用的屬性還包括:cron?、groups、language、refreshpolicyclass、refreshpolicyparam。
上面的這些屬性可以單獨使用,也可以根據需要組合使用,下面的例子將講解這些常用屬性的使用方式。
4.1.2?Cache標簽實例分析:
1.?最簡單的cache標簽用法
使用默認的關鍵字來標識cache內容,超時時間是默認的3600秒
| <cache:cache> <% //自己的JSP代碼內容 %> </cache:cache>? |
2.?用自己指定的字符串標識緩存內容,并且設定作用范圍為session。
| <cache:cache?key="foobar"?scope="session"> <% //自己的JSP代碼內容 %> </cache:cache>? |
3.動態設定key值,使用自己指定的time屬性設定緩存內容的超時時間,使用動態refresh值決定是否強制內容刷新。
因為OSCache使用key值來標識緩存內容,使用相同的key值將會被認為使用相同的的緩存內容,所以使用動態的key值可以自由的根據不同的角色、不同的要求決定使用不同的緩存內容。
| <cache:cache?key="<%=?product.getId()?%>"?time="1800"?refresh="<%=?needRefresh?%>"> <% //自己的JSP代碼內容 %> </cache:cache>? |
4.?設置time屬性為負數使緩存內容永不過期
| <cache:cache?time="-1"> <% //自己的JSP代碼內容 %> |
5.?使用duration屬性設置超期時間
| <cache:cache??duration='PT5M'> <% //自己的JSP代碼內容 %> |
6.?使用mode屬性使被緩存的內容不加入給客戶的響應中
| <cache:cache??mode='silent'> <% //自己的JSP代碼內容 %> |
4.2?用CashFilter實現頁面級緩存
在OSCache組件中提供了一個CacheFilter用于實現頁面級的緩存,主要用于對web應用中的某些動態頁面進行緩存,尤其是那些需要生成pdf格式文件/報表、圖片文件等的頁面,不僅減少了數據庫的交互、減少數據庫服務器的壓力,而且對于減少web服務器的性能消耗有很顯著的效果。
這種功能的實現是通過在web.xml中進行配置來決定緩存哪一個或者一組頁面,而且還可以設置緩存的相關屬性,這種基于配置文件的實現方式對于J2EE來說應該是一種標準的實現方式了。
[注]?只有客戶訪問時返回http頭信息中代碼為200(也就是訪問已經成功)的頁面信息才能夠被緩存
1.?緩存單個文件
修改web.xml,增加如下內容,確定對/testContent.jsp頁面進行緩存。
| <filter><filter-name>CacheFilter</filter-name> <filter-class>com.opensymphony.oscache.web.filter.CacheFilter</filter-class> </filter> <filter-mapping> <filter-name>CacheFilter</filter-name> <!-對/testContent.jsp頁面內容進行緩存--><url-pattern>/testContent.jsp</url-pattern> </filter-mapping> |
2.?緩存URL?pattern
修改web.xml,增加如下內容,確定對*.jsp頁面進行緩存。
| <filter><filter-name>CacheFilter</filter-name> <filter-class>com.opensymphony.oscache.web.filter.CacheFilter</filter-class> </filter> <filter-mapping> <filter-name>CacheFilter</filter-name> <!-對所有jsp頁面內容進行緩存--><url-pattern>*.jsp</url-pattern> </filter-mapping> |
3.?自己設定緩存屬性
在頁面級緩存的情況下,可以通過設置CacheFilter的初始屬性來決定緩存的一些特性:time屬性設置緩存的時間段,默認為3600秒,可以根據自己的需要只有的設置,而scope屬性設置,默認為application,可選項包括application、session
| <filter><filter-name>CacheFilter</filter-name> <filter-class>com.opensymphony.oscache.web.filter.CacheFilter</filter-class><init-param><param-name>time</param-name><param-value>600</param-value></init-param><init-param><param-name>scope</param-name><param-value>session</param-value></init-param> </filter> <filter-mapping> <filter-name>CacheFilter</filter-name> <!-對所有jsp頁面內容進行緩存--> <url-pattern>*.jsp</url-pattern> </filter-mapping> ? |
5 配置
Configuration:配置oscache.properties?
1、cache.memory: true 或者 false。默認為true 不使用內存緩存而使用硬盤緩存是很愚蠢的事情。?
2、cache.capacity 緩存object的最大數量值。默認是不限制,cache不會移走任何緩存內容。負數被當作不限制。?
3、cache.algorithm 運算規則。為了使用規則,cache的size必須是指定的。 如果cache的size不指定的話,法則將不會限制緩存對象的大小。 如果你指定了cache的size,但不指定algorithm,那它會默認使用:com.opensymphony.oscache.base.algorithm.LRUCache 有下面三種規則: com.opensymphony.oscache.base.algorithm.LRUCache-last in first out,最遲插入的最先調用。默認值。 com.opensymphony.oscache.base.algorithm.FIFOCache -first int first out。 com.opensymphony.oscache.base.algorithm.UnlimitedCache -cache中的內容將永遠不會被丟棄。 如果cache.capacity不指定值的話,它將被設為默認。?
4、cache.blocking 是否同步化。true 或者 false。一般設為true,避免讀取臟數據。?
5。cache.unlimited.disk 指定硬盤緩存是否要作限制。默認值為false。false的狀況下,disk cache capacity 將和cache.capacity的值相同。?
6、cache.persistence.class 指定類是被持久化的類。class必須實現PersistenceListener接口。 作為硬盤持久,可以實現com.opensymphony.oscache.plugins.diskpersistence.HashDiskPersistenceListener接口。 它把class的toString()輸出的hash值作為文件的名稱。如果你要把文件名易讀(自己設定),DiskPersistenceListener 的父類也 能使用,但其可能有非法字符或者過長的名字。 注意:HashDiskPersistenceListener 和 DiskPersistenceListener 需要設定硬盤路徑:cache.path?
7、cache.path 指定硬盤緩存的路徑。目錄如果不存在將被建立。同時注意oscache應該要有權限寫文件系統。 cache.path=c:\\myapp\\cache or *ix: cache.path=/opt/myapp/cache?
8、cache.persistence.overflow.only (NEW! Since 2.1) 指定是否只有在內存不足的情況下才使用硬盤緩存。 默認值false。但推薦是true如果內存cache被允許的話。這個屬性徹底的改變了cache的行為,使得persisted cache 和memory完全不同。?
9、cache.event.listeners 用逗號分離的class名列表。每個class必須實現以下接口之一,或者幾個 CacheEntryEventListener:接收cache add/update/flush and remove事件 CacheMapAccessEventListener :接收cache訪問事件。這個可以讓你跟蹤cache怎么工作。 默認是不配置任何class的。當然你可以使用一下的class: com.opensymphony.oscache.plugins.clustersupport.BroadcastingCacheEventListener -分布式的監聽器。可以廣播到局域網內的其他cache實例。 com.opensymphony.oscache.extra.CacheEntryEventListenerImpl -一個簡單的監聽器。在cache的生命周期中記錄count of 所有entry的事件。 com.opensymphony.oscache.extra.CacheMapAccessEventListenerImpl -記錄count of cache map events(cache hits,misses and state hits).?
10、cache.key This is the key that will be used by the ServletCacheAdministrator (and hence the custom tags) to store the cache object in the application and session scope. The default value when this property is not specified is "__oscache_cache". If you want to access this default value in your code, it is available as com.opensymphony.oscache.base.Const.DEFAULT_CACHE_KEY.?
11、cache.use.host.domain.in.key If your server is configured with multiple hosts, you may wish to add host name information to automatically generated cache keys. If so, set this property to true. The default value is false.?
12、Additional Properties In additon to the above basic options, any other properties that are specified in this file will still be loaded and can be made available to your event handlers. For example, the JavaGroupsBroadcastingListener supports the following additional properties:?
13、cache.cluster.multicast.ip The multicast IP to use for this cache cluster. Defaults to 231.12.21.132.?
14、cache.cluster.properties Specifies additional configuration options for the clustering. The default setting is UDP(mcast_addr=231.12.21.132;mcast_port=45566;ip_ttl=32;\ mcast_send_buf_size=150000;mcast_recv_buf_size=80000):\ PING(timeout=2000;num_initial_members=3):\ MERGE2(min_interval=5000;max_interval=10000):\ FD_SOCK:VERIFY_SUSPECT(timeout=1500):\ pbcast.NAKACK(gc_lag=50;retransmit_timeout=300,600,1200,2400,4800;max_xmit_size=8192):\ UNICAST(timeout=300,600,1200,2400):\ pbcast.STABLE(desired_avg_gossip=20000):\ FRAG(frag_size=8096;down_thread=false;up_thread=false):\ pbcast.GMS(join_timeout=5000;join_retry_timeout=2000;shun=false;print_local_addr=true)
6?性能測試結果
6.1?測試環境
系統平臺:windows?2000?高級服務器/?P3?800?/512M內存
web服務器:websphere?5.0
數據庫服務器:mysql?4.0.18-nt
性能測試用工具:apache?Jmeter
6.2?測試計劃
這次性能測試對比方為使用緩存和不使用緩存兩種,他們的訪問代碼都是一樣的:通過數據源從本地mysql數據庫中獲取person表的所有記錄,然后顯示在頁面上。
測試中將模仿10個用戶,每個用戶發起5次請求,然后統計所有訪問花費的時間。
6.3?測試結果
使用緩存后的測試結果?不使用緩存時的測試結果?
所有請求花費的總時間(毫秒)?20569?22870?
性能測試的詳細結果請大家查看下載內容中的《不使用cache時的系統性能測試結果.txt》和《使用cache后系統性能測試結果.txt》
7?總結
在J2EE系統中,我們經常需要處理一些特殊的動態內容,這些內容在一個時間段內的變更非常有限,但是又不得不將他們確定為動態內容進行輸出,而且非常消耗數據庫系統資源或者web服務器的資源,這時我們就可以采用Cache----一種用于提高系統響應速度、改善系統運行性能的技術----來優化我們的系統。尤其是在Web應用中,這種處理可以很顯著的改善系統運行性能。
本文中作者給大家介紹一個實現J2EE框架中Web應用層緩存功能的開放源代碼項目----OSCache。它提供了在J2EE系統中實現緩存需要的豐富的功能。通過應用OSCache,我們不但可以實現通常的Cache功能、自由的設定cache的相關特性比如緩存時間段/緩存內容等,提升系統性能,而且還能有效的改善系統的穩定性。除此之外,OSCache組件還提供了更多的特性比如集群、容錯、靈活的緩存區選擇等。
作者根據自己的使用經驗給大家提供了一些簡單的例子,他們部分演示了如何使用OSCache組件提供的豐富特性,OSCache提供的特性遠不止這些,需要大家在今后的時間里深入的研究,同時也希望大家通過E-mail和作者貢獻研究成果。
--源碼分析
???? oscache的代碼量很少。分析源碼的時候,主要分析com.opensymphony.oscache.base.Cache類就可以,這個又是整個oscache的核核心類,除此之外,都是輔助類。oscache用很少的代碼量來實現這么強大的功能,應該說代碼還是很值得閱讀的。
???? com.opensymphony.oscache.base.Cache的api中主要的方法如下:
???? public void putInCache(String key, Object content, String[] groups, EntryRefreshPolicy policy, String origin);
???? public void getFromCache(String, int, String);
???? public void cancelUpdate(String key);
???? 如何使用,引用官方的docs中的一段例子如下:
????
String myKey = "myKey";
String myValue;
int myRefreshPeriod = 1000;
try {
??? // Get from the cache
??? myValue = (String) admin.getFromCache(myKey, myRefreshPeriod);
} catch (NeedsRefreshException nre) {
??? try {
??????? // Get the value (probably from the database)
??????? myValue = "This is the content retrieved.";
??????? // Store in the cache
??????? admin.putInCache(myKey, myValue);
??? } catch (Exception ex) {
??????? // We have the current content if we want fail-over.
??????? myValue = (String) nre.getCacheContent();
??????? // It is essential that cancelUpdate is called if the
??????? // cached content is not rebuilt
??????? admin.cancelUpdate(myKey);
??? }
}
這段代碼是非常使用oscache的經典代碼。細說如下myValue = (String) admin.getFromCache(myKey, myRefreshPeriod);從對象緩存map中取出myKey對應的對象,兩種情況可能發生: 一:如果myKey對應的對象存在(先前putInCache)并且沒有過期(isStale()方法)那么getFromCache方法會正常返回。二:如果對應的對象不存在或者過期,又分為兩種情況:????? 1)請求的線程第一個探測到對象過期,那么這個時候oscache會拋給client一個NeedRefreshException, 提示client,需要對數據進行一下刷新,怎么刷新,putInCache即可。??? 2)如果請求的線程并非第一個探測到對象過期,兩種情況:I如果oscache.properties中對blocking設置為true,那么該線程會在此阻塞,直到putInCache在另一個線程中被調用或者是cancelUpdate被調用。II否則情況跟1)類型,也會出現NeedRefreshException.
上面的那個例子之所以要在catch(NeedRefreshException)中進行putInCache,又之所以要在putInCache的catch(Exception)中做cancelUpdate道理就在此,我們不希望看到一個線程在getFromCache的位置一直阻塞下去。
補充:oscache對一個cacheEntry是否是Stale(或者說expire)的判斷原則:
1。Cache.flushEntry()
2。Cache.flushAll()
3。CacheEntry.setGroups(groups); Cache.flushGroup(group)
4。createTime + refreshPeriod< now
5。cronExpiry< now
6。CacheEntry自帶的EntryRefreshPolish的needRefresh方法返回true
上面的6條中的任何一條如果為true, 那么CacheEntry就是stale的,need refresh!!
轉載于:https://my.oschina.net/rouchongzi/blog/122898
總結
以上是生活随笔為你收集整理的OSCACHE(转)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Nexus入门指南(图文)[转]
- 下一篇: 使用本地历史视图