内存不够用还要速度快,终于找到可以基于 File 的 Cache 了
一:背景
1. 講故事
18年的時候在做純內存項目的過程中遇到了這么一個問題,因為一些核心數據都是飄在內存中,所以內存空間對我們來說額外寶貴,但偏偏項目中有些數據需要緩存,比如說需要下鉆的報表上的點,基于性能的考慮,不希望采用獨立的緩存中間件,比如 redis, mongodb,畢竟再怎么滴還是要走網絡io,但直接放在本機內存中也不現實,那有沒有均衡于?native cache?和?cache server?之間的方案呢?對的,就是?disk cache,畢竟 磁盤IO 的讀寫要遠大于網絡IO,更何況配的是 SSD 呢。
二:尋找解決方案
1. 檢索 github
有了?disk cache?這個大方向就可以去 github 上檢索關鍵詞,看看有沒有類似的中間件,說實話,java的倒不少,比如著名的?guava,ehcache,不僅有cache的簡單操作,還附帶各種統計信息,刷新了對緩存認知的三觀哈,尤其是?ehcache?太????????了,堆內,堆外,磁盤,分布式通通支持,用 C# 寫的好不容易找到一個?disk cache?還不幸是收費的,氣人哈,用 C# 調用 Java 肯定不現實了哈。
2. 使用sqlite作為 disk cache
既然開源社區沒什么好的東西,看來只能自己封裝一下了,像?ehcache?那種高階的 diskcache 搞不定,用簡單的 sqlite 作為本機的 diskcahe 還是可以的,接下來試試看。
class DiskCache{private static readonly string dbFile = $@"{Environment.CurrentDirectory}\mysqlite1.db";private static readonly string connectionString = $@"Data Source={dbFile};Version=3";//過期數據監測:【一分鐘來一次】private static Timer timer = new Timer((arg) =>{}, null, 1000, 1000 * 60);static DiskCache(){if (!File.Exists(dbFile)){var schema = @"CREATE TABLE Cache (cachekey VARCHAR (1000) PRIMARY KEY NOT NULL,cachevalue TEXT NOT NULL,created DATE NOT NULL,expried DATE NOT NULL);";using (SQLiteConnection connection = new SQLiteConnection(connectionString)){connection.Execute(schema);}}}public static void Set<T>(string key, T value, int expiredMinutes){using (SQLiteConnection connection = new SQLiteConnection(connectionString)){var sql = $"delete from Cache where cachekey =@key;" +$"insert into Cache(cachekey,cachevalue,created,expried) values (@cachekey,@cachevalue,@created,@expried)";connection.Execute(sql, new{key = key,cachekey = key,cachevalue = Newtonsoft.Json.JsonConvert.SerializeObject(value),created = DateTime.Now,expried = DateTime.Now.AddMinutes(expiredMinutes)});}}public static T Get<T>(string key){using (SQLiteConnection connection = new SQLiteConnection(connectionString)){var sql = $"select cachevalue from Cache where cachekey=@cachekey and expried > @expried";var query = connection.QueryFirstOrDefault(sql, new { cachekey = key, expried = DateTime.Now });var json = JsonConvert.DeserializeObject<T>(query.cachevalue);return json;}}}這里有二個注意點:
因為是做緩存,所以數據庫和表的創建都要通過程序自動化,數據庫是否存在判斷 file 文件是否存在即可。
過期數據的問題,因為我有?expried?字段,這一點可以學習GC思想,使用 Timer 在后臺定期清理。
有了這些基礎之后,原子化的緩存就實現好了,接下來試一下基本的?Get / Set?方法。
這個方案很好的節省了我寶貴的內存,同時速度又是 networkio 和 native 之間的一個平衡,算是個不錯的解決辦法吧。
三:aspnetcore 的 EasyCaching
EasyCaching 是園子里 @Catcher Wong 的作品 [https://www.cnblogs.com/catcher1994/p/10806607.html],點贊~~~?看了下提供了很多種 provider,如下圖:
我想后面肯定還會有更多的 provider 出現,如:leveldb,Cassandra,接下來看看這玩意怎么玩。
1. 安裝使用
在 nuget 上 搜一下 EasyCaching.SQLite 安裝即可,接下來就是使用文檔:https://easycaching.readthedocs.io/en/latest/SQLite/#2-config-in-startup-class 如下圖:
文檔中是采用依賴注入的方式,而我的程序是 console 模式的后端服務,并沒有 ServiceCollection,先模擬著試試看。
static void Main(string[] args){IServiceCollection services = new ServiceCollection();services.AddEasyCaching(option =>{option.UseSQLite(c =>{c.DBConfig = new SQLiteDBOptions{FileName = "demo.db",CacheMode = SqliteCacheMode.Default,OpenMode = SqliteOpenMode.ReadWriteCreate,};}, "m1");});IServiceProvider serviceProvider = services.BuildServiceProvider();var factory = serviceProvider.GetService<IEasyCachingProviderFactory>();var cache = factory.GetCachingProvider("m1");cache.Set("user", "hello world!", TimeSpan.FromSeconds(20));var info = cache.Get<string>("user");Console.WriteLine(info);}接下來用?SQLiteStudio?打開 demo.db 看一下數據呈現,如下圖:
可以看到人家的框架比我的多了一個 name 字段,看樣子是給 多個 cache 做隔離用的,不過這里貌似有三個需要優化的地方。
并不是每一個程序都要使用 依賴注入 的方式 ,提供更便捷的方式初始化就更好了。
看了下源碼,并沒有找到可以定期刪除過期數據的業務邏輯。
建議提供一些 cache 的統計信息,如命中次數,某一個key最后命中時間等等時分統計圖。
四:總結
可能很多人說都什么年代了還用 disk cache,這偏偏這萬千世界啥需求都有,這幾年開源項目越來越多,社區向好,值得點贊。
總結
以上是生活随笔為你收集整理的内存不够用还要速度快,终于找到可以基于 File 的 Cache 了的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 小姐姐为你解析马爸爸是怎么用大数据“宰你
- 下一篇: 为什么我们需要Logstash,Flue