access重复数据累计_小程序·云开发之数据库自动备份丨云开发101
小程序云開發之數據庫自動備份
數據是無價的,我們通常會把重要的業務數據存放在數據庫中,并需要對數據庫做定時的自動備份工作,防止數據異常丟失,造成無法挽回的損失。
小程序云開發提供了方便的云數據庫供我們直接使用,云開發使用了騰訊云提供的云數據庫,擁有完善的數據保障機制,無需擔心數據丟失。但是,我們還是不可避免的會擔心數據庫中數據的安全,比如不小心刪除了數據集合,寫入了臟數據等。
還好,云開發控制臺提供了數據集合的導出,導入功能,我們可以手動備份數據庫。不過,總是手動備份數據庫也太麻煩了點,所有重復的事情都應該讓代碼去解決,下面我們就說說怎么搞定云開發數據庫自動備份。
通過查閱微信的文檔,可以發現云開發提供了數據導出接口databaseMigrateExport
POST https://api.weixin.qq.com/tcb/databasemigrateexport?access_token=ACCESS_TOKEN通過這個接口,結合云函數的定時觸發功能,我們就可以做數據庫定時自動備份了。梳理一下大致的流程:
1. 獲取 access_token
調用微信的接口需要 access_token,所以我們首先要獲取 access_token。通過文檔了解到使用 auth.getAccessToken 接口可以用小程序的 appid 和 secret 獲取 access_token。
// 獲取 access_token request.get(`https://api.weixin.qq.com/cgi-bin/token?grant_type=client_credential&appid=${appid}&secret=${secret}`,(err, res, body) => {if (err) {// 處理錯誤return;}const data = JSON.parse(body);// data.access_token} );2. 創建數據庫導出任務
獲取 access_token 后,就可以使用 databaseMigrateExport 接口導出數據進行備份。
databaseMigrateExport 接口會創建一個數據庫導出任務,并返回一個 job_id,這個 job_id 怎么用我們下面再說。顯然數據庫的數據導出并不是同步的,而是需要一定時間的,數據量越大導出所要花費的時間就越多,個人實測,2W 條記錄,2M 大小,導出大概需要 3~5 S。
調用 databaseMigrateExport 接口需要傳入環境 Id,存儲文件路徑,導出文件類型(1 為 JSON,2 為 CSV),以及一個 query 查詢語句。
因為我們是做數據庫備份,所以這里就導出 JSON 類型的數據,兼容性更好。需要備份的數據可以用 query 來約束,這里還是很靈活的,既可以是整個集合的數據,也可以是指定的部分數據,這里我們就使用 db.collection('data').get() 備份 data 集合的全部數據。同時我們使用當前時間作為文件名,方便以后使用時查找。
request.post(`https://api.weixin.qq.com/tcb/databasemigrateexport?access_token=${accessToken}`,{body: JSON.stringify({env,file_path: `${date}.json`,file_type: '1',query: 'db.collection("data").get()'})},(err, res, body) => {if (err) {// 處理錯誤return;}const data = JSON.parse(body);// data.job_id} );3. 查詢任務狀態,獲取文件地址
在創建號數據庫導出任務后,我們會得到一個 job_id,如果導出集合比較大,就會花費較長時間,這時我們可以使用 databaseMigrateQueryInfo 接口查詢數據庫導出的進度。
當導出完成后,會返回一個 file_url,即可以下載數據庫導出文件的臨時鏈接。
request.post(`https://api.weixin.qq.com/tcb/databasemigratequeryinfo?access_token=${accessToken}`,{body: JSON.stringify({env,job_id: jobId})},(err, res, body) => {if (err) {reject(err);}const data = JSON.parse(body);// data.file_url} );獲取到文件下載鏈接之后,我們可以將文件下載下來,存入到自己的云存儲中,做備份使用。如果不需要長時間的保留備份,就可以不用下載文件,只需要將 job_id 存儲起來,當需要恢復備份的時候,通過 job_id 查詢到新的鏈接,下載數據恢復即可。
至于 job_id 存在哪,就看個人想法了,這里就選擇存放在數據庫里。
await db.collection('db_back_info').add({data: {date: new Date(),jobId: job_id} });4. 函數定時觸發器
云函數支持定時觸發器,可以按照設定的時間自動執行。云開發的定時觸發器采用的 Cron 表達式語法,最大精度可以做的秒級,詳細的使用方法可以參考官方文檔:定時觸發器 | 微信開放文檔
這里我們配置函數每天凌晨 2 點觸發,這樣就可以每天都對數據庫進行備份。在云函數目錄下新建 config.json文件,寫入如下內容:
{"triggers": [{"name": "dbTrigger","type": "timer","config": "0 0 2 * * * *"}] }完整代碼
最后,貼出可以在云函數中使用的完整代碼,只需要創建一個定時觸發的云函數,并設置好相關的環境變量即可使用
- appid
- secret
- backupColl:需要備份的集合名稱,如 ‘data’
- backupInfoColl:存儲備份信息的集合名稱,如 ‘db_back_info’
注意,云函數的默認超時時間是 3 秒,創建備份函數時,建議將超時時間設定到最大值 20S,留有足夠的時間查詢任務結果。
/* eslint-disable */ const request = require('request'); const cloud = require('wx-server-sdk');// 環境變量 const env = 'xxxx';cloud.init({env });// 換取 access_token async function getAccessToken(appid, secret) {return new Promise((resolve, reject) => {request.get(`https://api.weixin.qq.com/cgi-bin/token?grant_type=client_credential&appid=${appid}&secret=${secret}`,(err, res, body) => {if (err) {reject(err);return;}resolve(JSON.parse(body));});}); }// 創建導出任務 async function createExportJob(accessToken, collection) {const date = new Date().toISOString();return new Promise((resolve, reject) => {request.post(`https://api.weixin.qq.com/tcb/databasemigrateexport?access_token=${accessToken}`,{body: JSON.stringify({env,file_path: `${date}.json`,file_type: '1',query: `db.collection("${collection}").get()`})},(err, res, body) => {if (err) {reject(err);}resolve(JSON.parse(body));});}); }// 查詢導出任務狀態 async function waitJobFinished(accessToken, jobId) {return new Promise((resolve, reject) => {// 輪訓任務狀態const timer = setInterval(() => {request.post(`https://api.weixin.qq.com/tcb/databasemigratequeryinfo?access_token=${accessToken}`,{body: JSON.stringify({env,job_id: jobId})},(err, res, body) => {if (err) {reject(err);}const { status, file_url } = JSON.parse(body);console.log('查詢');if (status === 'success') {clearInterval(timer);resolve(file_url);}});}, 500);}); }exports.main = async (event, context) => {// 從云函數環境變量中讀取 appid 和 secret 以及數據集合const { appid, secret, backupColl, backupInfoColl } = process.env;const db = cloud.database();try {// 獲取 access_tokenconst { errmsg, access_token } = await getAccessToken(appid, secret);if (errmsg && errcode !== 0) {throw new Error(`獲取 access_token 失敗:${errmsg}` || '獲取 access_token 為空');}// 導出數據庫const { errmsg: jobErrMsg, errcode: jobErrCode, job_id } = await createExportJob(access_token, backupColl);// 打印到日志中console.log(job_id);if (jobErrCode !== 0) {throw new Error(`創建數據庫備份任務失敗:${jobErrMsg}`);}// 將任務數據存入數據庫const res = await db.collection('db_back_info').add({data: {date: new Date(),jobId: job_id}});// 等待任務完成const fileUrl = await waitJobFinished(access_token, job_id);console.log('導出成功', fileUrl);// 存儲到數據庫await db.collection(backupInfoColl).doc(res._id).update({data: {fileUrl}});} catch (e) {throw new Error(`導出數據庫異常:${e.message}`);} };聯系我們
更多云開發使用技巧及 Serverless 行業動態,掃碼關注我們~
總結
以上是生活随笔為你收集整理的access重复数据累计_小程序·云开发之数据库自动备份丨云开发101的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python判断文件是否打开_pytho
- 下一篇: word2016能识别linux换行符,