上傳文件、異步、初始化腳本

面試題： 項目中的靜態文件處理（JS/CSS/image） 自己在機房內優化的方法：1. Nginx/lighttpd(lighty-douban)：Nginx 處理靜態資源速度非常快，并且自身還帶有緩存。2. 80: Nginx -> {server config} -> django:8080 -> Static : folders -> 云存儲你了解CDN嗎？能講講原理么？擴展：如何更換CDN上的圖片？改名大法1. 請求加參數：1. abc.jpg2. abc.jpg?20191011111042asdflj23. abc.jpg?201910111110432. 改名1. abc_201910111042.jpg2. abc_md5.jpg

七牛云接入

注冊七牛云賬號

創建存儲空間：Bucket -> 有獨立的域名，可以訪問

獲取相關配置

• AccessKey：從個人中心-密鑰管理里獲得
• SecretKey：從個人中心-密鑰管理里獲得
• Bucket_name：我們自己新建的存儲空間的名字
• Bucket_URL：建好的新存儲空間的訪問url

安裝 qiniu SDK：pip install qiniu

根據接口文檔進行接口封裝

按照需要將上傳、下載接口封裝成異步任務

程序處理流程

服務端上傳方式

用戶圖片先上傳到我們的服務器上

然后，我們的程序再調用七牛云的api，將圖片上傳到七牛云

上傳成功后，拼接 avatar 的圖片 url 地址：

七牛云的Bucket_URL/filename，將 avatar 的圖片 url 存入數據庫

客戶端直傳

客戶端圖片直接上傳到云服務

客戶端將圖片地址告訴服務端，服務端更新數據庫

其實存在一個安全隱患

客戶端先從服務端獲取token，再上傳

代碼示例 使用了celery

#上傳圖片 def user_avatar(request):#1.存下來# 定義上傳后保存的文件名file_name =f'avatar-{request.user.id}.jpg'# 上傳后保存的路徑file_path = f'{settings.BASE_DIR}/static/{file_name}'#接收上傳文件內容f = request.FILES['avatar']with open(file_path,'wb+') as destination:for chunk in f.chunks():destination.write(chunk)print('save local ok.')user_id = request.user.id#delay很重要！！！upload_qiniu.delay(file_name, file_path, user_id)return render_json('已經放入celery-redis隊列中')#這一步用異步celery @celery_app.task def upload_qiniu(file_name, file_path, user_id):# 2.調用七牛云sdk上傳# 需要填寫你的 Access Key 和 Secret Key 需要修改 access_key = 'KXfx2ZiBP311HkZZ8l8JHCmqlqPTJCK2sraihexx'secret_key = 'pe5svTTUAJQoUPhppsf0Gg9wbEJiYahnRMAy1rxx'# 要上傳的空間bucket_name = 'liu'# 要上傳的域名bucket_domain = ' liu.s3-cn-south-1.qiniucs.com'# 構建鑒權對象q = Auth(access_key, secret_key, )token = q.upload_token(bucket_name, file_name, 3600)ret, info = put_file(token, file_name, file_path)print(info)#斷言assert ret['key'] == file_nameassert ret['hash'] == etag(file_path)print('save qiniu ok.')avatar_url = f'{bucket_domain}/{file_name}'# 3.更新用戶的avataruser = User.objects.get(id=user_id)# user = request.user # request 無法傳 所以改為user_iduser.avatar = avatar_urluser.save()return True

異步任務

Celery 及異步任務的處理

通用的異步框架的原理

核心隊列：消息隊列

客戶端：異步端

生產者：消費者

發布者：訂閱者

發送者：接收者

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-YFOxnBJs-1577967577874)(/Users/zebin/Pictures/markdown_assets/image-20200102152154116.png)]

• 任務模塊 Task：包含異步任務和定時任務. 其中, 異步任務通常在業務邏輯中被觸發并發往任務隊列, 而定時任務由 Celery Beat 進程周期性地將任務發往任務隊列.

• 消息中間件 Broker：代理Broker, 即為任務調度隊列, 接收任務生產者發來的消息（即任務）更重要的智能是把海量的的消息緩沖住, 將任務存入隊列。Celery 本身不提供隊列服務, 官方推薦使用 RabbitMQ 和 Redis 等，或者干脆用云服務的消息隊列服務：SQS

• 任務執行單元 Worker：Worker 是執行任務的處理單元, 它實時監控消息隊列, 獲取隊列中調度的任務, 并執行它.

• 任務結果存儲 Backend：Backend 用于存儲任務的執行結果, 以供查詢. 同消息中間件一樣, 存儲也可使用 RabbitMQ, Redis 和 MongoDB 等.

消息隊列：

MQ：Message Queue，（與服務器、存儲、緩存、數據庫同等重要，是現代互聯網后臺架構的基礎組件）

作用：

異步：把沒必要同步執行的程序，用消息隊列暫存，然后用其他程序去異步執行，做到跨機器分散任務

解耦：有依賴關系的應用之間，用消息隊列解除耦合

A 和 B 兩個業務有強耦合

A B

削峰：把互聯網的高峰請求，先緩沖下來，然后再慢慢的逐個處理

秒殺、團購的場景，用這種方式降低峰值請求

限流：

1000，每進來一個人 -1，每離開一個人 +1，

減到 0 ，就告訴后來者：人滿了。

常見的消息隊列：

Redis，最簡單

Kafka，最適合做日志處理，單機幾十萬并發（每秒鐘的請求）

RabbitMQ，符合 MQ 標準的消息隊列（每秒鐘幾萬）

RocketMQ，符合 MQ 標準的消息隊列（每秒鐘十幾萬）

安裝 注意win10不支持celery4.3！！！！！！！！！！
所以需要額外安裝

pip install celery[redis]

創建實例

import os from celery import Celeryfrom social import settings from worker import configos.environ.setdefault("DJANGO_SETTINGS_MODULE", "social.settings")celery_app = Celery('social') celery_app.config_from_object(config) celery_app.autodiscover_tasks()

常規配置

broker_url = 'redis://127.0.0.1:6379/0' broker_pool_limit = 1000 # Borker 連接池, 默認是10timezone = 'Asia/Shanghai' accept_content = ['pickle', 'json']task_serializer = 'pickle' result_expires = 3600 # 任務過期時間result_backend = 'redis://127.0.0.1:6379/1' result_serializer = 'pickle' result_cache_max = 10000 # 任務結果最大緩存數量worker_redirect_stdouts_level = 'INFO'

啟動 Worker

Linux / mac下：
celery worker -A worker --loglevel=info

win：
celery worker -A worker --loglevel=info -P eventlet

總結

以上是生活随笔為你收集整理的【Django】文件上传以及celery的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。