使用celery的backend异步获取结果
慣例先貼出相關(guān)參考的文檔:
http://docs.celeryproject.org/en/stable/getting-started/next-steps.html
http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends
?
這篇緊接上篇。
其實我們一般對這種異步任務(wù)需求是可能需要回調(diào)的。比如說我現(xiàn)在有一個支付的異步任務(wù)發(fā)送到了隊列。
生產(chǎn)者不需要等待,在發(fā)送到隊列之后就告訴用戶已經(jīng)支付成功了或者說正在支付稍后再來查看狀態(tài)。
這個時候celery的worker獲取到這個任務(wù)之后開始處理,等一會兒他處理完畢之后可能需要將這個處理完畢的結(jié)果返回給發(fā)送給他的生產(chǎn)者。
那么問題來了,如何告知生產(chǎn)者?因為生產(chǎn)者生產(chǎn)完消息之后就結(jié)束了。
?
那么這個時候就使用到了backend這個參數(shù)了:
當我們像指明broker一樣指明了backend之后,當worker運行完結(jié)果之后就會把他返回給生產(chǎn)者的唯一id作為鍵,將結(jié)果作為值傳遞給你設(shè)置的worker(backend測試環(huán)境為redis).這個時候你無論在什么時候只要拿著這個值去redis里面查找到結(jié)果就行了。比如你在執(zhí)行一個任務(wù),你可以設(shè)置一個周期性輪詢,去查看這個結(jié)果是否已經(jīng)被生產(chǎn)出來,如果生產(chǎn)出來便取到該值做相應(yīng)的操作即可。下面為具體操作實例:
?
先貼出一個我統(tǒng)一使用的配置文件
# file_name=init_celery.py# coding: utf-8 from celery import CeleryBROKER_URL = 'redis://:password@localhost:6379/0' BACKEND_URL = 'redis://:password@localhost:6379/1'# Add tasks here CELERY_IMPORTS = ('try', )celery = Celery('celery',broker=BROKER_URL,backend=BACKEND_URL,include=CELERY_IMPORTS,)celery.conf.update(CELERY_ACKS_LATE=True,CELERY_ACCEPT_CONTENT=['pickle', 'json'],CELERYD_FORCE_EXECV=True,CELERYD_MAX_TASKS_PER_CHILD=500,BROKER_HEARTBEAT=0, )
?
然后是celery任何函數(shù)
from init_celery import celery@celery.task def add(x, y):result = x + yprint resultreturn result?
最后我們調(diào)用這個函數(shù)執(zhí)行異步操作
from tasks import adddef notify(a, b):result = add.apply_async((a, b), queue='laplace')return resultif __name__ == '__main__':haha = notify(6, 7)print haha.statusprint haha.idprint haha.get(timeout=1)這里注意我使用了task.apply_async這個函數(shù)。其實效果根task.delay差不多只是可以指定更多的參數(shù)。 這里我指定了使用的隊列為laplace隊列,所以對應(yīng)的監(jiān)聽的隊列也必須使用參數(shù)-Q監(jiān)聽對應(yīng)的隊列,才能獲得結(jié)果。
這里返回的result其實就是一個唯一的<class 'celery.result.AsyncResult'>對象。
我們可以對這個對象查看他的狀態(tài),id 以及使用get去得到他的具體值。
?
合理的使用這個get方法就可以取得woker處理之后的值,同時在redis可以清楚的看到,worker處理之后自動幫你在redis里面存儲了
?
這么介紹之后對于backend是不是已經(jīng)一目了然了呢?其實我在進行之類操作的時候還踩了一些配置文件方面的坑,
所以一定要仔細的參考官方文檔進行操作。和查看更多你需要用到的功能和參數(shù)。
?
總結(jié)
以上是生活随笔為你收集整理的使用celery的backend异步获取结果的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【Oracle】undo 自动调优
- 下一篇: 网格中的BFS,逆向(POJ2049)