python 定义变量_用python解决动态的定义变量名(并给其赋值方法:大数据处理)...
前言:
今天為大家帶來的內容是:用python解決動態的定義變量名(并給其賦值方法:大數據處理)具有很好的參考價值,希望對大家有所幫助。喜歡本文內容的記得點贊轉發收藏不迷路哦!!!
最近消費kafka數據到磁盤的時候遇到了這樣的問題:
需求:每天大概有1千萬條數據,每條數據包含19個字段信息,需要將數據寫到服務器磁盤,以第二個字段作為大類建立目錄,第7個字段作為小類配合時間戳作為文件名,臨時文件后綴tmp,當每個文件的寫入條數(可配置,比如100條)達到要求條數時,將后綴tmp改為out。
問題:大類共有30個,小類不計其數而且未知,比如大類為A,小類為a
時間戳為20180606095835234則A目錄下的文件名為20180606095835234_a.tmp這樣一來需要在此文件寫滿100條時,更新時間戳生成第二個文件名,如果此時有1000個文件都在寫則需要有1000個時間戳,和1000個計數器記錄每個文件當前的條數,如果分別定義1000個變量顯然是不劃算的。
嘗試:中間過程想到了動態定義變量名,即
局部功能代碼如下:
結尾:
以上這篇python 解決動態的定義變量名,并給其賦值的方法(大數據處理)就是小編分享給大家的全部內容了。
最后多說一句,小編是一名python開發工程師,這里有我自己整理了一套最新的python系統學習教程,包括從基礎的python腳本到web開發、爬蟲、數據分析、數據可視化、機器學習等。想要這些資料的可以關注小編,并在后臺私信小編:“07”即可領取。
總結
以上是生活随笔為你收集整理的python 定义变量_用python解决动态的定义变量名(并给其赋值方法:大数据处理)...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: postgis安装_从零开始,构建电子地
- 下一篇: 小森生活碧空鞋怎么制作