Deep domain generalization combining a priori diagnosis knowledge阅读笔记
Deep Domain Generalization Combining A Priori Diagnosis Knowledge Toward Cross-Domain Fault Diagnosis of Rolling Bearing
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9174912
1. 作者的目標是什么?或者已經實現了什么?
- 目標:提高滾動軸承的跨域診斷問題。
 - 作者實現的內容:結合先驗知識(a priori diagnosis knowledge)和深度領域泛化故障診斷網絡(deep domain generalization network for fault diagnosis, DDGFD),DDGFD可以從源域數據集中學習到有區分的而且領域不變的故障特征( discriminative and domain-invariant fault features ),來提高滾動軸承的跨域診斷的泛化性能。
 
2. 新方法的關鍵是什么?
-  
關鍵是如何從源域數據集中學習有區分的而且領域不變特征。
 -  
[1] 融合先驗診斷知識。
(1)這的先驗知識指的是信號處理方面的滾動軸承故障特征頻率:BPFO、BPFI和BFF。作者的做法是將一維的加速度傳感器采集時間序列映射到四維包絡序列作為深度模型的輸入。這四個維度分別是原始傳感器序列的包絡、只含有BPFO頻率成分的包絡、只含有BPFI頻率成分的包絡和只含有BFF頻率成分的包絡。
(2)Unidirectional Convolution and Pooling 單向卷積和池化。這個是對先驗知識的應用方式。內容是只在時間序列方向上進行卷積和池化,而不進行跨序列卷積和池化。例如,包絡和BPFI包絡不混合在一起卷積。這個也很符合邏輯,畢竟卷積和池化的操作對象都得要是同類的數據。就像數組里都得要是一樣的元素。(有點生硬的類比)。所以,卷積和池化都得要是在單個序列方向上進行。
 -  
[2] 領域泛化
 
(1)領域不變特征。領域不變特征指的是,來自不同域數據集的同類樣本,應當在全連接層的變換下更加聚集在一起。而不同類別的樣本應當更加分離。(基本等同于聚類的判別標準)
(2)instance-based discriminative loss,基于樣本的判別損失[2,3]。用來學習領域不變特征。
Ld=1n×n∑i,j=1nJd(hi,hj)(1)\mathcal{L}_d =\frac{1}{n\times n}\sum_{i,j=1}^{n}J_d(\bold{h}_i, \bold{h}_j)\tag{1}Ld?=n×n1?i,j=1∑n?Jd?(hi?,hj?)(1)
 Jd={max?(0,∣∣hi?hj∣∣2?m0)2Ci,j=1max?(0,m1?∣∣hi?hj∣∣2)2Ci,j=0(2)J_d= \begin{cases} \max(0, ||\bold{h}_i -\bold{h}_j||_2-m_0)^2& C_{i,j} = 1\\ \max(0, m_1 - ||\bold{h}_i -\bold{h}_j||_2)^2 & C_{i,j} = 0\\ \end{cases} \tag{2}Jd?={max(0,∣∣hi??hj?∣∣2??m0?)2max(0,m1??∣∣hi??hj?∣∣2?)2?Ci,j?=1Ci,j?=0?(2)
 其中,∣∣?∣∣2||\cdot||_2∣∣?∣∣2?是向量的L2范數,Ci,j=1C_{i,j} = 1Ci,j?=1 表示hi\bold{h}_ihi? 和 hj{\bold{h}_j}hj?是來自同一類。Ci,j=0C_{i,j} = 0Ci,j?=0 表示hi\bold{h}_ihi? 和 hj{\bold{h}_j}hj?是來自不同類。m0m_0m0?和m1m_1m1?分別是類內和類間距離的閾值。通過在全連接層中增加特征的損失Ld\mathcal{L}_dLd?,一方面使得同一類樣本與多個源的距離不超過m0m_0m0?,這意味著實現了域不變特性。另一方面,不同類別樣本的可分性也會被閾值m1m_1m1?所加強,這可能有利于故障識別。與文獻[2]中討論的Ld\mathcal{L}_dLd?的原始動機相比,主要區別在于我們將其應用擴展到了領域泛化問題中,并探索了它在軸承故障診斷問題中的潛力。
作者將這個損失函數和交叉熵損失函數一起使用作為跨領域分類結果和泛化能力的綜合代價函數。
有啥值得注意的地方:
- [1] 作者的信號處理部分使用的包絡譜技術的前提假設是滾珠運動沒有滑動,但是事實上滾珠總會有滑動,所以計算的特征頻率和實際情況會有1%~2%的出入。采用窄帶濾波。
 - [2] 根據文獻[1]中提到的希爾伯特變換提取的包絡,會帶有大量的毛刺,不夠光滑,這一點在作者的Fig.2中的右圖也能看出來。而希爾伯特變換的這一缺點也會被后續的神經網絡模型中的最大層池化技術放大了,勢必會影響后續的結果。所以這里考慮去除最大層池化,而知在最后有一個卷積層添加全局平均值池化。
 - [3] 包絡技術提取的三個頻率成分的序列,其中仍然是會含有噪聲的,這個噪聲是分布在時間序列上的每一個點,但是會集中在頻譜上的某一小區域。但是,該文采用的是時域序列作為深度模型的輸入,所以這個問題的影響不會存在。
 
3. 論文中哪些內容對我來說是有用的?
- [1] angular resampling signals 角度重采樣,從包絡信號中提取關注的頻率成分
 - [2] antialiasing filtering (low-pass) 抗混疊重采樣,避免角度重采樣后的信號混疊,對每個特征頻率成分進行抗混疊重采樣。
 - [3] 融合先驗知識的方法或許也可以從濾波器方面入手,首層使用四個全局濾波器,濾波器的值分別固定為歸一化的四個包絡值。
 
4. 我還想要關注哪些參考文獻和資料?
- [基于樣本的判別損失] C. Chen, Z. Chen, B. Jiang, and X. Jin, “Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation,” in Proc. AAAI Conf. Artif. Intell., Honolulu, HI, USA, Jan. 2019,pp. 3296–3303.
 - 如何降低卷積通道之間的冗余性?不同的卷積通道會提取不同的信息特征,但是卷積神經網絡不同的卷積通道之間沒有進行信息交互,所以,也就沒有什么降低卷積通道冗余性的設計。對于如何降低通道冗余性,可以參考通道共享kernel的Involution,其在git上的代碼
 
5. 參考文獻
[1] 張緒省,朱貽盛,成曉雄, 等.信號包絡提取方法-從希爾伯特變換到小波變換[J].電子科學學刊,1997 :120-123. [2] C. Chen, Z. Chen, B. Jiang, and X. Jin, “Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation,” in Proc. AAAI Conf. Artif. Intell., Honolulu, HI, USA, Jan. 2019,pp. 3296–3303. , HI, USA, Jan. 2019,pp. 3296–3303. [3] H. Zheng, Y. Yang, J. Yin, Y. Li, R. Wang and M. Xu, "Deep Domain Generalization Combining A Priori Diagnosis Knowledge Toward Cross-Domain Fault Diagnosis of Rolling Bearing," in IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-11, 2021, Art no. 3501311, doi: 10.1109/TIM.2020.3016068.總結
以上是生活随笔為你收集整理的Deep domain generalization combining a priori diagnosis knowledge阅读笔记的全部內容,希望文章能夠幫你解決所遇到的問題。
                            
                        - 上一篇: Cheat Engine游戏脚本修改器通
 - 下一篇: gulp编译sass