深度学习~图神经网络GNN
背景
Problem: 因為純數據驅動方法無法勝任復雜的機器學習任務。
Solution: 將專家知識融入神經網絡??圖神經網絡。e.g. 知識圖譜和神經網絡融合,基于知識的大規模訓練(大型知識庫)
劉知遠:In fact, 從無結構文本中抽取結構化知識形成大規模知識圖譜后,這些知識反過來可以融入深度學習模型中,幫助我們更好地實現對自然語言的理解。他認為這是深度學習模型與知識圖譜不斷互相正反饋的過程。如果能構建更大更精確的知識圖譜,nlp model能更好更魯棒。
應用
1. 代碼缺陷檢測(software defect detection in the field of software engineering)
- 語義(semantics). hongyu zhang教授團隊用word embedding和lstm提取java代碼every token的語義信息及其之間的依存關系。
- 語法(syntax). AST抽取代碼語法結構,用GNN進行判別。
[3] Zhang, Z., Sun, H. & Zhang, H. Developer recommendation for Topcoder through a meta-learning based policy model. Empir Software Eng 25, 859–889 (2020). https://doi.org/10.1007/s10664-019-09755-0
[4] Jian Zhang, Xu Wang, Hongyu Zhang, Hailong Sun, Yanjun Pu, and Xudong Liu. 2020. Learning to Handle Exceptions.
總結
以上是生活随笔為你收集整理的深度学习~图神经网络GNN的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【转载】深度学习数学基础(二)~随机梯度
- 下一篇: 沉浸式技术immersive techn