矩阵低秩张量分解_TKDE 2020 | CTRR:组稀疏约束的紧凑张量环回归
隨著數(shù)字影像設(shè)備的快速普及和發(fā)展,涌現(xiàn)了大量高階數(shù)據(jù),如光學(xué)視頻,醫(yī)學(xué)圖像等。高階數(shù)據(jù)相關(guān)的學(xué)習(xí)任務(wù)中,如何對高階的回歸系數(shù)進(jìn)行高效的近似是一個關(guān)鍵問題。低秩張量近似是其中一個方法。作為一種新的張量分解,張量環(huán)已經(jīng)被證明可以建模更多多維數(shù)據(jù)的相關(guān)信息。但是,其最優(yōu)的張量環(huán)秩通常是未知的,需要從多種組合中進(jìn)行經(jīng)驗選擇。
為彌補這一缺陷,我們提出了一種新的張量回歸模型。通過對張量環(huán)分解的潛在因子施加組稀疏約束,以此來實現(xiàn)張量環(huán)秩的自動估計,從而獲得高效緊湊的表示。此外,引入總變差約束項確保預(yù)測響應(yīng)的局部一致性,以減少隨機噪聲所帶來的不利影響。
在仿真數(shù)據(jù)集上的實驗表明,該方法能夠在學(xué)習(xí)過程中更準(zhǔn)確地推斷張量環(huán)秩,平衡預(yù)測誤差和模型復(fù)雜性。并且在人體運動軌跡捕捉任務(wù)的對比實驗進(jìn)一步驗證了該算法的有效性和穩(wěn)健性。
研究背景
隨著大量高維數(shù)據(jù)的出現(xiàn),與其相關(guān)的數(shù)據(jù)分析技術(shù)逐漸成為了研究熱點。多線性回歸作為解決涉及高維數(shù)據(jù)學(xué)習(xí)任務(wù)的關(guān)鍵技術(shù),廣泛應(yīng)用于社會科學(xué)、氣候科學(xué)和神經(jīng)科學(xué)。
多線性回歸模型的核心思想是保留數(shù)據(jù)的原始形式,通過張量積形式反應(yīng)多維數(shù)據(jù)之間的相關(guān)關(guān)系。鑒于數(shù)據(jù)自身的結(jié)構(gòu)特征,通常假設(shè)多維數(shù)據(jù)之間的回歸系數(shù)張量滿足低秩性或者稀疏性。其通用的優(yōu)化方案有兩種,一種基于秩最小化模型,一種是給定秩的張量因子化模型。
對于給定秩的張量因子化模型,一個最大的挑戰(zhàn)便是張量秩的預(yù)估。尤其是Tucker 秩,張量鏈或張量環(huán)秩等多線性秩,其預(yù)估需要從大量的組合之中進(jìn)行選取,耗費大量時間。因而,本文以張量環(huán)分解為例,引入了一種組稀疏約束項,可以在訓(xùn)練過程中實現(xiàn)對張量環(huán)秩的自適應(yīng),從而實現(xiàn)模型復(fù)雜度和性能的平衡。
符號定義和描述
在對本文的方法進(jìn)行描述之前,首先需要簡要定義與多線性回歸相關(guān)的各個概念。對張量??,其中??個元素表示為??。定義1(張量收縮積)給定張量??和??,它們沿著共有??維度的張量收縮積表示為??,如圖1所示。▲ 圖1 張量收縮積
定義2(張量環(huán)分解)張量環(huán)分解是流行張量網(wǎng)絡(luò)的一種,它將張量分解為環(huán)狀網(wǎng)絡(luò)形式,如圖 2 所示。其對應(yīng)的數(shù)學(xué)表達(dá)形式為:其中,??,??,??是張量環(huán)秩。▲?圖2 張量環(huán)分解
定義3(張量環(huán)回歸)給定訓(xùn)練樣本??,則張量回歸模型通常表示為,其中,,表示??和??的相關(guān)關(guān)系,??是偏差。對系數(shù)張量進(jìn)行張量環(huán)分解??,便可以得到張量環(huán)回歸模型,如圖3所示。▲?圖3 張量環(huán)回歸算法描述
根據(jù)已經(jīng)定義的符號和概念,我們給出了一個新的回歸模型,將數(shù)據(jù)擬合項、用于秩自推斷的組稀疏約束項、用于平滑預(yù)測結(jié)果的全變差約束項整合在一起,如下式所示:其中,??表示??,第一項??是數(shù)據(jù)擬合項,??是組稀疏項,??是全變分項。(1)組稀疏項??估計系數(shù)張量??的張量環(huán)秩??,需要對每一個??進(jìn)行估計。而如圖 3 所示,??僅與其相鄰的兩個因子張量??和??直接相關(guān)。這促使我們提出以下組稀疏約束項:其中,?? 是??的第??個前向切片,??是??的第??個水平切片?;诮惶孀钚』枷?#xff0c;我們可以依次對每一個張量環(huán)秩進(jìn)行優(yōu)化。具體來說,以一個 3 階系數(shù)張量為例:▲?圖4? 3階系數(shù)張量的張量環(huán)分解形式其優(yōu)化圖解如圖 5 所示:▲?圖5 組稀疏項圖解(2)全變分項??為確保張量輸出的局部一致性,我們對預(yù)測的結(jié)果進(jìn)行全變差約束,如下式所示:
在本文中,我們分別給出了?和?時的算法,分別為 CTRR 和 SCTRR。這里僅給出 CTRR 的算法流程,其優(yōu)化思想主要來源于迭代加權(quán)最小二乘算法。實驗
4.1 仿真數(shù)據(jù)(1)在仿真數(shù)據(jù)集上驗證 CTRR 在不同條件下(不同信噪比, 不同樣本量,不同大小和張量環(huán)秩的回歸系數(shù)張量)的預(yù)測性能(Q^2)和張量環(huán)秩推斷的準(zhǔn)確性(REE)。實驗結(jié)果如圖6所示:▲?圖6 CTRR 在不同條件下生成的仿真數(shù)據(jù)集上的表現(xiàn)(2)為更直觀地觀察所提算法對回歸系數(shù)張量估計的準(zhǔn)確性,我們利用不同形狀的圖片作為回歸系數(shù)張量,構(gòu)建仿真數(shù)據(jù),在不同信噪比條件下,CTRR 對回歸系數(shù)圖像的重建如圖 7 所示。▲?圖7 CTRR在shape數(shù)據(jù)集上的表現(xiàn)
4.2 人體行為軌跡重建實驗
這里在人體行為軌跡重建的數(shù)據(jù)集 UMPM 上驗證所提算法的有效性,實驗結(jié)果如表 1 所示:▲ 表1?CTRR和SCTRR在UMPM數(shù)據(jù)集上的性能結(jié)論
為了克服張量回歸中張量環(huán)秩估計這一困難,本文提出了一種基于組稀疏約束的緊湊張量回歸模型,將張量秩最小化問題放縮為帶有組稀疏約束的張量環(huán)低秩近似問題。在仿真數(shù)據(jù)集上的實驗驗證了 CTRR 可以在訓(xùn)練過程中對回歸系數(shù)張量的張量環(huán)秩進(jìn)行推斷,以獲得緊湊的低秩近似。同時,在真實數(shù)據(jù)集上的實驗說明了引入局部平滑約束可以提高模型的預(yù)測性能并改善預(yù)測的視覺效果。
CTRR 將張量秩推斷這一離散參數(shù)的調(diào)節(jié)問題轉(zhuǎn)換為稀疏項的連續(xù)參數(shù)調(diào)節(jié)問題,提高了算法的穩(wěn)健性。未來,我們將進(jìn)一步探索如何實現(xiàn)該算法參數(shù)的自動調(diào)節(jié)問題,開發(fā)更加實用有效的張量學(xué)習(xí)方法與應(yīng)用。
參考文獻(xiàn)
[1]?W. Guo, I. Kotsia, and I. Patras, “Tensor learning for regression,” IEEE Transactions on Image Processing, vol. 21, no. 2, pp. 816–827, 2012.
[2] E. F. Lock, “Tensor-on-tensor regression,” Journal of Computational and Graphical Statistics, vol. 27, no. 3, pp. 638–647, 2017.
[3] J. Liu, C. Zhu, Z. Long, H. Huang and Y. Liu, “Low-Rank Tensor Ring Learning for Multi-linear Regression,” Pattern Recognition, pp. 107753, 2020.
[4]?Y. Liu, J. Liu, and C. Zhu, "Low Rank Tensor Train Coefficient Array Estimation for Tensor-on-Tensor Regression," IEEE Transactions on Neural Networks and Learning Systems, 2020.
[5]?X. Li, Y. Ye, and X. Xu, “Low-rank tensor completion with total variation for visual data inpainting,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017.
[6]?I. Daubechies, R. DeVore, M. Fornasier, and C. S. Gunturk, “Iteratively reweighted least squares minimization for sparse recovery,” Communications on Pure and Applied Mathematics, vol. 63, no. 1, pp. 1–38, 2010.
[7]?M. Zhu and T. Chan, “An efficient primal-dual hybrid gradient algorithm for total variation image restoration,” UCLA CAM Report, 08-34, 2008.
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體,縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢?答案就是:你不認(rèn)識的人。
總有一些你不認(rèn)識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞,迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容,可以是最新論文解讀,也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個,讓知識真正流動起來。
??來稿標(biāo)準(zhǔn):
? 稿件確系個人原創(chuàng)作品,來稿需注明作者個人信息(姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向)?
? 如果文章并非首發(fā),請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā),均會添加“原創(chuàng)”標(biāo)志
??投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式(微信或手機),以便我們在編輯發(fā)布時和作者溝通
?
現(xiàn)在,在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的矩阵低秩张量分解_TKDE 2020 | CTRR:组稀疏约束的紧凑张量环回归的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python数据框常用操作_转载:pyt
- 下一篇: feachall php_集合:给 PH