【论文笔记】具有反馈控制的自主优化
文章目錄
- 寫在前面
- 問題描述
- 最優性分析
- 穩定性分析
- LaSalle函數
- 不變性原理
- 嚴格極小值的漸進穩定性
 
寫在前面
原論文標題:Timescale Separation in Autonomous Optimization.
本文為近期閱讀的論文(Hauswirth 2020)1和其前作(Menta 2018)2的筆記。該論文研究如圖1所示互連反饋系統的穩定性,但實際上通過timescale separation假設,直接將物理系統的穩態代入了優化部分,優化部分相當于并未用到狀態xxx的反饋。
圖1. 互連反饋系統
問題描述
這里以線性系統為例。考慮線性時不變(LTI)系統
 x˙=Ax+Bu+Qw(1)\begin{aligned} \dot x&=Ax+Bu+Qw \end{aligned}\qquad (1) x˙?=Ax+Bu+Qw?(1)
 其中,x∈Rnx\in\mathbb R^nx∈Rn,u∈Rpu\in\mathbb R^pu∈Rp,w∈Rqw\in\mathbb R^qw∈Rq。
假設1: 存在正定矩陣P∈Rn×nP\in\mathbb R^{n\times n}P∈Rn×n,使得ATP+PA≤?InA^TP+PA\leq-I_nATP+PA≤?In?。
在假設1下,系統(1)指數穩定,AAA可逆,則對固定的uuu和www,其穩態為x=Ku+Rwx=Ku+Rwx=Ku+Rw,其中K:=?A?1B∈Rn×pK:=-A^{-1}B\in\mathbb R^{n\times p}K:=?A?1B∈Rn×p,R:=?A?1Q∈Rn×qR:=-A^{-1}Q\in\mathbb R^{n\times q}R:=?A?1Q∈Rn×q。
考慮穩態輸出和控制量的優化問題
 min?x,uΦ(x,u)s.t.?x=Ku+Rw,(2)\begin{aligned} \min_{x,u}\quad&\Phi(x,u)\\ \operatorname{s.t.}\quad&x=Ku+Rw, \end{aligned}\qquad (2) x,umin?s.t.?Φ(x,u)x=Ku+Rw,?(2)
 消除約束,轉化為無約束優化問題min?uΦ~(u)\min_u\,\tilde\Phi(u)minu?Φ~(u),其中Φ~(u):=Φ(Ku+Rw,u)\tilde \Phi(u):=\Phi(Ku+Rw,u)Φ~(u):=Φ(Ku+Rw,u)。根據鏈式法則(chain rule),有
 ?Φ~(u):=HT?Φ(Ku+Rw,u),\nabla \tilde \Phi(u):= H^T\nabla\Phi(Ku+Rw,u), ?Φ~(u):=HT?Φ(Ku+Rw,u),
 其中,HT:=[KT,In]H^T:=[K^T,I_n]HT:=[KT,In?]。
綜上所述,給出如下互連系統
 x˙=Ax+Bu+Qw,u˙=?αHT?Φ(x,u)。(3)\begin{aligned} \dot x&=Ax+Bu+Qw,\\ \dot u&=-\alpha H^T\nabla\Phi(x,u)。 \end{aligned}\qquad (3) x˙u˙?=Ax+Bu+Qw,=?αHT?Φ(x,u)。?(3)
對優化問題min?{Φ(x)∣x∈Ω}\min\{\Phi(x)|x\in\Omega \}min{Φ(x)∣x∈Ω},其中Φ:Rn→R\Phi:\mathbb R^n\to \mathbb RΦ:Rn→R連續可微,點x?x^*x?稱為critial,如果它滿足一階最優條件(KKT條件),即x?∈Ωx^*\in\Omegax?∈Ω且??Φ(x?)∈NΩ(x?)-\nabla\Phi(x^*)\in N_\Omega(x^*)??Φ(x?)∈NΩ?(x?),其中NΩ(x):={v∈Rn∣vT(y?x)≤0,?y∈Ω}N_\Omega(x):=\{v\in\mathbb R^n|v^T(y-x)\leq 0,\,\forall y\in\Omega\}NΩ?(x):={v∈Rn∣vT(y?x)≤0,?y∈Ω}。
若Ω={x∈Rn∣h(x)=0,g(x)≤0}\Omega=\{x\in\mathbb R^n|h(x)=0,g(x)\leq 0\}Ω={x∈Rn∣h(x)=0,g(x)≤0},其中h:Rn→Rsh:\mathbb R^n\to \mathbb R^sh:Rn→Rs,g:Rn→Rrg:\mathbb R^n\to \mathbb R^rg:Rn→Rr,后一個條件等價于存在λ∈Rs\lambda\in\mathbb R^sλ∈Rs,μ∈R+r\mu\in\mathbb R_+^rμ∈R+r?使得
 ?Φ(x?)+?h(x?)Tλ+?g(x?)Tμ=0\nabla \Phi(x^*)+\nabla h(x^*)^T\lambda+\nabla g(x^*)^T\mu=0 ?Φ(x?)+?h(x?)Tλ+?g(x?)Tμ=0
 以及μigi(x?)=0\mu_i g_i(x^*)=0μi?gi?(x?)=0對所有i=1,?,ri=1,\cdots,ri=1,?,r成立。
試問,互連系統(3)能否將系統(1)控制到優化問題(2)的critical point?
最優性分析
這里首先分析一下互連系統(3)的平衡點是否為優化問題(2)的critical point。
命題1: 優化問題(2)每一個極小值(minimizer)都是互連系統(3)的一個平衡點。反之,互連系統(3)的每一個平衡點都是優化問題(2)的一個critical point。
原論文假設線性無關規范滿足,因此KKT條件是局部極小值(local minimizer)的必要條件,可以直接給定local minimizer推導到平衡點。但是無法通過平衡點推導到local minimizer,只能推導到critical point。
給定critical point(x?,u?)(x^*,u^*)(x?,u?),滿足x?=Ku?+Rwx^*=Ku^*+Rwx?=Ku?+Rw和?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0?Φ(x?,u?)+[In?,?K]Tλ=0。
注意到[In,?K]H=0[I_n,-K]H=0[In?,?K]H=0,因此HT?Φ(x?,u?)=0H^T\nabla \Phi(x^*,u^*)=0HT?Φ(x?,u?)=0,(x?,u?)(x^*,u^*)(x?,u?)是互連系統(3)的一個平衡點。
反之,給定平衡點(x?,u?)(x^*,u^*)(x?,u?),有x?=Ku?+Rwx^*=Ku^*+Rwx?=Ku?+Rw,且?Φ(x?,u?)∈ker?HT=im?H⊥\nabla \Phi(x^*,u^*)\in \operatorname{ker}H^T=\operatorname{im} H^\bot?Φ(x?,u?)∈kerHT=imH⊥。由于im?H⊥\operatorname{im} H^\botimH⊥由[In,?K]T[I_n,-K]^T[In?,?K]T展開,因此?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0?Φ(x?,u?)+[In?,?K]Tλ=0。故(x?,u?)(x^*,u^*)(x?,u?)也是critical point。
穩定性分析
假設2: Φ~(u)\tilde \Phi(u)Φ~(u)有l?l-l?Lipschitz的梯度(gradient)。即∥HT(?Φ(x,u)??Φ(x′,u))∥≤l∥x?x′∥\|H^T(\nabla \Phi(x,u)-\nabla\Phi(x',u))\|\leq l\|x-x'\|∥HT(?Φ(x,u)??Φ(x′,u))∥≤l∥x?x′∥。此外,Φ~(u)\tilde \Phi(u)Φ~(u)的子水平集(sublevel set)是緊集。
如果只知道?Φ(x,u)\nabla\Phi(x,u)?Φ(x,u)的lipschitz常數LLL,則取l:=L∥K∥l:=L\|K\|l:=L∥K∥可滿足條件。
定理1: 在假設1、2下,每當滿足
 α<α?:=12lβ(4)\alpha<\alpha^*:=\frac{1}{2l\beta}\qquad (4) α<α?:=2lβ1?(4)
 時,互連系統(3)收斂到優化問題(2)的critical point,其中β:=∥PK∥\beta:=\|PK\|β:=∥PK∥。此外,只有優化問題(5)的嚴格local minimizer才是漸進穩定的。
由定理1可以得到,如果優化問題(2)進一步是凸的,那么互連系統(3)收斂到其全局最優解的集合。
我們將定理1的證明分為三個部分。 首先,我們提出了一個LaSalle函數,只要驗證了(4),該函數沿系統的軌跡就不會增加(non-increasing)。 其次,我們應用LaSalle的不變性原理并得出結論,所有軌跡都收斂到滿足(2)的一階最優性條件的點集。 第三,我們證明只有(3)的極小值可以漸近穩定。
LaSalle函數
由singular perturbation analysis啟發3,定義如下函數
Zδ(x,u)=(1?δ)V(u)+δW(x,u),(5)Z_\delta(x,u)=(1-\delta)V(u)+\delta W(x,u), \qquad (5) Zδ?(x,u)=(1?δ)V(u)+δW(x,u),(5)
其中0<δ<10<\delta<10<δ<1是一個凸組合系數,且
 V(u):=Φ(Ku+Rw,u),W(x,u):=(x?Ku?Rw)TP(x?Ku?Rw)。\begin{aligned} V(u)&:=\Phi(Ku+Rw,u),\\ W(x,u)&:=(x-Ku-Rw)^TP(x-Ku-Rw)。 \end{aligned} V(u)W(x,u)?:=Φ(Ku+Rw,u),:=(x?Ku?Rw)TP(x?Ku?Rw)。?
引理1: Zδ(x,u)Z_\delta(x,u)Zδ?(x,u)沿著(3)的李導數滿足
 Z˙δ(x,u)≤[∥ψ∥∥?∥]Λ[∥ψ∥∥?∥],\dot Z_\delta(x,u)\leq \begin{bmatrix}\|\psi\|&\|\phi\|\end{bmatrix}\Lambda\begin{bmatrix}\|\psi\|\\ \|\phi\|\end{bmatrix}, Z˙δ?(x,u)≤[∥ψ∥?∥?∥?]Λ[∥ψ∥∥?∥?],
 其中
 ψ(x,u):=HT?Φ(x,u),?(x,u):=x?Hu?Rw,\begin{aligned} \psi(x,u)&:=H^T\nabla \Phi(x,u),\\ \phi(x,u)&:=x-Hu-Rw, \end{aligned} ψ(x,u)?(x,u)?:=HT?Φ(x,u),:=x?Hu?Rw,?
 以及
 Λ:=[?α(1?δ)α2(l(1?δ)+δβ)α2(l(1?δ)+δβ)?δ2]。(6)\Lambda:=\begin{bmatrix} -\alpha(1-\delta)&\frac{\alpha}{2}(l(1-\delta)+\delta\beta)\\ \frac{\alpha}{2}(l(1-\delta)+\delta\beta)&-\frac{\delta}{2} \end{bmatrix}。\qquad (6) Λ:=[?α(1?δ)2α?(l(1?δ)+δβ)?2α?(l(1?δ)+δβ)?2δ??]。(6)
引理2: 考慮(6)中的Λ\LambdaΛ,每當α\alphaα滿足(4),那么對一些δ?∈(0,1)\delta^*\in(0,1)δ?∈(0,1),Λ≤0\Lambda\leq 0Λ≤0。
定理1、2證明了Zδ?(x,u)Z_{\delta^*}(x,u)Zδ??(x,u)在條件(4)下不會增加。下面需要證明Z˙δ?(x,u)\dot Z_{\delta^*}(x,u)Z˙δ??(x,u)的zero set中的點是否為平衡點,如果是,進一步證明集合的不變性。
不變性原理
以下引理均在α\alphaα滿足(4),δ?\delta^*δ?按定理2中定義的條件下給出。
引理3: Z˙δ?≤0\dot Z_{\delta^*}\leq 0Z˙δ??≤0對所有(x,u)(x,u)(x,u)成立,Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0Z˙δ??(x,u)=0當且僅當(x,u)∈E(x,u)\in E(x,u)∈E,其中
 E={(x,u)∣x=Ku+Rw,?Φ(x,u)∈ker?HT}。E=\{(x,u)|x=Ku+Rw,\nabla\Phi(x,u)\in\operatorname{ker} H^T\}。 E={(x,u)∣x=Ku+Rw,?Φ(x,u)∈kerHT}。
 此外,EEE中的每一個點都是一個平衡點。
顯然,當Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0Z˙δ??(x,u)=0時,∥ψ∥\|\psi\|∥ψ∥和∥?∥\|\phi\|∥?∥都是0,即(x,u)∈E(x,u)\in E(x,u)∈E。而∥ψ∥\|\psi\|∥ψ∥和∥?∥\|\phi\|∥?∥為0定義上就是平衡點,所以EEE本身就是平衡點的集合。
引理4: Zδ?(x,u)Z_{\delta^*}(x,u)Zδ??(x,u)的子水平集(sublevel set)對于互連系統(3)是緊集和正不變集。
注意:如果V(u)≤cV(u)\leq cV(u)≤c的子水平集是緊集,那么存在UUU使得∥u∥≤U\|u\|\leq U∥u∥≤U。
由于W(x,u)≥0W(x,u)\geq 0W(x,u)≥0,故Zδ?(x,u)≤cZ_{\delta^*}(x,u)\leq cZδ??(x,u)≤c是緊的意味著V(u)≤cV(u)\leq cV(u)≤c是緊的。由假設2知,后者確實是緊的,所以∥u∥≤U\|u\|\leq U∥u∥≤U滿足。又由于V(u)V(u)V(u)有下界LLL,W(x,u)≤c?LW(x,u)\leq c-LW(x,u)≤c?L。因為PPP正定,所以xxx同樣有界。
正不變性由Zδ?(x,u)Z_{\delta^*}(x,u)Zδ??(x,u)的非增性保證。
Theorem (LaSalle’s Invariance Principle). Let Ω?D?Rn\Omega\subset D\subset \mathbb R^nΩ?D?Rn be a compact set that is positively invariant with respect to an autonomous system η˙=F(η)\dot \eta=F(\eta)η˙?=F(η), where FFF is locally Lipschitz. Let Z:D→RZ : D\to RZ:D→R be a continuously differentiable function such that Z˙(η)≤0\dot Z(\eta)\leq 0Z˙(η)≤0 in Ω\OmegaΩ. Let EEE be the set of all the points in Ω\OmegaΩ where Z˙(η)=0\dot Z(η) = 0Z˙(η)=0. Let MMM be the largest invariant set in E. Then every solution starting in Ω\OmegaΩ approaches MMM as t→∞t\to\inftyt→∞.
因此,軌跡收斂到critical point的集合EEE。
嚴格極小值的漸進穩定性
假設z?:=(x?,u?)z^*:=(x^*,u^*)z?:=(x?,u?)是系統(3)的一個漸進穩定平衡點。則z?∈Z:={(x,u)∣x=Ku+Rw}z^*\in\mathcal Z:=\{(x,u)|x=Ku+Rw\}z?∈Z:={(x,u)∣x=Ku+Rw}。
考慮reduced system
 u˙=?αHT?Φ(Ku+Rw,u)。(7)\dot u=-\alpha H^T\nabla\Phi(Ku+Rw,u)。\qquad (7) u˙=?αHT?Φ(Ku+Rw,u)。(7)
 在z?z^*z?的一個鄰域內,起始于z0z_0z0?,系統(3)和(7)的軌跡均收斂于z?z^*z?,記為z(t)z(t)z(t)和z′(t)z'(t)z′(t)。區別在于,z′(t)z'(t)z′(t)永遠在Z\mathcal ZZ內部,而z(t)z(t)z(t)可能先出去再回來。
同時,對于(7),Φ\PhiΦ在其軌跡z′(t)z'(t)z′(t)上非增,因此Φ(z?)≤Φ(z0)\Phi(z^*)\leq \Phi(z_0)Φ(z?)≤Φ(z0?)。因為是z0z_0z0?任意的,所以z?z^*z?是局部極小值。
假設存在zˉ\bar zzˉ使得Φ(zˉ)≤Φ(z?)\Phi(\bar z)\leq \Phi(z^*)Φ(zˉ)≤Φ(z?)。令z0=zˉz_0=\bar zz0?=zˉ,系統(3)的軌跡z(t)z(t)z(t)收斂于z?z^*z?,?Φ~(u(t))=0\nabla \tilde \Phi(u(t))=0?Φ~(u(t))=0對幾乎所有t≥0t\geq 0t≥0恒成立。這與z?z^*z?漸進穩定矛盾。所以漸近穩定點如果存在,必為嚴格極小值。
Hauswirth, A., Bolognani, S., Hug, G., & D?rfler, F. (2019). Timescale Separation in Autonomous Optimization. IEEE Transactions on Automatic Control, 1–1. https://doi.org/10.1109/TAC.2020.2989274 ??
Menta, S., Hauswirth, A., Bolognani, S., Hug, G., & Dorfler, F. (2019). Stability of Dynamic Feedback optimization with Applications to Power Systems. In 2018 56th Annual Allerton Conference on Communication, Control, and Computing, Allerton 2018 (pp. 136–143). Institute of Electrical and Electronics Engineers Inc. https://doi.org/10.1109/ALLERTON.2018.8635640 ??
Khalil, H. K. (2002). Nonlinear systems (3rd ed.). Prentice Hall, ISBN: 0130673897. ??
總結
以上是生活随笔為你收集整理的【论文笔记】具有反馈控制的自主优化的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: 【JavaScript学习记录】快速下载
- 下一篇: android 8 多媒体,1-4月中控
