當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【论文笔记】具有反馈控制的自主优化

發布時間：2024/3/26 编程问答 36 豆豆

生活随笔收集整理的這篇文章主要介紹了【论文笔记】具有反馈控制的自主优化小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

寫在前面
問題描述
最優性分析
穩定性分析
- LaSalle函數
- 不變性原理
- 嚴格極小值的漸進穩定性

寫在前面

原論文標題：Timescale Separation in Autonomous Optimization.

本文為近期閱讀的論文(Hauswirth 2020)¹和其前作(Menta 2018)²的筆記。該論文研究如圖1所示互連反饋系統的穩定性，但實際上通過timescale separation假設，直接將物理系統的穩態代入了優化部分，優化部分相當于并未用到狀態 $x$ 的反饋。

圖1. 互連反饋系統

問題描述

這里以線性系統為例。考慮線性時不變(LTI)系統
$x˙=Ax+Bu+Qw(1)\begin{aligned} \dot x&=Ax+Bu+Qw \end{aligned}\qquad (1)$
其中， $x∈Rnx\in\mathbb R^n$ ， $u∈Rpu\in\mathbb R^p$ ， $w∈Rqw\in\mathbb R^q$ 。

假設1： 存在正定矩陣 $P∈Rn×nP\in\mathbb R^{n\times n}$ ，使得 $ATP+PA≤?InA^TP+PA\leq-I_n$ 。

在假設1下，系統(1)指數穩定， $A$ 可逆，則對固定的 $u$ 和 $w$ ，其穩態為 $x = K u + R w$ ，其中 $K:=?A?1B∈Rn×pK:=-A^{-1}B\in\mathbb R^{n\times p}$ ， $R:=?A?1Q∈Rn×qR:=-A^{-1}Q\in\mathbb R^{n\times q}$ 。

考慮穩態輸出和控制量的優化問題
$min?x,uΦ(x,u)s.t.?x=Ku+Rw,(2)\begin{aligned} \min_{x,u}\quad&\Phi(x,u)\\ \operatorname{s.t.}\quad&x=Ku+Rw, \end{aligned}\qquad (2)$
消除約束，轉化為無約束優化問題 $min?uΦ~(u)\min_u\,\tilde\Phi(u)$ ，其中 $Φ~(u):=Φ(Ku+Rw,u)\tilde \Phi(u):=\Phi(Ku+Rw,u)$ 。根據鏈式法則(chain rule)，有
$?Φ~(u):=HT?Φ(Ku+Rw,u),\nabla \tilde \Phi(u):= H^T\nabla\Phi(Ku+Rw,u),$
其中， $H^T:=[K^T,I_n]$ 。

綜上所述，給出如下互連系統
$x˙=Ax+Bu+Qw，u˙=?αHT?Φ(x,u)。(3)\begin{aligned} \dot x&=Ax+Bu+Qw，\\ \dot u&=-\alpha H^T\nabla\Phi(x,u)。 \end{aligned}\qquad (3)$

對優化問題 $min?{Φ(x)∣x∈Ω}\min\{\Phi(x)|x\in\Omega \}$ ，其中 $Φ:Rn→R\Phi:\mathbb R^n\to \mathbb R$ 連續可微，點 $x^*$ 稱為critial，如果它滿足一階最優條件(KKT條件)，即 $x?∈Ωx^*\in\Omega$ 且 $??Φ(x?)∈NΩ(x?)-\nabla\Phi(x^*)\in N_\Omega(x^*)$ ，其中 $NΩ(x):={v∈Rn∣vT(y?x)≤0,?y∈Ω}N_\Omega(x):=\{v\in\mathbb R^n|v^T(y-x)\leq 0,\,\forall y\in\Omega\}$ 。

若 $Ω={x∈Rn∣h(x)=0,g(x)≤0}\Omega=\{x\in\mathbb R^n|h(x)=0,g(x)\leq 0\}$ ，其中 $h:Rn→Rsh:\mathbb R^n\to \mathbb R^s$ ， $g:Rn→Rrg:\mathbb R^n\to \mathbb R^r$ ，后一個條件等價于存在 $λ∈Rs\lambda\in\mathbb R^s$ ， $μ∈R+r\mu\in\mathbb R_+^r$ 使得
$?Φ(x?)+?h(x?)Tλ+?g(x?)Tμ=0\nabla \Phi(x^*)+\nabla h(x^*)^T\lambda+\nabla g(x^*)^T\mu=0$
以及 $μigi(x?)=0\mu_i g_i(x^*)=0$ 對所有 $i=1,?,ri=1,\cdots,r$ 成立。

試問，互連系統(3)能否將系統(1)控制到優化問題(2)的critical point？

最優性分析

這里首先分析一下互連系統(3)的平衡點是否為優化問題(2)的critical point。

命題1： 優化問題(2)每一個極小值(minimizer)都是互連系統(3)的一個平衡點。反之，互連系統(3)的每一個平衡點都是優化問題(2)的一個critical point。

原論文假設線性無關規范滿足，因此KKT條件是局部極小值(local minimizer)的必要條件，可以直接給定local minimizer推導到平衡點。但是無法通過平衡點推導到local minimizer，只能推導到critical point。

給定critical point $x^*,u^*)$ ，滿足 $x^*=Ku^*+Rw$ 和 $?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0$ 。

注意到 $I_n,-K]H=0$ ，因此 $HT?Φ(x?,u?)=0H^T\nabla \Phi(x^*,u^*)=0$ ， $x^*,u^*)$ 是互連系統(3)的一個平衡點。

反之，給定平衡點 $x^*,u^*)$ ，有 $x^*=Ku^*+Rw$ ，且 $?Φ(x?,u?)∈ker?HT=im?H⊥\nabla \Phi(x^*,u^*)\in \operatorname{ker}H^T=\operatorname{im} H^\bot$ 。由于 $im?H⊥\operatorname{im} H^\bot$ 由 $I_n,-K]^T$ 展開，因此 $?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0$ 。故 $x^*,u^*)$ 也是critical point。

穩定性分析

假設2： $Φ~(u)\tilde \Phi(u)$ 有 $l ?$ Lipschitz的梯度(gradient)。即 $∥HT(?Φ(x,u)??Φ(x′,u))∥≤l∥x?x′∥\|H^T(\nabla \Phi(x,u)-\nabla\Phi(x',u))\|\leq l\|x-x'\|$ 。此外， $Φ~(u)\tilde \Phi(u)$ 的子水平集(sublevel set)是緊集。

如果只知道 $?Φ(x,u)\nabla\Phi(x,u)$ 的lipschitz常數 $L$ ，則取 $l:=L∥K∥l:=L\|K\|$ 可滿足條件。

定理1： 在假設1、2下，每當滿足
$α<α?:=12lβ(4)\alpha<\alpha^*:=\frac{1}{2l\beta}\qquad (4)$
時，互連系統(3)收斂到優化問題(2)的critical point，其中 $β:=∥PK∥\beta:=\|PK\|$ 。此外，只有優化問題(5)的嚴格local minimizer才是漸進穩定的。

由定理1可以得到，如果優化問題(2)進一步是凸的，那么互連系統(3)收斂到其全局最優解的集合。

我們將定理1的證明分為三個部分。首先，我們提出了一個LaSalle函數，只要驗證了(4)，該函數沿系統的軌跡就不會增加(non-increasing)。其次，我們應用LaSalle的不變性原理并得出結論，所有軌跡都收斂到滿足(2)的一階最優性條件的點集。第三，我們證明只有(3)的極小值可以漸近穩定。

LaSalle函數

由singular perturbation analysis啟發³，定義如下函數

$Zδ(x,u)=(1?δ)V(u)+δW(x,u)，(5)Z_\delta(x,u)=(1-\delta)V(u)+\delta W(x,u)， \qquad (5)$

其中 $0<δ<10<\delta<1$ 是一個凸組合系數，且
$V(u):=Φ(Ku+Rw,u)，W(x,u):=(x?Ku?Rw)TP(x?Ku?Rw)。\begin{aligned} V(u)&:=\Phi(Ku+Rw,u)，\\ W(x,u)&:=(x-Ku-Rw)^TP(x-Ku-Rw)。 \end{aligned}$

引理1： $Zδ(x,u)Z_\delta(x,u)$ 沿著(3)的李導數滿足
$Z˙δ(x,u)≤[∥ψ∥∥?∥]Λ[∥ψ∥∥?∥]，\dot Z_\delta(x,u)\leq \begin{bmatrix}\|\psi\|&\|\phi\|\end{bmatrix}\Lambda\begin{bmatrix}\|\psi\|\\ \|\phi\|\end{bmatrix}，$
其中
$ψ(x,u):=HT?Φ(x,u)，?(x,u):=x?Hu?Rw，\begin{aligned} \psi(x,u)&:=H^T\nabla \Phi(x,u)，\\ \phi(x,u)&:=x-Hu-Rw， \end{aligned}$
以及
$Λ:=[?α(1?δ)α2(l(1?δ)+δβ)α2(l(1?δ)+δβ)?δ2]。(6)\Lambda:=\begin{bmatrix} -\alpha(1-\delta)&\frac{\alpha}{2}(l(1-\delta)+\delta\beta)\\ \frac{\alpha}{2}(l(1-\delta)+\delta\beta)&-\frac{\delta}{2} \end{bmatrix}。\qquad (6)$

引理2： 考慮(6)中的 $Λ\Lambda$ ，每當 $α\alpha$ 滿足(4)，那么對一些 $δ?∈(0,1)\delta^*\in(0,1)$ ， $Λ≤0\Lambda\leq 0$ 。

定理1、2證明了 $Zδ?(x,u)Z_{\delta^*}(x,u)$ 在條件(4)下不會增加。下面需要證明 $Z˙δ?(x,u)\dot Z_{\delta^*}(x,u)$ 的zero set中的點是否為平衡點，如果是，進一步證明集合的不變性。

不變性原理

以下引理均在 $α\alpha$ 滿足(4)， $δ?\delta^*$ 按定理2中定義的條件下給出。

引理3： $Z˙δ?≤0\dot Z_{\delta^*}\leq 0$ 對所有 $(x, u)$ 成立， $Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0$ 當且僅當 $(x,u)∈E(x,u)\in E$ ，其中
$E={(x,u)∣x=Ku+Rw,?Φ(x,u)∈ker?HT}。E=\{(x,u)|x=Ku+Rw,\nabla\Phi(x,u)\in\operatorname{ker} H^T\}。$
此外， $E$ 中的每一個點都是一個平衡點。

顯然，當 $Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0$ 時， $∥ψ∥\|\psi\|$ 和 $∥?∥\|\phi\|$ 都是0，即 $(x,u)∈E(x,u)\in E$ 。而 $∥ψ∥\|\psi\|$ 和 $∥?∥\|\phi\|$ 為0定義上就是平衡點，所以 $E$ 本身就是平衡點的集合。

引理4： $Zδ?(x,u)Z_{\delta^*}(x,u)$ 的子水平集(sublevel set)對于互連系統(3)是緊集和正不變集。

注意：如果 $V(u)≤cV(u)\leq c$ 的子水平集是緊集，那么存在 $U$ 使得 $∥u∥≤U\|u\|\leq U$ 。

由于 $W(x,u)≥0W(x,u)\geq 0$ ，故 $Zδ?(x,u)≤cZ_{\delta^*}(x,u)\leq c$ 是緊的意味著 $V(u)≤cV(u)\leq c$ 是緊的。由假設2知，后者確實是緊的，所以 $∥u∥≤U\|u\|\leq U$ 滿足。又由于 $V (u)$ 有下界 $L$ ， $W(x,u)≤c?LW(x,u)\leq c-L$ 。因為 $P$ 正定，所以 $x$ 同樣有界。

正不變性由 $Zδ?(x,u)Z_{\delta^*}(x,u)$ 的非增性保證。

Theorem (LaSalle’s Invariance Principle). Let $Ω?D?Rn\Omega\subset D\subset \mathbb R^n$ be a compact set that is positively invariant with respect to an autonomous system $η˙=F(η)\dot \eta=F(\eta)$ , where $F$ is locally Lipschitz. Let $D\to R$ be a continuously differentiable function such that $Z˙(η)≤0\dot Z(\eta)\leq 0$ in $Ω\Omega$ . Let $E$ be the set of all the points in $Ω\Omega$ where $Z˙(η)=0\dot Z(η) = 0$ . Let $M$ be the largest invariant set in E. Then every solution starting in $Ω\Omega$ approaches $M$ as $t→∞t\to\infty$ .

因此，軌跡收斂到critical point的集合 $E$ 。

嚴格極小值的漸進穩定性

假設 $z^*:=(x^*,u^*)$ 是系統(3)的一個漸進穩定平衡點。則 $z?∈Z:={(x,u)∣x=Ku+Rw}z^*\in\mathcal Z:=\{(x,u)|x=Ku+Rw\}$ 。

考慮reduced system
$u˙=?αHT?Φ(Ku+Rw,u)。(7)\dot u=-\alpha H^T\nabla\Phi(Ku+Rw,u)。\qquad (7)$
在 $z^*$ 的一個鄰域內，起始于 $z_0$ ，系統(3)和(7)的軌跡均收斂于 $z^*$ ，記為 $z (t)$ 和 $z^{'} (t)$ 。區別在于， $z^{'} (t)$ 永遠在 $Z\mathcal Z$ 內部，而 $z (t)$ 可能先出去再回來。

同時，對于(7)， $Φ\Phi$ 在其軌跡 $z^{'} (t)$ 上非增，因此 $Φ(z?)≤Φ(z0)\Phi(z^*)\leq \Phi(z_0)$ 。因為是 $z_0$ 任意的，所以 $z^*$ 是局部極小值。

假設存在 $zˉ\bar z$ 使得 $Φ(zˉ)≤Φ(z?)\Phi(\bar z)\leq \Phi(z^*)$ 。令 $z0=zˉz_0=\bar z$ ，系統(3)的軌跡 $z (t)$ 收斂于 $z^*$ ， $?Φ~(u(t))=0\nabla \tilde \Phi(u(t))=0$ 對幾乎所有 $t≥0t\geq 0$ 恒成立。這與 $z^*$ 漸進穩定矛盾。所以漸近穩定點如果存在，必為嚴格極小值。

Hauswirth, A., Bolognani, S., Hug, G., & D?rfler, F. (2019). Timescale Separation in Autonomous Optimization. IEEE Transactions on Automatic Control, 1–1. https://doi.org/10.1109/TAC.2020.2989274 ??

Menta, S., Hauswirth, A., Bolognani, S., Hug, G., & Dorfler, F. (2019). Stability of Dynamic Feedback optimization with Applications to Power Systems. In 2018 56th Annual Allerton Conference on Communication, Control, and Computing, Allerton 2018 (pp. 136–143). Institute of Electrical and Electronics Engineers Inc. https://doi.org/10.1109/ALLERTON.2018.8635640 ??

Khalil, H. K. (2002). Nonlinear systems (3rd ed.). Prentice Hall, ISBN: 0130673897. ??

總結

以上是生活随笔為你收集整理的【论文笔记】具有反馈控制的自主优化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【JavaScript学习记录】快速下载
下一篇： android 8 多媒体,1-4月中控