Hamilton-Jacobi-Bellman egyenlet

A Hamilton-Jacobi-Bellman egyenlet egy parciális differenciálegyenlet , amely központi szerepet játszik az optimális szabályozás elméletében . Az egyenlet megoldása az értékfüggvény , amely adott költségfüggvénnyel az optimális értéket adja meg egy szabályozott dinamikus rendszerhez .

Ha a Hamilton-Jacobi-Bellman egyenleteket a tér valamely részében megoldjuk, szükségszerű feltétel szerepét töltik be; a teljes térben megoldva az optimális megoldás elégséges feltételévé is válnak. A technika sztochasztikus rendszerekre is alkalmazható.

A klasszikus variációs problémák (például a brachistochrone probléma ) megoldhatók ezzel a módszerrel.

Az egyenlet a dinamikus programozási elmélet fejlesztésének eredménye , amelyet Richard Bellman és munkatársai vezettek be. [egy]

A megfelelő diszkrét időegyenletet egyszerűen Bellman-egyenletnek nevezzük . Ha a folytonos idővel kapcsolatos problémát vizsgáljuk, a kapott egyenletek a Hamilton-Jacobi egyenlettel kapcsolatos elméleti fizika területén végzett korábbi munka folytatásának tekinthetők .

Optimális szabályozási problémák

Tekintsük a következő optimális szabályozási problémát az időintervallumban : $[0,T]$

V=\min _{u}\left\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\jobb \},

ahol C és D azok a költségfüggvények, amelyek a funkcionális integrált és terminális részeit határozzák meg. x ( t ) egy vektor, amely meghatározza a rendszer állapotát minden időpillanatban. Kezdőértéke x (0) ismert. Az u ( t ) vezérlővektort úgy kell megválasztani, hogy V értéke minimális legyen .

A rendszer fejlődését az u ( t ) vezérlés hatására a következőképpen írjuk le:

{\pont {x}}(t)=F[x(t),u(t)].

PDE

Egy ilyen egyszerű dinamikus rendszer esetében a Hamilton-Jacobi-Bellman egyenletek a következő alakot öltik:

{\pont {V}}(x,t)+\min _{u}\left\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\ jobb\}=0

( a skaláris szorzatot értjük), és a T végső időpontban érvényes értékkel adják meg : $a\cdot b$

V(x,T)=D(x).

Ebben az egyenletben az ismeretlen a Bellman V ( x , t ) „értékfüggvény” , amely annak a maximális árnak felel meg, amelyet a rendszer ( x , t ) állapotból optimális módon T időpontig történő meghajtásával kaphatunk . Ennek megfelelően a minket érdeklő optimális költség a V = V ( x (0), 0) érték.

Az egyenlet levezetése

Mutassuk meg az intuitív érvelést, amely ehhez az egyenlethez vezet. Legyen értékfüggvény, majd tekintsük átmenetet t időről t + dt időre a Bellman-elv szerint : ${\displaystyle V{\big (}x(t),t{\big )))$

V{\big (}x(t),t{\big )}=\min _{u}\left\{C{\big (}x(t+dt),u(t+dt) {\big )}\,dt+V{\big (}x(t+dt),t+dt{\big )}\right\}.

Bővítsük ki az utolsó kifejezést Taylor szerint:

V{\big (}x(t+dt),t+dt{\big )}=V{\big (}x(t),t{\big )}+{\pont {V)) {\big (}x(t),t{\big )}\,dt+\nabla V{\big (}x(t),t{\big )}\cdot {\pont {x}}(t) \,dt+o(dt^{2}).

Marad a V ( x , t ) balra mozgatása, dt -vel való elosztás és a határértékre való átlépés.

Jegyzetek

↑ RE Bellman. Dinamikus programozás. Princeton, NJ, 1957.

Irodalom

R. E. Bellman: Dinamikus programozás és új formalizmus a variációszámításban. Proc. Nat. Acad. sci. 40, 1954, 231-235.
R. E. Bellman: Dinamikus programozás, Princeton 1957.
R. Bellman, S. Dreyfus: A dinamikus programozás alkalmazása optimális műholdpályák meghatározására. J Brit. Interplanet. szoc. 17, 1959, 78-83.