if we change $\backslash$gamma $=1$ to $\backslash$gamma $=0\mathrm{.}91.$ Then we have U$($a$3)=$Solution

$=1$

$s=a3,$ and $a=$

Reward

larr$-3+0\mathrm{.}8*42\mathrm{.}5+0\mathrm{.}1*57\mathrm{.}9+0\mathrm{.}1*68\mathrm{.}1$

$=43\mathrm{.}6$

uarr:$-3+0\mathrm{.}8*68\mathrm{.}1+0\mathrm{.}1*42\mathrm{.}5+0\mathrm{.}1*36\mathrm{.}3$

$=59\mathrm{.}4$

$-$:$-3+0\mathrm{.}8*36\mathrm{.}3+0\mathrm{.}1*68\mathrm{.}1+0\mathrm{.}1*57\mathrm{.}9$

$=38\mathrm{.}6$

$-$ darr:$-3+0\mathrm{.}8*57\mathrm{.}9+0\mathrm{.}1*36\mathrm{.}3+0\mathrm{.}1*42\mathrm{.}5$

$=51\mathrm{.}2$

$U(a3)=59\mathrm{.}4$

Optimal action: uarr