最優(yōu)化理率與算法是一個(gè)重要的數(shù)學(xué)分支，它所研究的問題是，在眾多的方案中什么樣的方案最優(yōu)以及怎樣找出最優(yōu)方案。早在公元前500年，古希臘數(shù)學(xué)家畢達(dá)哥拉斯就已發(fā)現(xiàn)了黃金分割法，17世紀(jì)牛頓發(fā)明微積分時(shí)已經(jīng)提出極值問題，后來又出現(xiàn)拉格朗日乘數(shù)法；1847年柯西提出了最速下降法，還有求無約束極值的變分法，這些統(tǒng)稱為古典最優(yōu)化方法。

由于生產(chǎn)和科學(xué)研究迅猛發(fā)展，許多最優(yōu)化問題已無法用古典方法解決，又由于電子計(jì)算機(jī)日益普及，使最優(yōu)化問題的研究不僅成為一種迫切需要，而且有了求解的有力工具?，F(xiàn)在已經(jīng)有許多計(jì)算機(jī)算法解決最優(yōu)化問題，如Kuhn-Tucker 定理、Be11man 最優(yōu)化原理和動(dòng)態(tài)規(guī)劃、pONTRIAGIN 的極大值原理以及Ka1man 的關(guān)于隨機(jī)控制系統(tǒng)最優(yōu)濾波器。

最優(yōu)化節(jié)點(diǎn)位于函數(shù)選板的“數(shù)學(xué)→最優(yōu)化”，如圖所示。