В любой сфере человеческой деятельности, как на сугубо личном, так и на общегосударственном уровне, явно или неявно, мы встречаемся с оптимизацией. Экономическое планирование, управление, проектирование сложных объектов всегда направлено на поиск наилучшего варианта с точки зрения намеченной цели. При всем многообразии задач оптимизации дать общие методы их решения может только математика, резкое расширение приложений которой связано с появлением ЭВМ, что привело к математизации не только физики, но и химии, биологии, экономики, психологии, медицины − практически всех наук. Суть математизации состоит в построении математических моделей процессов и явлений и в разработке методов их исследования. Использование математического аппарата при решении задач оптимизации предполагает формулировку интересующей проблемы на языке математики, придание количественных оценок возможным вариантам вместо слов "лучше", "хуже". Многие задачи оптимизации сводятся к отысканию наименьшего или наибольшего значения некоторой функции, которую принято называть целевой функцией. Такая постановка задачи будет обычной при дальнейшем изложении. В этом случае методы исследования существенно зависят от свойств целевой функции и той информации о ней, которая может считаться доступной до решения задачи и в процессе решения.