АЛГОРИТМ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ ДЛЯ НАСТРОЙКИ ГИПЕРПАРАМЕТРОВ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ

Авторы: 
М.А. Усова, И.Г. Лебедев, A.A. Штанюк, К.А. Баркалов
УДК: 
519.853.4
DOI: 
10.24412/2073-0667-2025-4-52-72
Аннотация: 

В статье рассматриваются задачи поиска наилучшего сочетания гиперпараметров методов машинного обучения и искусственного интеллекта. В таких задачах актуальной является проблема некорректной работы исследуемых методов ИИ и МО в некоторых (заранее неизвестных) подобластях области изменения гиперпараметров. С математической точки зрения такая задача может быть представлена как задача поиска глобального минимума функции, заданной в виде «черного ящика» и не всюду определенной в области поиска. Существование подобластей, где целевая функция является неопределенной, можно интерпретировать как наличие некоторых скрытых, заранее неизвестных ограничений. Предложен подход к решению такого рода задач, который является расширением информационно-статистического алгоритма глобального поиска и учитывает наличие неопределенных значения целевой функции в некоторых точках. В рамках предложенного алгоритма проводится разбиение области поиска точками испытаний и оцениваются характеристики подобластей на основе значений целевой функции, вычисленных на их границах. В случае отсутствия информации о значениях функции в алгоритме используется оценка, учитывающая размер исследуемой подобласти. Для сокращения количества испытаний в подобластях, в которых функция не определена, введен специальный параметр метода, позволяющий регулировать число точек испытаний в области невычислимости. Изложено подробное описание и приведена схема работы модифицированного алгоритма глобального поиска. Продемонстрированы результаты его сравнения с другими известными алгоритмами глобальной оптимизации, полученные при проведении численных экспериментов как с тестовыми функциями, так и с модельными задачами настройки гиперпараметров, в которых возникают неопределенные значения оптимизируемой метрики качества.

Работа выполнена при поддержке Министерства науки и высшего образования РФ (проект № FSWR-2023-0034) и научно-образовательного математического центра «Математика технологий будущего».

Список литературы

  1. Zhou J. , Qiu Y., Zhu S., Armaghani D. J. , Li C., Nguyen H. , Yagiz S. Optimization of support vector machine through the use of metaheuristic algorithms in forecasting TBM advance rate // Eng. Appl. Artif. Intell. 202 V. 97. P. 104015. DOI: 10.1016/j.engappai.2020.104015.
  2. Yang W., Xia K., Fan S., Wang L., Li T., Zhang J., Feng Y. A Multi-Strategy Whale Optimization Algorithm and Its Application // Eng. Appl. Artif. Intell. 202 V. 108. P. 104558. DOI: 10.1016/j.engappai.2021.104558.
  3. Frazier P. I. A Tutorial on Bayesian Optimization // arXiv. 2018. DOI: 10.48550/arXiv.1807.02811.
  4. Archetti F., Candelieri A. Bayesian Optimization and Data Science. Cham: Springer Briefs in Optimization, 2019. DOI: 10.1007/978-3-030-24494-1.
  5. Jones D., Martins J. The direct algorithm: 25 years later // J. Glob. Optim. 2021. V. 79, № 3.P. 521–566. DOI: 10.1007/s10898-020-00952-6.
  6. Paulaviсius R. and Zilinskas J. Simplicial Global Optimization. New York: Springer, 2014. DOI: 10.1007/978-1-4614-9093-7.
  7. Paulavicius R., Sergeyev Y. D., Kvasov D. E., Zilinskas J. Globally-biased BIRECT algorithm with local accelerators for expensive global optimization // Expert Syst. Appl. 2020. V. 144. P. 113052. DOI: 10.1016/j.eswa.2019.113052.
  8. Сергеев Я. Д., Квасов Д. Е. Диагональные методы глобальной оптимизации. М.: Физматлит, 200
  9. Liberti L., Kucherenko S. Comparison of deterministic and stochastic approaches to global optimization // Int. Trans. Oper. Res. 2005. V. 12. P. 263–285.
  10. Sergeyev Y. D., Kvasov D. E., Mukhametzhanov M. S. On the efficiency of nature-inspired metaheuristics in expensive global optimization with limited budget // Sci. Rep. 2018. V. 8, № 1.P. 435.
  11. Stripinis L., Paulavicius R. A new DIRECT-GLh algorithm for global optimization with hidden constraints // Optim. Lett. 2021. V. 15, № 6. P. 1865–1884. DOI: 10.1007/s11590-021-01726-z.
  12. Audet C., Batailly A., Kojtych S. Escaping unknown discontinuous regions in blackbox optimization // SIAM J. Optim. 2022. V. 32, № 3. P. 1843–1870. DOI: 10.1137/21m1420915.
  13. Candelieri A. Sequential model based optimization of partially defined functions under unknown constraints // J. Glob. Optim. 2019. V. 79, № 2. P. 281–303. DOI: 10.1007/s10898-019-00860-4.
  14. Баркалов К. А., Стронгин Р. Г. Метод глобальной оптимизации с адаптивным порядком проверки ограничений // Журн. вычисл. матем. и матем. физ. 2002. Т. 42, № 9. С. 1338–1350.
  15. Strongin R. G., Barkalov K. A., Bevzuk S. A. Global optimization method with dual Lipschitz constant estimates for problems with non-convex constraints // Soft Comput. 2020. V. 24, № 16. P. 11853–11865. DOI: 10.1007/s00500-020-05078-1.
  16. Sergeyev Y. D., Strongin R. G., Lera D. Introduction to Global Optimization Exploiting Space-Filling Curves. New York: Springer Briefs in Optimization, 2013. DOI: 10.1007/978-1-4614-8042-6.
  17. Strongin R. G., Sergeyev Y. D. Global optimization with non-convex constraints. Sequential and parallel algorithms. Dordrecht: Kluwer Academic Publishers, 2000.
  18. Usova M. A., Barkalov K. A. An Algorithm for Finding the Global Extremum of a Partially Defined Function // Communications in Computer and Information Science. 2024. V. 1914. P. 147–161. DOI: 10.1007/978-3-031-52470-7_13.
  19. Barkalov K. A., et al. On solving the problem of finding kinetic parameters of catalytic isomerization of the pentane-hexane fraction using a parallel global search algorithm // Mathematics. 2022. V. 10, № P. 3665. DOI: 10.3390/math10193665.
  20. Gubaydullin I. M., Enikeeva L. V., Barkalov K. A., Lebedev I. G., Silenko D. G. Kinetic modeling of isobutane alkylation with mixed c4 olefins and sulfuric acid as a catalyst using the asynchronous global optimization algorithm // Commun. Comput. Inf. Sci. 2022. V. 1618. P. 293–306. DOI: 10.1007/978-3-031-11623-0_
  21. Barkalov K. A., Lebedev I. G., Gergel V. P. Parallel Global Search Algorithm with Local Tuning for Solving Mixed-Integer Global Optimization Problems//Lobachevskii Journal of Mathematics. V. 7.№ 42. 2021. P. 1492–1503.
  22. Сысоев А. В., Козинов Е. А., Баркалов К. А., Лебедев И. Г., Карчков Д. А., Родионов Д. М. Фреймворк методов интеллектуальной эвристической оптимизации iOpt // В кн.: Суперкомпью-терные дни в России: Труды международной конференции. 2023. С. 179–185.
  23. Исходный код фреймворка iOpt. [Электрон. рес.]: https://github.com/aimclub/iOpt (дата обращения: 26.01.2025).
  24. Документация iOpt. [Электрон. рес.]: https://iopt.readthedocs.io/ru/latest/ (дата об-ращения: 26.01.2025).
  25. Gaviano M., Kvasov D. E., Lera D., Sergeyev Y. D. Software for generation of classes of test functions with known local and global minima for global optimization // ACM Trans. Math. Softw. 2003. V. 29, № 4. P. 469–480.
  26. Storn R., Price K., Differential Evolution — a Simple and Efficient Heuristic for Global Optimization over Continuous Spaces // Journal of Global Optimization. 1997. V. 11. P. 341–359.
  27. Xiang Y, Gubian S, Suomela B, Hoeng J. Generalized Simulated Annealing for Efficient Global Optimization: the GenSA Package for R // The R Journal. 2013. V. 5, № 1.
  28. Gablonsky J., Kelley C. A Locally-Biased form of the DIRECT Algorithm // Journal of Global Optimization. 2001. V. 21. P. 27–37.
  29. Wales D. J., Doye J. P. K. Global Optimization by Basin-Hopping and the Lowest Energy Structures of Lennard-Jones Clusters Containing up to 110 Atoms // Journal of Physical Chemistry A. 1997. V. 101. P. 5111.
  30. Endres S. C., Sandrock C., Focke W. W. A simplicial homology algorithm for lipschitz optimisation // Journal of Global Optimization. 2018.
  31. Filippou K., Aifantis G., Papakostas G. A., Tsekouras G. E. Structure learning and hyperparameter optimization using an automated machine learning (AutoML) pipeline // Information. 2023. V. 14, № 4. P. 232.
  32. Automated modeling and machine learning framework FEDOT. [Электрон. рес.]: https:// github.com/aimclub/FEDOT (дата обращения: 25.07.2025).
  33. Xu N. Time Series Analysis on Monthly Beer Production in Australia // Highlights in Science, Engineering and Technology. 2024. V. 94. P. 392–401. DOI: 10.54097/4z3krj13.
  34. Akiba T., Sano S., Yanase T., Ohta T., Koyama M. Optuna: A Next-Generation Hyperparameter Optimization Framework // In Proceedings: 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019. P. 2623–2631. DOI: 10.1145/3292500.3330701.

 

Ключевые слова: 
машинное обучение, настройка гиперпараметров, глобальная оптимизация, функции вида «черный ящик», частично определенные функции.
Номер журнала: 
4(69) 2025 г.
Год: 
2025
Адрес: 
ННГУ им. Н.И. Лобачевского, 603022, Нижний Новгород, Россия
Библиографическая ссылка: 
Усова М. А., Лебедев И. Г., Штанюк A. A., Баркалов К. А. Алгоритм глобальной оптимизации для настройки гиперпараметров методов машинного обучения //"Проблемы информатики", 2025, № 4, с.52-72. DOI: 10.24412/2073-0667-2025-4-52-72.