МЕТОД ПРОГНОЗИРОВАНИЯ ОШИБКИ ВРЕМЕНИ ОБУЧЕНИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ВОССТАНОВЛЕНИЯ МНОГОМЕРНЫХ ВРЕМЕННЫХ РЯДОВ

EDX: XLSZLH

В статье представлен нейросетевой метод tsGAP2, предназначенный для прогнозирования ошибки и времени обучения нейросетевых моделей восстановления пропущенных значений в многомерных временных рядах. Входными данными метода является нейросетевая модель, представленная в виде ориентированного ациклического графа, в которой узлы соответству­ют слоям, а дуги связи между ними. Метод предполагает использование трех компонентов: Автоэнкодера, который преобразует графовое представление модели в компактное векторное, Энкодера, кодирующих) гиперпараметры и характеристики вычислительного устройства, и Агрегатора, объединяющих) векторные представления и формирующих) прогноз. Обучение нейросетевой модели tsGAP2 осуществляется с использованием составной ошибки, представ­ляющей собой взвешенную сумму нескольких компонент. Каждая компонента оценивает раз­личные аспекты выхода модели tsGAP2, включая корректность декодированной из векторного представления нейросетевой модели, прогноз ошибки и времени ее обучения. Для исследования было сформировано пространство поиска, включающее 200 различных архитектур. Во время экспериментов было выполнено 12 000 запусков обучения на временных рядах из различных предметных областей. Результаты экспериментов показывают, что предложенный метод обес­печивает высокую точность прогнозирования ошибки целевой модели: средняя ошибка но мере SMAPE составляет 4.4 %, что значительно превосходит существующие альтернативные подхо­ды, демонстрирующие ошибку в среднем на уровне 27.6 %. Средняя ошибка прогноза времени составила 8.8 %, что значительно превосходит существующие альтернативные подходы, де­монстрирующие ошибку, равную 61.6 %.

Работа выполнена при финансовой поддержке Российского научного фонда (грант № 23-21-00465).

Список литературы

1.  Avdin S. Time series analysis and some applications in medical research // Journal of Mathematics and Statistics Studies'. 2022. V. 3. N 2. P. 31-36. DOI: 10.32996/JMSS.
2.  Voevodin V. V., Stefanov K. S. Development of a portable software solution for monitoring and analyzing the performance of supercomputer applications // Numerical Methods and Programming. 2023. V. 24. P. 24-36. DOI: 10.26089/NumMet.v24rl03.
3.  Kumar S., Tiwari P., Zvmbler M. L. Internet of Things is a revolutionary approach for future technology enhancement: a review // Journal of Big Data. 2019. V. 6. Art. 111. DOI: 10.1186/S40537- 019-0268-2.
4.  Gromov V. A., Lukvanchenko P. P., Beschastnov Yu. N., Tomashchuk К. K. Time Series Structure Analysis of the Number of Law Cases // Proceedings in Cybernetics. 2022. N 4 (48). P. 37-48.
5.  Kazijevs М., Samad M. D. Deep imputation of missing values in time series health data: A review with benchmarking // J. Biomed. Informatics. 2023. V. 144. P. 104440. DOI: 10.1016/J.JBI.2023.104440.
6.  Elsken Т., Metzen J. H., Hutter F. Neural Architecture Search: A Survey // J. Mach. Learn. Res. 2019. V. 20. N 55. P. 1-21. (Electron, res.]: https://jmlr.org/papers/v20/18-598.html.
7.  Wozniak A. P., Milczarek М., Wozniak J. MLOps Components, Tools, Process, and Metrics: A Systematic Literature Review // IEEE Access. 2025. V. 13. P. 22166-22175. DOI: 10.1109/ACCESS.2025.3534990.
8.  Weights k, Biases: Machine learning experiment tracking, dataset versioning, and model management. (El. Res.]: https://wandb.ai/. Access date: 2025-06-11.
9.  Bergstra J., Bengio Y. Random search for hvper-parameter optimization // J. Mach. Learn. Res. 2012. V. 13. P. 281-305.
10.  Dong X., Yang Y. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search // 8th Int. Conf. on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30,

1. (Electron, res.]: https://openreview.net/forum?id=HJxyZkBKDr.

1.  Ding Y., Huang Z., Shou X., Guo Y., Sun Y., Gao J. Architecture-Aware Learning Curve Extrapolation via Graph Ordinary Differential Equation // AAAI-25, Sponsored by the Association for the Advancement of Artificial Intelligence, Feb. 25 — Mar. 4, 2025, Philadelphia, PA, USA / ed. by T. Walsh, J. Shah, Z. Kolter. AAAI Press, 2025. P. 16289-16297. DOI: 10.1609/AAAI.'V39I15.33789.
2.  timeseries Graph Attention Performance Predict. (El. Res.]: https://gitverse.ru/yurtinaa/ tsGAP2. Access date: 2025-05-03.
3.  Gawlikowski J., Tassi C. R. N., Ali М., Lee J., Humt М., Feng J., Kruspe A., Triebel R., Jung P., Roscher R., Shahzad М., Yang W., Bamler R., Zhu X. X. A survey of uncertainty in deep neural networks // Artif. Intell. Rev. 2023. V. 56. N 1. P. 1513-1589. ISSN: 1573-7462. DOI: 10.1007/sl0462- 023-10562-9.
4.  Zela A., Siems J. N., Zimmer L., Lukasik J., Keuper М., Hutter F. Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks // The Tenth Int. Conf. on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. (Electron, res.]: https:// openrevi ew.net/f orum?id=OnpFa95RVqs.
5.  Titsias M. Variational Learning of Inducing Variables in Sparse Gaussian Processes // Proc. of the Twelfth Int. Conf. on Artificial Intelligence and Statistics. / ed. by D. van Dvk, M. Welling. Hilton Clearwater Beach Resort, Clearwater Beach, Florida, USA: PMLR, 16-18 Apr. 2009. V. 5. P. 567-574. (Electron, res.]: https: //proceedings. mlr. press/v5/titsias09a. html.
6.  Ying C., Klein A., Christiansen E., Real E., Murphy K., Hutter F. NAS-Bench-101: Towards Reproducible Neural Architecture Search // Proc. of the 36th Int. Conf. on Machine Learning, ICML 2019, June 9-15, Long Beach, California, USA / ed. by K. Chaudhuri, R. Salakhutdinov. PMLR, 2019. V. 97. P. 7105-7114. (Electron, res.]: http://proceedings.mlr.press/v97/ying!9a.html.
7.  White C., Neiswanger W., Savani Y. BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search // Thirty-Fifth AAAI Conf. on Artificial Intelligence, AAAI 2021, IAAI 2021, EAAI 2021, Virtual Event, Feb. 2-9, 2021. AAAI Press, 2021. P. 10293-10301. DOI: 10.1609 A A A I. V35112.17233.
8.  White C., Zela A., Ru R., Liu Y., Hutter F. How powerful are performance predictors in neural architecture search? // Adv. Neural Inf. Process. Svst. 2021. V. 34. P. 28454-28469.
9.  Snoek J., Rippel О., Swerskv К., Kiros R., Satish N., Sundaram N., Patwarv М., Prabhat, Adams R. P. Scalable Bayesian Optimization Using Deep Neural Networks // Proc. of the 32nd Int. Conf. on Machine Learning (ICML). Lille, France: PMLR, 2015. V. 37. P. 2171-2180.
10.  Springenberg J. Т., Klein A., Falkner S., Hutter F. Bayesian Optimization with Robust Bayesian Neural Networks // Adv. Neural Inf. Process. Svst / ed. by D. Lee, M. Sugivama, U. Luxburg, I. Guvon, R. Garnett. V. 29.
11.  Wu X., Zhang D., Guo С., He C., Yang B., Jensen C. S. AutoCTS: Automated Correlated Time Series Forecasting // Proc. VLDB Endow. 2021. V. 15. N 4. P. 971-983. DOI: 10.14778/3503585.3503604.
12.  Wang C., Chen X., Wu C., Wang H. AutoTS: Automatic Time Series Forecasting Model Design Based on Two-Stage Pruning // arXiv preprint: abs/2203.14169. DOI:10.48550/arXiv.2203.14169.
13.  Velickovic P., Cucurull G., Casanova A., Romero A., Li‘o P., Bengio Y. Graph Attention Networks // 6th Int. Conf. on Learning Representations, ICLR 2018, Vancouver, Canada, April 30 — May 3, 2018. 2018. [Electron, res.]: https://openreview.net/foruiii7icNrJXMpikCZ.
14.  Clevert D., Unterthiner Т., Hochreiter S. Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) // 4th Int. Conf. on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016 / ed. by Y. Bengio, Y. LeCun. 2016. [Electron, res.]: http: //arxiv.org/abs/1511.07289.
15.  Hochreiter S. The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions // Int. J. Uncertain. Fuzziness Knowl. Based Svst. 1998. V. 6. N 2. P. 107-116. DOI: 10.1142/S0218488598000094.
16.  He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA. IEEE Computer Society. 2016. P. 770-778. DOI: 10.1109/CVPR.2016.90.
17.  Srivastava N., Hinton G. E., Krizhevskv A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting // J. Mach. Learn. Res. 2014. V. 15. N 1. P. 1929-1958. DOI: 10.5555/2627435.2670313.
18.  Mao A., Mohri М., Zhong Y. Cross-Entropv Loss Functions: Theoretical Analysis and Applications // Proc. of the 40th Int. Conf. on Machine Learning / ed. by A. Krause. 2023. V. 202. P. 23803-23828.
19.  Huber P. J. Robust Estimation of a Location Parameter // Breakthroughs in Statistics: Methodology and Distribution / ed. by S. Kotz, N. L. Johnson. Springer New York. 1992. P. 192 518. ISBN: 978-1-4612-4380-9. DOI: 10T007/978-l-4612-4380-9_35.
20.  Bilenko R. V., Dolganina N. Yu., Ivanova E. V., Rekachinskv A. I. High-performance Computing Resources of South Ural State University // Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2022. V. 11. N 1. P. 15-30. DOI: 10.14529/cmse220102.
21.  BundesAmt Fur Umwelt — Swiss Federal Office for the Environment. [El. Res.]: https://www. hydrodaten.admin.ch/. Access date: 2025-05-03.
22.  Trindade A., “Electricity Load Diagrams 2011-2014,” UCI Machine Learning Repository (2015) [El. Res.]: https://doi.org/10.24432/C58C86. Access date: 2023-05-03.
23.  Lozano A. C., Li H., Niculescu-Mizil A., Liu Y., Perlich C., Hosking J. R. М., Abe N. Spatial- temporal causal modeling for climate change attribution // Proc. of the 15th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining, Paris, France, June 28 — July 1, 2009 / ed. by J. F. Elder IV, F. Fogelman-Soulie, P. A. Flach, M. J. Zaki. - ACM, 2009. P. 587-596. DOI: 10.1145/1557019.1557086.
24.  Lana I., Olabarrieta I., Velez М., Del Ser J. On the imputation of missing data for road traffic forecasting: New insights and novel techniques // Transp. Res. Part C: Emerg. Technol. 2018. V. 90. P. 18-33. DOI: 10.1016/j.trc.2018.02.021.
25.  Sheppy М., Beach A., Pless S. NREL RSF Measured Data 2011. [El. Res.]: https://data. openei.org/submissions/358. Access date: 2023-09-03.
26.  Snytnikov A. V., Ezrokh Yu. S. Solving Vlasov Equation with Neural Networks // Lobachevskii Journal of Mathematics. 2024. V. 45. P. 3416-3423.