УЯЗВИМОСТИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ: АНАЛИЗ И МЕТОДЫ ЗАЩИТЫ

Авторы: 
Д. Рахмани, Б. В. Байбара, С. Г. Тетов
УДК: 
004.89:004.056
DOI: 
10.24412 / 2073-0667-2025-3-17-33
Аннотация: 

EDX: TFEVWR

В статье рассматриваются ключевые уязвимости, связанные с использованием больших язы­ковых моделей (LLM) в корпоративной среде. В последние годы LLM находят широкое при­менение в различных сферах, включая клиентскую поддержку, маркетинг, анализ данных и автоматизацию бизнее-нроцеееов. Однако их интеграция сопровождается значительными рис­ками для информационной безопасности, включая утечки конфиденциальных данных, ком­прометацию систем и генерацию вредоносного контента.

В работе анализируются три наиболее критические уязвимости: нромнт-инъекции, атаки на цепочку поставок и отравление данных. Для каждой из них приведены формальные модели, примеры эксплуатации и возможные стратегии защиты. Особое внимание уделяется методам предотвращения атак, включая валидацию пользовательского ввода, контроль зависимостей и мониторинг аномалий в поведении модели.

Исследование показывает, что, несмотря на активное развитие механизмов защиты, уязвимо­сти в LLM остаются серьезной угрозой, требующей дальнейших) изучения и разработки новых методов противодействия

Список литературы

  1. Large Language Model Statistics And Numbers (2025) // springsapps [Электрон. Pec.]: https: //springsapps.com/knowledge/large-language-model-statistics-and-numbers-2024 (дата об­ращения: 09.04.2025).

     

  2.  HiddenLaver AI Threat Landscape Report Reveals AI Breaches on the Rise; Security Gaps k, Unclear Ownership Afflict Teams// PR Newswire [Электрон. Pec.]: https://www.prnewswire. com/news-releases/hiddenlayer-ai-threat-landscape-report-reveals-ai-breaches-on-the- rise-security-gaps-\/-unclear-ownership-afflict-teams-302390746.html (дата обращения:.
  3.  Large language model // wikipedia [Электрон. Pec.]: https://en.wikipedia.org/wiki/Large\ _language\_model (дата обращения: 09.04.2025).
  4.  What are large language models (I.I.Ms)? // ibm.com [Электрон. Pec.]: https://www.ibm. com/ think/topics/large-language-models (дата обращения: 09.04.2025).
  5.  LLM в бизнесе: варианты исполвзования болвших языковых моделей // napoleonit [Элек­трон. Pec.]:                https://napoleonit.ru/blog/llm-v-biznese-varianty-ispolzovaniya-bolshih- yazykovyh-dannyh (дата обращения: 09.04.2025).
  6.  Обзор по LLM // habr [Электрон. Pec.]: https ://habr. сот/ru/companies/tensor/articles/ 790984/ (дата обращения: 09.04.2025).
  7.  Understanding Encoder And Decoder I.I.Ms // Ahead of AI [Электрон. Pec.]: https: //magazine . sebastianraschka. com/p/understanding-encoder-and-decoder (дата обращения:
  8.  OWASP Top 10 for LLM Applications 2025 // OWASP [Электрон. Pec.]: https ://genai. owasp.org/resource/owasp-top-10-for-llm-applications-2025/ (дата обращения: 09.04.2025).
  9.  Universal and Transferable Adversarial Attacks on Aligned Language Models // arXiv [Элек­трон. Pec.]: https://arxiv.org/abs/2307.15043 (дата обращения:09.04.2025).
  10.  Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices // arXiv [Электрон. Pec.]: https://arxiv.org/abs/2403.12503(дата обращения: 09.04.2025).
  11.  Knowledge Return Oriented Prompting (KROP) // arXiv [Электрон. Pec.]: https://arxiv. org/abs/2406.11880 (дата обращения: 09.04.2025).
  12.  From ChatGPT to ThreatGPT: Impact of Generative AI in Cvbersecuritv and Privacy // arXiv [Электрон. Pec.]: https://arxiv.org/abs/2307.00691 (дата обращения: 09.04.2025).
  13.  ATLAS Matrix // MITRE ATLAS [Электрон. Pec.]: https://atlas.mitre.org/matrices/ ATLAS (дата обращения: 09.04.2025).
  14.  Безопасность приложений болвших языковвгх моделей (LLM, GenAI) // habr [Электрон. Pec.]: https://habr.com/ru/articles/843434/ (дата обращения: 09.04.2025).
  15.  Large Language Model Supply Chain: Open Problems From the Security Perspective // arXiv [Электрон. Pec.]: https://arxiv.org/pdf/2411.01604 (дата обращения: 09.04.2025).
  16.  Use of Obfuscated Beacons in “pvmafka” Supply Chain Attack Signals a New Trend in macOS Attack TTPs // SentinelLabs [Электрон. Pec.]: https://www.sentinelone.com/labs/use- of-obfuscated-beacons-in-pymafka-supply-chain-attack-signals-a-new-trend-in-macos- attack-ttps/ (дата обращения: 09.04.2025).
  17.  New “pymafka” malicious package drops Cobalt Strike on macOS, Windows, Linux // sonatvpe [Электрон. Pec.]: https://www.sonatype.com/blog/new-pymafka-malicious-package- drops-cobalt-strike-on-macos-windows-linux (дата обращения: 09.04.2025).
  18.  Google представила SLSA, решение для борвбв1 с атаками на supply chain // habr [Элек­трон. Pec.]: https://habr.com/ru/news/564140/ (дата обращения: 09.04.2025).
  19.  Machine Learning Security against Data Poisoning: Are We There Yet? // arXiv [Электрон. Pec.]: https://arxiv.org/abs/2204.05986 (дата обращения: 09.04.2025).
  20.  Never a dill moment: Exploiting machine learning pickle files // arXiv [Электрон. Pec.]: https://blog.trailofbits.com/2021/03/15/never-a-dill-moment-exploiting-machine- learning-pickle-f iles/ (дата обращения: 09.04.2025)
  21.  pickle // python docs [Электрон. Pec.]: https://docs.python.Org/3/library/pickle.html. (дата обращения: 09.04.2025).
Ключевые слова: 
LLM, искусственный интеллект, атака на цепочку поставок, отравление данных.
Номер журнала: 
3(68) 2025 г.
Год: 
2025
Адрес: 
Московский Технический Университет Связи и Информатики, 111024, Москва, Россия
Библиографическая ссылка: 
Рахмапи Д., Байбара Б. В.. Тетов С. Г. Уязвимости больших языковых моделей: анализ и методы защиты //"Проблемы информатики", 2025, № 3, с.17-33 DOI: 10.24412/2073-0667-2025-3-17-33.