Техническая защита LLM-приложений, RAG и агентов, а также моделей, данных и инфраструктуры MLSecOps.
Техническая защита LLM-приложений, RAG и агентов, а также моделей, данных и инфраструктуры MLSecOps. Кому адресована программа: специалистам по безопасности и инженерам, защищающим ИИ-системы.
Обучение охватывает следующие темы: ИИ-системы как объект технической защиты; Атаки на LLM и генеративные приложения; Безопасность RAG и ИИ-агентов; Безопасность моделей, данных и инфраструктуры MLSecOps; Обнаружение атак на ИИ-системы. Далее изучаются: Проектная работа.
Специалистам по безопасности и инженерам, защищающим ИИ-системы.
Введение в безопасность ИИ-систем; Архитектура ИИ-систем; Стандарты, рекомендации и нормативные требования в области безопасности ИИ; Моделирование угроз для ИИ-систем: активы, границы доверия, сценарии атак и оценка риска.
Prompt injection и извлечение системных инструкций: прямые и косвенные атаки на LLM-приложения; Jailbreak-атаки, обход ограничений модели и злоупотребление возможностями генеративного ИИ; Утечки данных, небезопасная обработка вывода модели и риски интеграции LLM с приложениями; Методика практической проверки защищенности LLM-приложения.
Устройство RAG-систем и их поверхность атаки; Атаки на RAG; ИИ-агенты и автономные действия: полномочия, инструменты, критические операции и сценарии злоупотребления; Угрозы классического машинного обучения.
Атаки на ИИ-агентов и подключаемые инструменты: косвенные инструкции, опасные действия, внешние сервисы и MCP; Цепочка поставок ИИ-систем: сторонние модели, наборы данных, библиотеки, зависимости и репозитории артефактов; Безопасность среды исполнения ИИ-сервисов: API, контейнеры, секреты, права доступа, загрузка моделей и небезопасные артефакты; MLSecOps и безопасный жизненный цикл ИИ-системы: контроль изменений, проверки перед выпуском, управление рисками.
Телеметрия ИИ-систем: какие события собирать от LLM, RAG, агентов, API и внешних инструментов; Обнаружение атак на ИИ-системы.
Выбор темы и организация проектной работы // Проектная работа; Консультация по проектам и домашним заданиям; Защита проектных работ; Подведение итогов курса.
OTUS специализируется на онлайн-образовании в ИТ. Направления школы включают разработку, тестирование, инфраструктуру, информационную безопасность, управление и Data Science. Программы рассчитаны на разные уровни подготовки — от начальных до профессиональных.