Эксплуатация ИИ-агентов: трассировка, оценки качества, надёжность, управление автономностью и безопасность. Кому адресована программа: aI/LLM- и ML-инженерам, DevOps/SRE и техническим лидам, сопровождающим агентов в production.
Обучение охватывает следующие темы: Наблюдаемость и диагностика AI-агентов; Оценка и контроль качества; Надёжность и управление в production; Безопасность и управление; Проектная работа.
Чему научитесь
Настроить метрики, логи и трассировку агента
Проверять качество и выявлять регрессии
Контролировать сбои, безопасность и автономность агента
Кому подходит
AI/LLM- и ML-инженерам, DevOps/SRE и техническим лидам, сопровождающим агентов в production.
AgentOps и эксплуатация AI-агентов; Метрики AI-агентов; Логирование и телеметрия; Распределённая трассировка и OpenTelemetry.
02Оценка и контроль качества
Оценка качества AI-агентов; Наборы данных для оценки и эталонные выборки; Оценка с помощью LLM (LLM-as-a-Judge); Оценка инструментов, RAG и траекторий агента.
03Надёжность и управление в production
Обеспечение надёжности AI-агентов; Паттерны отказоустойчивости; Управление автономностью агента; Состояние, контрольные точки и восстановление.
04Безопасность и управление
Моделирование угроз для AI-агентов; Идентификация и управление доступами; Защитные ограничения и контроль действий агента; Тестирование безопасности и имитация атак.
05Проектная работа
Выбор темы и организация проектной работы // Проектная работа; Консультация по проектам и домашним заданиям; Защита проектных работ; Подведение итогов курса.
OTUS специализируется на онлайн-образовании в ИТ. Направления школы включают разработку, тестирование, инфраструктуру, информационную безопасность, управление и Data Science. Программы рассчитаны на разные уровни подготовки — от начальных до профессиональных.