AgentOps: эксплуатация ИИ-агентов

Эксплуатация ИИ-агентов: трассировка, оценки качества, надёжность, управление автономностью и безопасность.

OTUSОнлайн-школа
ИИ в разработке ПО

О курсе

Эксплуатация ИИ-агентов: трассировка, оценки качества, надёжность, управление автономностью и безопасность. Кому адресована программа: aI/LLM- и ML-инженерам, DevOps/SRE и техническим лидам, сопровождающим агентов в production.

Обучение охватывает следующие темы: Наблюдаемость и диагностика AI-агентов; Оценка и контроль качества; Надёжность и управление в production; Безопасность и управление; Проектная работа.

Чему научитесь

  1. Настроить метрики, логи и трассировку агента
  2. Проверять качество и выявлять регрессии
  3. Контролировать сбои, безопасность и автономность агента
Кому подходит

AI/LLM- и ML-инженерам, DevOps/SRE и техническим лидам, сопровождающим агентов в production.

Что внутри курса

Полная программа
01Наблюдаемость и диагностика AI-агентов

AgentOps и эксплуатация AI-агентов; Метрики AI-агентов; Логирование и телеметрия; Распределённая трассировка и OpenTelemetry.

02Оценка и контроль качества

Оценка качества AI-агентов; Наборы данных для оценки и эталонные выборки; Оценка с помощью LLM (LLM-as-a-Judge); Оценка инструментов, RAG и траекторий агента.

03Надёжность и управление в production

Обеспечение надёжности AI-агентов; Паттерны отказоустойчивости; Управление автономностью агента; Состояние, контрольные точки и восстановление.

04Безопасность и управление

Моделирование угроз для AI-агентов; Идентификация и управление доступами; Защитные ограничения и контроль действий агента; Тестирование безопасности и имитация атак.

05Проектная работа

Выбор темы и организация проектной работы // Проектная работа; Консультация по проектам и домашним заданиям; Защита проектных работ; Подведение итогов курса.

Автор курса

Онлайн-школа

OTUS

OTUS специализируется на онлайн-образовании в ИТ. Направления школы включают разработку, тестирование, инфраструктуру, информационную безопасность, управление и Data Science. Программы рассчитаны на разные уровни подготовки — от начальных до профессиональных.

17курсов по ИИ
Все курсы автора

Другие курсы по теме