Урок 2.3
Тема урока: «Тестировщик AI-агентов»
ЛЕКЦИЯ:
https://disk.yandex.ru/d/d_yJp0QSsKt2wA
https://disk.yandex.ru/d/PlpVZuAQKzcOXQ
Контрольные вопросы:
Кто такой тестировщик AI-агентов? _____
Чем он отличается от обычного тестировщика? ___
Что самое главное в его работе? _
Что он проверяет каждый день? __
Какие ошибки он ищет? _
Что такое «взлом через вопрос»? _
Нужно ли ему уметь программировать? __
Какими инструментами он пользуется? __
Сколько зарабатывает такой специалист в России?
Как им стать с нуля?
Ресурсы для работы:
Яндекс Учебник: https://education.yandex.ru/kids/
Яндекс Класс: https://www.yaklass.ru/
Генерация сайтов-презентаций: https://gamma.app
Генерация сайтов и логотипов: https://www.renderforest.com
Задание на занятие
1. Создать папку на Яндекс Диске своей корпоративной почты с названием «2 Блок. Мой проект»
2. Пройти уроки на Яндекс Учебник
3. Выбрать урок на ЯКласс
4. Посмотреть и прослушать лекцию
5. Выполнить задание с AI агентом по теме урока
6. Создать свой уникальный проект по теме своего урока
7. Сохранить всё сгенерированное в папку на Яндекс Диске
Творческих успехов! Удачи! Побед и достижений!
Задание: «Проведи реальный диалог с учеником и доработай промпт»
Цель: проверить агента в живом диалоге, увидеть его слабые места и улучшить промпт по итогам — то есть пройти полный цикл «сделал → проверил → доработал».
Что понадобится: промпт из Задания 1 (или новый), один реальный человек в роли ученика (одноклассник, брат/сестра, родитель) и 15 минут его времени.
Шаги выполнения:
Возьми промпт из Задания 1 и запусти агента в чате.
Проведи диалог с «учеником» по сценарию:
ученик задаёт вопрос по одной из тем твоего списка;
агент объясняет и даёт ссылку;
ученик переходит по ссылке, решает 3–4 задания в ЯКласс;
ученик возвращается и рассказывает агенту, сколько решил и где ошибся;
агент объясняет сложное место.
Зафиксируй три момента в ходе диалога:
дал ли агент правильную ссылку;
понял ли «ученик», куда кликать и что делать после возвращения;
что агент сделал не так (не спросил про сложности, дал слишком длинное объяснение, не дал ссылку и т.п.).
Доработай промпт — внеси минимум два изменения по итогам диалога. Например:
добавить правило «после ссылки обязательно спроси: сколько решил и где было сложно»;
сократить объяснение («не больше 5 предложений до ссылки»);
добавить запрет («не давай готовый ответ на домашнее задание — только метод»);
добавить четвёртую тему со ссылкой.
Повтори диалог с тем же «учеником» уже с доработанным промптом и сравни поведение агента.
Что сдать (результат):
краткая запись диалога (5–7 реплик) — что спросил ученик, что ответил агент;
список «что было не так» (минимум 2 пункта);
промпт до и промпт после доработки (два текста);
одно предложение вывода: что изменилось в поведении агента после доработки.
Критерий успеха: в доработанном промпте видно минимум два конкретных изменения, и по записи диалога понятно, что поведение агента стало лучше (например, стал спрашивать про сложности или перестал давать готовые ответы).
Подсказка, если не получается: если «ученик» не понимает, куда кликать — добавь в промпт фразу: «После ссылки напиши: “Открой ссылку, реши 3–4 задания и вернись — напиши «готово»”». Если агент даёт готовый ответ — добавь прямой запрет: «Никогда не давай готовый ответ на домашнее задание, только объясняй метод». ИТОГОВЫЙ ТЕСТ: □ Вам интересно почему система ответила именно так, а не только «правильно или нет»
□ Вы готовы читать трассировки шагов агента, а не только финальный ответ
□ Вы понимаете, что «тест прошёл» и «поведение надёжно» — разные вещи
□ Вы готовы учить Python на уровне автотестов
□ Вас не пугает недетерминированность: вы можете работать с «вероятностно правильными» системами