Описание кейса
Представь себе систему, которая автоматически проверяет домашки, даёт фидбэк, ставит оценку, использует LLM и не поддается промпт инъекциям — звучит круто, правда? Мы запускаем её первым делом на курсе по ML System Design, где студенты будут получать советы и комментарии по своим ML System Design документам. А в будущем — система сможет проверять любые текстовые и кодовые задания на других курсах. Остается один маленький момент: сначала ее нужно разработать.
Чему ты научишься?
Ты научишься разрабатывать продукт, который используют ты сам, твои друзья и однокурсники, научишься работать с языковыми моделями и использовать их, делать свое решение готовым к реальному использованию, интегрировать его с LMS или мессенджерами. Проект будет проходить в коллаборации с опытными менторами, которые уже разрабатывали подобные системы, так что ты сможешь учиться у лучших и перенимать их опыт. Опыт проекта станет отличным дополнением к твоему портфолио и поможет тебе в будущем, на собеседованиях и в работе.
Почему это важный проект?
Для студентов
Для преподавателей
Для университета
Быстрая и подробная обратная связь, чтобы улучшить свои работы и лучше понимать, что пошло не так.
Меньше рутинной проверки, больше времени на действительно важные и сложные задачи.
Мы хотим сделать качественное индивидуальное образование более доступным и массовым — и это будет новый шаг для нас в этом направлении.
Что будем делать?
В проекте будет 2 глобальных стрима:
Настройка языковой модели для фидбэка студентам: Модель будет принимать текст задания, ответ студента и инструкцию по проверке, возвращая фидбэк и оценку.
Проверка качества решения: Тестируем систему на реальных заданиях и дорабатываем её, чтобы она действительно была полезной и точной.
Настройка модели для фидбэка авторам инструкций: Модель будет также помогать улучшать инструкции по заданиям, делая их точнее.
Защита от атак: Нужно подумать, как защитить систему от попыток обмануть её.
Пишем грейдеры: Переводим код по проверке задания из jupyter notebook в скрипт на python. Здесь поработаем также и с docker, поскольку нам понадобится завернуть наши скрипты для проверки в докер-контейнер.
Интеграция с ЛМС: Твой шанс сделать ЛМС great again! Ходим в API лмс, чтобы забрать сданные задания, отправить фидбек в комменты и выставить оценки.
Запуск грейдеров: Получив дз, запускаем грейдер — отдаем ему выполненное задание, получаем фидбек.
Логирование: Важно сохранять все данные о сдаче и проверке заданий, чтобы отслеживать процесс и улучшать систему.
Сергей Артюхин
- University of Pecs
- Hungar
ML Engineer в Karpov.Courses
Менторы проекта
Ольга Филиппова
- Evidently AI, Lead DS
- Банк Открытие, DS team lead
- Mechanica AI, DS
- Райффайзен Банк, DS
Lead ds X5 Tech
Ожидаемый результат
Система, которая проверяет задания, даёт полезный и детализированный фидбэк, а также объясняет свои оценки. В весеннем семестре мы отладим ее на курсах по ML System Design и Production ML, а затем будем запускать и на других курсах.
Требования к кандидатам
Уверенное владение Python и знание базовых библиотек
Опыт работы с Docker
Базовые навыки и опыт работы с ML и DL (опыт работы с языковыми моделями будет плюсом)
Навыки работы с LLM по API (OpenAI like)
Опыт промт инженеринга