Система
автопроверки

Направление: Машинное обучение
Статус: В работе
Студенты: Илья Галюкшев, Мария Курдина, Даниил Кандыбин, Александра Андреевская
Ментор: Сергей Артюхин, Ольга Филиппова
Набор на проект закрыт

Описание кейса

Представь себе систему, которая автоматически проверяет домашки, даёт фидбэк, ставит оценку, использует LLM и не поддается промпт инъекциям — звучит круто, правда? Мы запускаем её первым делом на курсе по ML System Design, где студенты будут получать советы и комментарии по своим ML System Design документам. А в будущем — система сможет проверять любые текстовые и кодовые задания на других курсах. Остается один маленький момент: сначала ее нужно разработать.

Чему ты научишься?

Ты научишься разрабатывать продукт, который используют ты сам, твои друзья и однокурсники, научишься работать с языковыми моделями и использовать их, делать свое решение готовым к реальному использованию, интегрировать его с LMS или мессенджерами. Проект будет проходить в коллаборации с опытными менторами, которые уже разрабатывали подобные системы, так что ты сможешь учиться у лучших и перенимать их опыт. Опыт проекта станет отличным дополнением к твоему портфолио и поможет тебе в будущем, на собеседованиях и в работе.

Почему это важный проект?

Для студентов

Для преподавателей

Для университета

Быстрая и подробная обратная связь, чтобы улучшить свои работы и лучше понимать, что пошло не так.
Меньше рутинной проверки, больше времени на действительно важные и сложные задачи.
Мы хотим сделать качественное индивидуальное образование более доступным и массовым — и это будет новый шаг для нас в этом направлении.

Что будем делать?

В проекте будет 2 глобальных стрима:

ML

01
Настройка языковой модели для фидбэка студентам: Модель будет принимать текст задания, ответ студента и инструкцию по проверке, возвращая фидбэк и оценку.
Проверка качества решения: Тестируем систему на реальных заданиях и дорабатываем её, чтобы она действительно была полезной и точной.
Настройка модели для фидбэка авторам инструкций: Модель будет также помогать улучшать инструкции по заданиям, делая их точнее.
Защита от атак: Нужно подумать, как защитить систему от попыток обмануть её.

Разработка

02
Пишем грейдеры: Переводим код по проверке задания из jupyter notebook в скрипт на python. Здесь поработаем также и с docker, поскольку нам понадобится завернуть наши скрипты для проверки в докер-контейнер.
Интеграция с ЛМС: Твой шанс сделать ЛМС great again! Ходим в API лмс, чтобы забрать сданные задания, отправить фидбек в комменты и выставить оценки.
Запуск грейдеров: Получив дз, запускаем грейдер — отдаем ему выполненное задание, получаем фидбек.
Логирование: Важно сохранять все данные о сдаче и проверке заданий, чтобы отслеживать процесс и улучшать систему.

Сергей Артюхин

  • University of Pecs
  • Hungar
ML Engineer в Karpov.Courses

Менторы проекта

Ольга Филиппова

  • Evidently AI, Lead DS
  • Банк Открытие, DS team lead
  • Mechanica AI, DS
  • Райффайзен Банк, DS
Lead ds X5 Tech

Ожидаемый результат

Система, которая проверяет задания, даёт полезный и детализированный фидбэк, а также объясняет свои оценки. В весеннем семестре мы отладим ее на курсах по ML System Design и Production ML, а затем будем запускать и на других курсах.

Требования к кандидатам

Уверенное владение Python и знание базовых библиотек
Опыт работы с Docker
Базовые навыки и опыт работы с ML и DL (опыт работы с языковыми моделями будет плюсом)
Навыки работы с LLM по API (OpenAI like)
Опыт промт инженеринга