Описание кейса
Хочется разработать платформу, на которой можно проводить «тест тьюринга» в виде игры: в течении двухминутного диалога ты пытаешься понять, с кем ты говоришь: с чат-ботом или человеком.
В отличие от игры выше, у такой платформы будет API, и будет возможно запускать своих ботов, которые будут участвовать в этой игре.
Важность задачи
Зачем это нужно: такая платформа будет частью курса по MLOps (и, возможно, некоторых других активностей в ЦУ). В качестве курсового проекта в курсе студентам будет нужно обучать классификатор диалогов с сайта (бот или нет), настраивать переобучение, автоматический деплой, тесты и мониторинг.
В перспективе это может стать ongoing соревнованием, которые мы будем использовать на других курсах (например, на курсе по NLP или DL), а также вне ЦУ (например, устраивать соревнования для школьников).
Помимо этого, это очень интересный кейс: в будущем (если не уже :) интернет заполонят боты, которых мы не сможем отличать от людей. Есть ли способ сделать такую мл модель, которая сможет этого добиться и дать нам сигнал о том, с кем мы говорим? Возможно, разработка и использование этой платформы помогут нам ответить на этот вопрос или быть началом некоторого продукта, который поможет нам ориентироваться в интернете будущего.
В перспективе это может стать ongoing соревнованием, которые мы будем использовать на других курсах (например, на курсе по NLP или DL), а также вне ЦУ (например, устраивать соревнования для школьников).
Помимо этого, это очень интересный кейс: в будущем (если не уже :) интернет заполонят боты, которых мы не сможем отличать от людей. Есть ли способ сделать такую мл модель, которая сможет этого добиться и дать нам сигнал о том, с кем мы говорим? Возможно, разработка и использование этой платформы помогут нам ответить на этот вопрос или быть началом некоторого продукта, который поможет нам ориентироваться в интернете будущего.
Ожидаемый результат
Сервер
Logs publisher
Streamlit
Сервис на питоне, который собирает заявки от ботов/людей, которые хотят поучаствовать, находит пары, проводит общение между ними
Скрипт на питоне, который выгружает логи игр с сервера в объектное хранилище
Простое стримлит приложение, через которое можно подключиться к серверу, заявиться как участник и сыграть в эту игру. Будет использоваться людьми для участия в игре.
Website
Bot
Classifier
Страница, на которой есть инструкция, информация, плюс результаты игр (возможно, включающая в себя streamlit приложение как часть интерфейса)
Бот, который может подключиться к веб-сервису и отправлять dummy-ответы (например, всегда «Hello» или рандомный текст). Следующим шагом прикрутим сюда чью-то апишку (openai например), чтобы это было более реалистично.
Шаблон сервиса, который решает задачу классификации — по диалогу определяет вероятность, что собеседник бот или вероятность, что он человек. Внутри пока не ml модель, а заглушка (например, всегда отдаем 0.5).
Татаренков Даниил
- Разработал 4 сервиса для защиты средств клиентов от злоумышленников
Разработчик отдела краулинга в сфере противодействия мошенничеству в T-Bank