React
Electron
Python (+ C#)Сервис для распознавания и озвучивания русской жестовой речи, а также транскрибации звуков с компьютера и окружающего мира
Проект разработан в рамках хакатона от Сбера и УрФУ "Код города 300" и стал победителем в кейсе "ЧитAI жесты"
Возможности сервиса
- Захват видео с камеры
- Превращение жестов в текст с помощью нейросети от Сбера SLT2TXT
- Озвучка текста с помощью нейросети от Сбера Salute Speech
- Захват звука с компьютера и преобразование его в текст (Salute Speech) с определением эмоции собеседника: позитивная, нейтральная, негативная
Чем занимался в проекте
- Разработка архитектуры приложения и схемы взаимодействия микросервисов
- Разработка дизайна приложения
- Разработка десктопного приложения на React+Electron
- Создание API на Python для подключения нейронной сети SLT2TXT к приложению