Мы разработали систему с использованием LLM нейросети для ответов на вопросы, используя контекст базы знаний и ранее успешно решенных вопросов. Ответом нашей системы на вопрос является не только текст, но и вспомогательные картинки, а также ссылки на нужную документацию с указанием страницы, что позволяет пользователю получить максимально полный ответ по своей проблеме.
Проект разработан в рамках хакатона "Атомик Хак 2.0" от РосАтома и занял 4 место
Компоненты системы
- Сайт с чатом для создания обращений и получения ответов на них
- Виджет для легкого встраивания нашей ИИ техподдержки на любой сайт
- Панель администратора для загрузки новых документов (PDF) и обогащения системы примерами
- Статистика обращений в административной панели
Технические особенности
- Использование opensource LLM нейросети SaigaLlama3, работающей на CPU
- Векторизация текстов с помощью intfloat/multilingual-e5-large
- Векторное хранилище на Qdrant для поиска релевантного контекста
Чем занимался в проекте
- Разработка backend на NestJS для хранения статистики и истории чатов
- Документирование API для всех микросервисов системы
- Подключение backend к AI API для интеграции с LLM нейросетью