Технологический стек

Расширьте границы обслуживания

Компоненты сервиса

1. LLM (Llama 3.1 8B): Языковая модель, оптимизированная для анализа текстов на русском языке, с возможностью быстрого генерации ответов на основе загруженных корпоративных документов. Использование методов, квантования и оптимизации слоев для обучения (LASER) для переобучения (LoRa), позволило повысить производительность и снизить затраты на вычисления для запуска MVP.

2. Qdrant: Используется для хранения и поиска векторных представлений данных, что ускоряет обработку запросов и поиск релевантной информации. База данных оптимизирована для работы с большими объемами векторных данных, обеспечивая быстрый доступ к нужной информации, улучшая процессы индексации и поиска.

3. API с JWT-аутентификацией: Взаимодействие с сервисом обеспечивается через API с поддержкой JWT (JSON Web Token) для авторизации и обеспечения безопасности данных (включая Row Level Security). API разработан с учетом масштабируемости и безопасности, поддерживает асинхронные запросы и WebSocket-соединения для мгновенной обработки запросов пользователей.

4. WebSocket: Технологии обеспечивают плавное взаимодействие между компонентами системы, включая передачу данных между языковой моделью, векторными базами и пользователем, что снижает задержки и увеличивает производительность системы.

Функционал и возможности

- Обработка и анализ корпоративных документов (PDF, DOCX, CSV) с преобразованием их в векторные представления.

- Быстрый поиск по загруженным данным и извлечение релевантной информации из векторной базы данных в контекст модели ИИ.

- Интеграция с внешними системами, корпоративными ERP и CRM-системами.

- Получение аналитики и автоматическое преобразование данных в Excel.

- Возможность взаимодействия с ИИ через чат-бота в Telegram и веб-приложении.

Процесс обработки запросов

Когда пользователь отправляет сообщение боту, происходит следующее:

1. Сообщение через webhook поступает в наш сервис.

2. API инференса обрабатывает входящее сообщение и отправляет его в модель эмбеддингов для векторизации.

3. Полученный вектор используется для поиска релевантной информации в Qdrant.

4. Найденная информация вместе с исходным запросом отправляется в языковую модель.

5. Языковая модель генерирует ответ, который через WebSocket передается обратно в API инференса.

6. API инференса форматирует ответ и отправляет его пользователю через Telegram Bot API.

Потребительские преимущества

Решение предоставляет компаниям мощный инструмент для автоматизации рутинных задач по обработке финансовых данных, а также помощника по общим вопросам и корпоративным документам. В дальнейшем, планируется переобучение и интеграция более крупных языковых моделей для повышения надежности сервиса.