> For the complete documentation index, see [llms.txt](https://aist-tech.gitbook.io/aist-tech-docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://aist-tech.gitbook.io/aist-tech-docs/obzor-protokola/tekhnologicheskii-stek.md).

# Технологический стек

**Компоненты сервиса**

1\. LLM (Llama 3.1 8B): Языковая модель, оптимизированная для анализа текстов на русском языке, с возможностью быстрого генерации ответов на основе загруженных корпоративных документов. Использование методов, квантования и оптимизации слоев для обучения (LASER) для переобучения (LoRa), позволило повысить производительность и снизить затраты на вычисления для запуска MVP.

2\. Qdrant: Используется для хранения и поиска векторных представлений данных, что ускоряет обработку запросов и поиск релевантной информации. База данных оптимизирована для работы с большими объемами векторных данных, обеспечивая быстрый доступ к нужной информации, улучшая процессы индексации и поиска.

3\. API с JWT-аутентификацией: Взаимодействие с сервисом обеспечивается через API с поддержкой JWT (JSON Web Token) для авторизации и обеспечения безопасности данных (включая Row Level Security). API разработан с учетом масштабируемости и безопасности, поддерживает асинхронные запросы и WebSocket-соединения для мгновенной обработки запросов пользователей.

4\. WebSocket: Технологии обеспечивают плавное взаимодействие между компонентами системы, включая передачу данных между языковой моделью, векторными базами и пользователем, что снижает задержки и увеличивает производительность системы.

**Функционал и возможности**

\- Обработка и анализ корпоративных документов (PDF, DOCX, CSV) с преобразованием их в векторные представления.

\- Быстрый поиск по загруженным данным и извлечение релевантной информации из векторной базы данных в контекст модели ИИ.

\- Интеграция с внешними системами, корпоративными ERP и CRM-системами.

\- Получение аналитики и автоматическое преобразование данных в Excel.

\- Возможность взаимодействия с ИИ через чат-бота в Telegram и веб-приложении.

**Процесс обработки запросов**

Когда пользователь отправляет сообщение боту, происходит следующее:

1\. Сообщение через webhook поступает в наш сервис.

2\. API инференса обрабатывает входящее сообщение и отправляет его в модель эмбеддингов для векторизации.

3\. Полученный вектор используется для поиска релевантной информации в Qdrant.

4\. Найденная информация вместе с исходным запросом отправляется в языковую модель.

5\. Языковая модель генерирует ответ, который через WebSocket передается обратно в API инференса.

6\. API инференса форматирует ответ и отправляет его пользователю через Telegram Bot API.

**Потребительские преимущества**

Решение предоставляет компаниям мощный инструмент для автоматизации рутинных задач по обработке финансовых данных, а также помощника по общим вопросам и корпоративным документам. В дальнейшем, планируется переобучение и интеграция более крупных языковых моделей для повышения надежности сервиса.