База знаний на ИИ: поиск по документам компании (RAG)

Обычный чат-бот отвечает по памяти модели, RAG - по документам, которые он только что нашёл, с указанием, откуда взял ответ. Спросите нейросеть без надстроек про пункт из вашего регламента - она выдаст правдоподобный, но не проверенный ответ: модель обучена на общих текстах интернета, ваш договор она не видела и видеть не могла.

RAG работает иначе. Перед ответом система ищет подходящие фрагменты в подключённой базе документов - поиск по смыслу, не по точному совпадению слов - и только на них строит ответ. Отсюда и название: retrieval-augmented generation, генерация, дополненная поиском. Подход описали исследователи в статье Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 2020 года. Модель не полагается на то, что запомнила при обучении, она сверяется с документом в момент ответа, как сотрудник, который открывает инструкцию вместо того, чтобы отвечать по памяти.

Отсюда и главное следствие для бизнеса: у каждого ответа есть источник. Верить на слово не нужно - документ открывается по ссылке за один клик.

Документы компании и модель, которая по ним ищет, работают в контуре, который вы контролируете, - на вашем сервере или в закрытом облаке под вашим договором, вместо общего сервиса поставщика нейросети. Разница на практике: обычная подписка на чат отправляет каждый запрос на сторонний сервер, и по условиям части сервисов эти данные могут попасть в обучение следующей версии модели. Для регламента, договора или переписки с клиентом это неприемлемый риск.

При такой сборке для базы знаний компании данные не покидают ваш контур ни на одном шаге: документы хранятся у вас, поиск идёт по вашей копии, дообучение чужой модели на ваших текстах исключено.

Обратная сторона: своя инфраструктура - это ответственность за её обслуживание. Сервер, резервные копии, обновление модели - у нас в SkoreHood это входит в фикс за запуск и не остаётся на вашей стороне отдельной строкой.

В базу знаний уходят любые документы компании - Word, PDF, таблицы, внутренняя вики, переписка в почте или мессенджере, - но перед подключением их приводят в порядок, и на это уходит 70-80% всего проекта. Регламенты дублируются, инструкции противоречат друг другу, часть файлов не обновлялась год-два. Подключить поиск к такой базе как есть - значит получать уверенные ответы по устаревшим правилам, а это хуже, чем не иметь помощника вовсе.

Аудит - это разбор всей базы: снятие дублей, актуализация версий, разметка, какой документ главный, а какой архивный. Тот же принцип, что и с любым другим инструментом на ИИ: сначала порядок в процессе руками, потом на него садится система. Здесь процесс - это порядок в документах.

Юрист, бухгалтер и сотрудник поддержки не должны видеть одни и те же документы, и доступ к базе знаний настраивается по тем же ролям, что и в вашей CRM или файловом хранилище. Система фильтрует документы на уровне поиска, не после: зарплатная ведомость не попадёт в выдачу для сотрудника поддержки, даже если по смыслу вопрос близок к этому документу.

Финальное слово в любом случае остаётся за сотрудником: система подсказывает и находит, а отправляет ответ клиенту или подписывает документ человек.

Пилот запускается на приоритетном наборе документов - там, где рутина поиска повторяется чаще всего, - и занимает 30 дней. За это время система проходит аудит документов, настройку поиска и интеграцию с вашим хранилищем, дальше идёт замер: сколько времени уходило на поиск раньше и сколько уходит сейчас.

По деньгам у нас в SkoreHood модель та же, что и на других решениях: фикс за запуск, дальше оплата за результат, без ежемесячной абонентки за сам факт того, что «система работает».

Если ищете разницу между этой базой знаний и агентом, который разговаривает с клиентами, - отдельный разбор в статье «ИИ-помощник для бизнеса». Здесь речь о самой базе знаний: как устроен поиск и где он физически живёт.