Локальные LLM

Как использовать RAG в LM Studio?

WiseLab · Обновлено

Прикрепите DOCX, PDF или TXT к чату LM Studio и задайте вопрос по документу. Короткий файл помещается в контекст целиком; для большого документа приложение использует RAG и извлекает подходящие фрагменты.

Как получить полезный ответ

Загрузите локальную модель, откройте чат и прикрепите документ. В вопросе назовите раздел, термин или предмет поиска. Попросите показать фрагмент-основание и сверьте его с оригиналом. Если ответ не найден, уточните запрос: качество зависит и от поиска фрагментов, и от модели.

Как применить

  1. Откройте чат с моделью и прикрепите поддерживаемый документ.
  2. Задайте конкретный вопрос с терминами из документа.
  3. Сверьте ответ и приведённый фрагмент с исходным файлом.

На примере

Учебный пример: к чату приложен PDF с условиями доставки. Вопрос «Какой срок возврата для повреждённого товара?» точнее общего «Расскажи о документе».

Извлечение фрагментов может пропустить нужный контекст. Не принимайте уверенный ответ за подтверждение без сверки с документом.

Источники

Подготовлено с помощью ИИ по указанным источникам. Примеры с условными данными используются для объяснения и не описывают результаты клиентов.