Языковые модели, которые работают внутри вашей компании
Запускаем языковые модели, поиск по вашим документам и дообучение на железе, которое контролируете вы. Ни вопрос, ни документ не уходят наружу.
Зачем запускать модель у себя
- Конфиденциальность
- Ни вопрос, ни документ не уходят за пределы вашей сети.
- Доступ и оплата
- Не нужны зарубежный сервис, карта, VPN.
- Стабильность
- Модель не обновят и не отключат без вас.
- Работа без интернета
- Модель отвечает и без подключения к сети.
- Настройка под себя
- Свои инструкции и дообучение.
Когда локально — не лучший выбор
Локальная модель заметно слабее топовых облачных. Мы говорим об этом до начала проекта, а не после.
локально
- Чувствительные данные
- Массовая однотипная работа
пока в облако
- Сложные рассуждения
- Длинные задачи
- Агенты
Рабочая схема — гибрид. Мы помогаем провести границу.
Что мы делаем
- Локальный запуск моделей
- Подбираем модель под ваши задачи и железо, квантизуем и настраиваем инференс на сервере, рабочем компьютере или ноутбуке.
- Ответы по вашим документам (RAG)
- Модель отвечает по вашим документам и показывает источники. Обновили документ — ответ сразу другой.
- Модели эмбеддингов
- Это то, что Kogbi создаёт как компания. От модели эмбеддингов зависит, какие фрагменты найдёт поиск, поэтому качество RAG начинается здесь.
- Дообучение (LoRA)
- Для стиля, тона, строгого формата ответа или одной узкой задачи. Не для загрузки знаний: для знаний есть RAG.
- Подбор железа
- Не покупайте железо заранее. Сначала пробуем на том, что есть, потом считаем, что нужно на самом деле: память, квантизация, архитектура модели.
- Обучение команд
- Как устроены модели, без магии: токены, веса, контекст и места, где они ошибаются.
Как мы работаем
Начинаем с того, что есть
Пилот на ваших компьютерах показывает, что локальная модель может в вашей задаче, а что нет.
Наводим порядок в документах
Три версии прайса дают три разных ответа. Источники приводим в порядок до индексации.
Договариваемся о контрольных вопросах
Фиксированный набор вопросов с известными ответами. Без него не видно, стало лучше или хуже.
Промт, затем RAG, затем LoRA
Именно в таком порядке. Каждый следующий шаг дороже предыдущего, поэтому делаем его, только когда предыдущего не хватает.
Запускаем и передаём
На вашем железе, с документацией, чтобы ваша команда работала с системой без нас.
RAG: модель отвечает по вашим документам
Модель не знает ваш бизнес, а все документы в контекст не помещаются. RAG находит нужные фрагменты и подставляет их в промт.
- Документы
- Фрагменты
- Индекс
- Вопрос
- Поиск
- Модель
- Ответ с источниками
Где RAG ломается
- Беспорядок в документах
- Три версии прайса, три разных ответа.
- Сканы и таблицы
- Что плохо распозналось, то не найдётся.
- Вопросы «по всей базе»
- RAG ищет, а не считает.
- Нет контрольных вопросов
- Не видно, стало лучше или хуже.
RAG — это проект про порядок в документах.
Какое нужно железо
- Ноутбук
- 16 ГБ
- Малые модели: черновики, сортировка, извлечение данных.
- Mac
- 32–128 ГБ
- Самый простой путь: память общая для процессора и графики.
- ПК с NVIDIA
- 16–32 ГБ видеопамяти
- Быстрее, но модель меньше.
- Сервер с видеокартами
- по задаче
- Большие модели, много пользователей одновременно.
Комфортная скорость — примерно от 20 токенов в секунду.
Команда
Kogbi GmbH — стартап, который создаёт модели эмбеддингов для RAG.
Иван Плешков
CEO и сооснователь
- Qdrant
- 4 года core-разработчиком векторной базы данных
- 10+ лет
- в инженерии
Расскажите, что должна делать модель
Опишите задачу, документы и железо, которое у вас есть. Ответим, что реально запустить локально, а что нет.
Написать на hello@kogbi.com