Kogbi EN

Языковые модели, которые работают внутри вашей компании

Запускаем языковые модели, поиск по вашим документам и дообучение на железе, которое контролируете вы. Ни вопрос, ни документ не уходят наружу.

Поместится ли модель в вашу память?

размер модели, млрд весов
бит на вес
ваша память, ГБ

Помещается в 24 ГБ. Будет работать быстро.

Нужно около 21 ГБ: файл модели 19 ГБ плюс около 2 ГБ на контекст.

Грубая оценка. Главное ограничение — память: видеопамять на ПК, общая память на Mac.

Зачем запускать модель у себя

Конфиденциальность
Ни вопрос, ни документ не уходят за пределы вашей сети.
Доступ и оплата
Не нужны зарубежный сервис, карта, VPN.
Стабильность
Модель не обновят и не отключат без вас.
Работа без интернета
Модель отвечает и без подключения к сети.
Настройка под себя
Свои инструкции и дообучение.

Когда локально — не лучший выбор

Локальная модель заметно слабее топовых облачных. Мы говорим об этом до начала проекта, а не после.

локально

  • Чувствительные данные
  • Массовая однотипная работа

пока в облако

  • Сложные рассуждения
  • Длинные задачи
  • Агенты

Рабочая схема — гибрид. Мы помогаем провести границу.

Что мы делаем

Локальный запуск моделей
Подбираем модель под ваши задачи и железо, квантизуем и настраиваем инференс на сервере, рабочем компьютере или ноутбуке.
Ответы по вашим документам (RAG)
Модель отвечает по вашим документам и показывает источники. Обновили документ — ответ сразу другой.
Модели эмбеддингов
Это то, что Kogbi создаёт как компания. От модели эмбеддингов зависит, какие фрагменты найдёт поиск, поэтому качество RAG начинается здесь.
Дообучение (LoRA)
Для стиля, тона, строгого формата ответа или одной узкой задачи. Не для загрузки знаний: для знаний есть RAG.
Подбор железа
Не покупайте железо заранее. Сначала пробуем на том, что есть, потом считаем, что нужно на самом деле: память, квантизация, архитектура модели.
Обучение команд
Как устроены модели, без магии: токены, веса, контекст и места, где они ошибаются.

Как мы работаем

  1. Начинаем с того, что есть

    Пилот на ваших компьютерах показывает, что локальная модель может в вашей задаче, а что нет.

  2. Наводим порядок в документах

    Три версии прайса дают три разных ответа. Источники приводим в порядок до индексации.

  3. Договариваемся о контрольных вопросах

    Фиксированный набор вопросов с известными ответами. Без него не видно, стало лучше или хуже.

  4. Промт, затем RAG, затем LoRA

    Именно в таком порядке. Каждый следующий шаг дороже предыдущего, поэтому делаем его, только когда предыдущего не хватает.

  5. Запускаем и передаём

    На вашем железе, с документацией, чтобы ваша команда работала с системой без нас.

RAG: модель отвечает по вашим документам

Модель не знает ваш бизнес, а все документы в контекст не помещаются. RAG находит нужные фрагменты и подставляет их в промт.

один раз
  1. Документы
  2. Фрагменты
  3. Индекс
на каждый вопрос
  1. Вопрос
  2. Поиск
  3. Модель
  4. Ответ с источниками

Где RAG ломается

Беспорядок в документах
Три версии прайса, три разных ответа.
Сканы и таблицы
Что плохо распозналось, то не найдётся.
Вопросы «по всей базе»
RAG ищет, а не считает.
Нет контрольных вопросов
Не видно, стало лучше или хуже.

RAG — это проект про порядок в документах.

Какое нужно железо

Ноутбук
16 ГБ
Малые модели: черновики, сортировка, извлечение данных.
Mac
32–128 ГБ
Самый простой путь: память общая для процессора и графики.
ПК с NVIDIA
16–32 ГБ видеопамяти
Быстрее, но модель меньше.
Сервер с видеокартами
по задаче
Большие модели, много пользователей одновременно.

Комфортная скорость — примерно от 20 токенов в секунду.

Команда

Kogbi GmbH — стартап, который создаёт модели эмбеддингов для RAG.

Иван Плешков

Иван Плешков

CEO и сооснователь

Qdrant
4 года core-разработчиком векторной базы данных
10+ лет
в инженерии

Расскажите, что должна делать модель

Опишите задачу, документы и железо, которое у вас есть. Ответим, что реально запустить локально, а что нет.

Написать на hello@kogbi.com