Во-первых, дайте выводы, которые можно использовать для принятия решений.
Сторона платформы должна рассмотреть, являются ли отдельные сервисы Web и API, рабочие процессы, базы данных, кэши, объектное хранилище, векторное извлечение, разрешение документов и мониторинг журналов. Сторона модели зависит от использования облачного конца API, локальных малых моделей или многомодельного рассуждения. Пиковые значения регистрируются одновременно, размер файла одной загрузки, увеличивающийся объем документов, частота обновлений знаний, количество узлов рабочего процесса и приемлемое время отклика. Производственную среду также приходится откладывать на резервное восстановление, рост диска, обновление компонентов и отказ от переключения пространства.
Какие условия необходимо определить до вынесения решения?
На разных этапах работы, данных и проектов на один и тот же вопрос могут быть даны разные ответы. Предлагается проверить следующие условия и включить общие выводы, содержащиеся в Интернете, в свои собственные проекты.
Предложенный порядок аванса
Во-первых, мы будем четко понимать цель и границу.
b) Сопоставление исходных условий пользователей, задач, документов, интерфейсов и времени отклика.
Ключевая зависимость от валидации
Платформа, обработка знаний и модель рассуждений будут использоваться отдельно.
Разработка оценочных результатов
Тесты давления и емкости выполняются с использованием реальных файлов и рабочих процессов.
Убедитесь, что вы выбрали следующий шаг с реальными результатами.
Технические характеристики производства основаны на задержках P95, очередях, ресурсах и результатах отказа.
Как вы понимаете это в реальном бизнесе?
Предприятие с 30 внутренними пользователями, но с большим объемом ежедневно импортируемых PDF и многоступенчатых рабочих процессов, анализ знаний и бэк-офисные задачи могут быть более ресурсоемкими, чем сотни пользователей, которые только изредка задают вопросы и ответы.Если запрашивается локальное моделирование, следует проводить отдельные тесты на разных моделях, длинах контекста, а также совместной утилизации и изоляции, а демонстрационный сервер не может рассматриваться как производственная конфигурация напрямую.
Самый простой способ наступить.
Только по количеству зарегистрированных пользователей, без реальных задач и загрузки документов.
Успешное развертывание Diffy равно достижению производственных мощностей
Не отслеживается рост очередей, баз данных, дисков и векторных индексов
Как мы должны в конечном итоге получать и подтверждать?
Прием и проверка должны выполняться в целевой среде с согласованными и заданными вопросами и ответами, загрузкой документов, обновлением знаний и задачами рабочего процесса, записью ответов P50, P95, ожиданием очереди, частотой ошибок, процессором, памятью, диском и ресурсами модели; и полным восстановлением резервного копирования, тревогой диска, перезагрузкой службы и упражнением по возвращению версии.
При подготовке к общению с поставщиками или внутренними командами рекомендуется приносить текущие процессы, репрезентативные образцы, существующие системы, сроки планирования и бюджетные уровни.Сначала четко обозначены неизвестные пункты, а затем принимается решение об использовании диагностики, PoC, проектов фиксированного диапазона или текущих исследований и разработок, что обычно более надежно, чем прямой спрос на цену и продолжительность без границ.