まず、意思決定に使用できる結論をあげます
推論サービスはモデルとビジネスアプリケーションの間にあり、出力品質と製造エンジニアリング要件を満たすための責任があります。モデルバージョン、量子化、コンテキストの長さ、サンプリング構成、ハードウェアおよびコロケーションは、異なる構成下での結果の比類なき可能性を回避する前に凍結する必要があります。平均遅延に加えて、高レベルの遅延、時間超過、キュー、目に見える、スタンル、および継続的な運用安定性が観察されるべきです。
判断前にどのような条件を識別する必要がありますか?
同じ質問は、異なるビジネス、データ、およびプロジェクトフェーズで異なる回答を持つ場合があります。次の条件がチェックされ、Web上の一般的な検索が自分のプロジェクトに組み込まれていることを示唆しています。
事前に提案した注文
まず、目標と境界について明確にします。
テスト環境、モデル構成、タスクセットを凍結します。
検証キー依存
品質、単一要求、同時分布および長期安定性試験は別々に行われます。
評価可能な結果の開発
時間オーバーラン、モデル障害、不十分なリソースとスイッチバックのシミュレーション。
次のステップを実際の結果で決定してください。
(b) 記録容量ベースライン、監視しきい値および絶縁材の方法。
実際のビジネスでどのように理解すればいいですか?
モデルインターフェイスは、単一のユーザーテストで2秒を返しますが、20秒以上でハイレベルな場所を遅延し、十分に表示されません。 平均値を見ていると、ユーザビリティを誤って計算します。 バッチ処理、キュー、モデル仕様、または容量は、実際のピークに調整され、アプリケーションはダウングレードまたは変換することができます。
一番簡単なピットでステップアップ。
インターフェイス接続と単一ユーザーリクエストの少ない数だけをテストする
一貫していないモデル、生産モデル、および定量的な構成をテストして下さい
警告なし、容量ベースラインと故障演習、あなたはライン上にあります。
受診と確認を終わらせる方法は?
最終報告書は、モデルとハードウェアバージョン、ミッション品質、P50/P95/P99遅延、ストーイング、エラーレート、リソース占有率、ユニットミッションコスト、連続性と障害復旧を実行している結果を記録する必要があります。
サプライヤーや社内チームと通信する準備をする際、現在のプロセス、代表サンプル、既存のシステム、計画時間、予算レベルが持ち込まれることが推奨されます。まず、未知の項目は明確にマークされ、その後、診断、PoC、固定範囲プロジェクト、または進行中の研究開発を使用することが決定されます。これは通常、境界線なしで価格と期間の直接的な需要よりも信頼性が高くなります。