まず、意思決定に使用できる結論をあげます
業務エージェントは通常、ユーザー入力、Webページ、メール、ドキュメント、およびツールの出力を同時に処理し、悪意のあるまたは競合する指示に従うことができます。 特権が「他の顧客データを読みません」などの単語だけに依存している場合、モデルは、誤って計算されたら、高リスクツールを呼び出すことができます。 正しい設計は、ユーザー ID、エージェントのアイデンティティ、リソース範囲、アクションライン、および承認ルールを特定のシステムにのみ適用することです。 モデルは、候補者の行動を提案し、サービスが許可するかどうかを決定します。
判断前にどのような条件を識別する必要がありますか?
同じ質問は、異なるビジネス、データ、およびプロジェクトフェーズで異なる回答を持つ場合があります。次の条件がチェックされ、Web上の一般的な検索が自分のプロジェクトに組み込まれていることを示唆しています。
事前に提案した注文
まず、目標と境界について明確にします。
すべてのツールとデータをリストしてランク付けします。
検証キー依存
ユーザとエージェントの独立したアイデンティティと最小権限を作成します。
評価可能な結果の開発
ツールレベルのリソース、パラメータ、スケール、運用状況の検証
次のステップを実際の結果で決定してください。
高リスクの操作の手動承認、監査、緊急の欠損を増加させます。
実際のビジネスでどのように理解すればいいですか?
メールアシスタントは悪意のある指示を含む電子メールを読み、モデルはクライアントにツールをエクスポートしようとする試みを読んでいます。ツールサービスはモデル内でのみ信じる場合は、データ漏洩を引き起こす可能性があります。サービスプロバイダが現在の従業員の状態、クライアントの所属、および輸出承認に基づいて検証を実行すると、要求は拒否され、セキュリティイベントが記録されます。
一番簡単なピットでステップアップ。
より強力な特権制御に等しいシステムヒントを考慮する
複数のエージェントは、スーパー admin アカウントを共有します。
モデルの回答のみを記録します。, ツールパラメータではなく、実装の結果
受診と確認を終わらせる方法は?
セキュリティテストは、インジェクション、過承認、パラメータの改ざん、汚染、繰り返し実行およびクリアランスへのツールのリターンをカバーする必要があります。モデル出力エラーコマンドが続行されていない場合でも、外部の承認レベルは、動きを停止し、ユーザー、エージェント、ツール、結果の完全な監査チェーンを残す必要があります。
サプライヤーや社内チームと通信する準備をする際、現在のプロセス、代表サンプル、既存のシステム、計画時間、予算レベルが持ち込まれることが推奨されます。まず、未知の項目は明確にマークされ、その後、診断、PoC、固定範囲プロジェクト、または進行中の研究開発を使用することが決定されます。これは通常、境界線なしで価格と期間の直接的な需要よりも信頼性が高くなります。