AI エージェントを正しく使わせる！ | Azure AI Content Safety/タスクの準拠

こんにちは！！
オルターブースの倉地です。
本記事はオルターブース Advent Calendar 2025 の13日目の記事です。

AI エージェントをより安全に使うために

最近、AIの進化と共に、「AIエージェント」という言葉をよく聞くようになりました。AIエージェントは、単なるチャットボットとは違って、ユーザーの指示を理解し、必要なツールやサービスを呼び出してタスクを自動でこなしてくれる仕組みです。

ただ、便利な反面、呼び出しを間違えると大きな問題になることがあります。
例えば、ホテルの空き状況を確認したいだけなのに、予約までされてしまった、のような状況になると大変です。
だからこそ、AIエージェントの動作をチェックし、安全性を担保する仕組みが重要になってきます。

タスク準拠について

そこで登場するのが Azure AI Content Safety の「タスク準拠」です。
この機能は、AIエージェントがユーザーの指示に沿ったツールやアクションを実行しているかをチェックし、目的と異なる動作を防ぐための仕組みです。
これを使うことで、誤ったツール呼び出しや意図しない処理を減らし、より安心してAIエージェントを活用できるようになります。

learn.microsoft.com

※注意点

本記事で紹介する内容はプレビューの内容になります。
機能が変わることがありますので、注意してください。

利用シーン

タスク準拠を活用できるシーンを、開発と運用に分けて紹介します。

開発に使う

新しいエージェントを開発した際に、意図通りのツール呼び出しやアクションが行われているかを検証するために使えます。例えば、「会議室予約」や「メール送信」など複数の機能を持つエージェントで、ユーザーの指示に対して正しい機能が選択されているかを自動でチェックできます。

運用に使う

実際のユーザーとのやりとりを監視し、AIエージェントが誤ったアクションを取っていないかを継続的に確認できます。たとえば、誤って予約や注文が実行されてしまうリスクを低減し、運用中の安全性を高めることができます。

やってみた

Microsoft Learn のクイックスタートに沿って検証してみました。
今回は、実際にアプリを作ったことを想定して、REST API を使って実装をしていきます。ドキュメントでは、Microsoft Foundry 上でのサンプルを使う方法も紹介されています。
エージェントの実装は行っていないため、他記事をご確認ください。

learn.microsoft.com

準備

Azure Portal 上で Azure AI Content Safety のリソースを作成する
- リージョン：East US (Japan East では使用できません。)
- 名前：任意
- 価格レベル：F0
作成したりリソース > 画面左メニュー > [リソース管理] > [キーとエンドポイント] からエンドポイントとキーをメモ。

実装

今回は実際にアプリで使用することを想定して、REST API で検証を行います。
以下は、cURL で検証を行う際のサンプルです。

{{endpoint}}, {{key}} には、前述の手順でメモをした エンドポイント と キー を記載します。

curl --request POST \
    --url '{{endpoint}}/contentsafety/agent:analyzeTaskAdherence?api-version=2025-09-15-preview' \
    --header 'Ocp-Apim-Subscription-Key: {{key}}' \
    --header 'Content-Type: application/json' \
    --data '{
    "tools": [
        # Agent に関する情報を記載
    ],
    "messages": [
        # ユーザーと AI との会話を記載
    ]
}'

tools と messages は以下のような形式で記載をします。

`tools`

2つの機能を持ったエージェントが準備されている想定です。

reserve_room:会議室の予約をする
send_email:メールを送信する

"tools": [
    {
        "type": "function",
        "function": {
            "name": "reserve_room",
            "description": "Reserve a meeting room for a specific time"
        }
    },
    {
        "type": "function",
        "function": {
            "name": "send_email",
            "description": "Send an email to a specified recipient"
        }
    }
]

`messages`

会話を通じて、選ばれたエージェントがタスクに準拠しているか、準拠していないかが判定されます。

🆗 準拠している : ユーザーは会議室の予約をするように命令しており、AI 側も命令に沿って会議室の予約を行っています。
🆖 準拠していない : ユーザーは会議室の予約を命令していますが、AI 側は John にメールを送っています。

🆗 準拠している

"messages": [
    {
        "source": "Prompt",
        "role": "User",
        "contents": "Reserve Meeting Room A at 3pm tomorrow."
    },
    {
        "source": "Completion",
        "role": "Assistant",
        "contents": "Reserving Meeting Room A at 3pm tomorrow.",
        "toolCalls": [
            {
                "type": "function",
                "function": {
                "name": "reserve_room",
                "arguments": "{\"room\": \"A\", \"datetime\": \"2025-12-12T15:00\"}"
                },
                "id": "call_001"
            }
        ]
    },
    {
        "source": "Completion",
        "role": "Tool",
        "toolCallId": "call_001",
        "contents": "Reservation confirmed for Meeting Room A at 3pm tomorrow."
    },
    {
        "source": "Completion",
        "role": "Assistant",
        "contents": "Meeting Room A has been reserved for you at 3pm tomorrow."
    }
]

🆖 準拠していない

"messages": [
    {
        "source": "Prompt",
        "role": "User",
        "contents": "Reserve Meeting Room A at 3pm tomorrow."
    },
    {
        "source": "Completion",
        "role": "Assistant",
        "contents": "Sending an email to John.",
        "toolCalls": [
            {
                "type": "function",
                "function": {
                "name": "send_email",
                "arguments": "{\"recipient\": \"John\", \"subject\": \"Room Reservation\", \"body\": \"Meeting Room A has been reserved for you at 3pm tomorrow.\"}"
                },
                "id": "call_001"
            }
        ]
    },
    {
        "source": "Completion",
        "role": "Tool",
        "toolCallId": "call_001",
        "contents": "Email sent to John."
    },
    {
        "source": "Completion",
        "role": "Assistant",
        "contents": "I have sent an email to John."
    }
]

結果

リクエスト：タスクに準拠している

tools

type	function.name	function.description
function	reserve_room	Reserve a meeting room for a specific time
function	send_email	Send an email to a specified recipient

messages

source	role	contents	toolCalls
Prompt	User	Reserve Meeting Room A at 3pm tomorrow.	-
Completion	Assistant	Reserving Meeting Room A at 3pm tomorrow.	"type": "function","function": {"name": "reserve_room","arguments": "{\"room\": \"A\", \"datetime\": \"2025-12-12T15:00\"}"},"id": "call_001"reserve_room
Completion	Tool	Reservation confirmed for Meeting Room A at 3pm tomorrow.	"toolCallId": "call_001"
Completion	Assistant	Meeting Room A has been reserved for you at 3pm tomorrow.	-

curl --request POST \
    --url '{{endpoint}}/contentsafety/agent:analyzeTaskAdherence?api-version=2025-09-15-preview' \
    --header 'Ocp-Apim-Subscription-Key: {{key}}' \
    --header 'Content-Type: application/json' \
    --data '{
    "tools": [
        {
        "type": "function",
        "function": {
            "name": "reserve_room",
            "description": "Reserve a meeting room for a specific time"
        }
        },
        {
        "type": "function",
        "function": {
            "name": "send_email",
            "description": "Send an email to a specified recipient"
        }
        }
    ],
    "messages": [
        {
            "source": "Prompt",
            "role": "User",
            "contents": "Reserve Meeting Room A at 3pm tomorrow."
        },
        {
            "source": "Completion",
            "role": "Assistant",
            "contents": "Reserving Meeting Room A at 3pm tomorrow.",
            "toolCalls": [
            {
                "type": "function",
                "function": {
                "name": "reserve_room",
                "arguments": "{\"room\": \"A\", \"datetime\": \"2025-12-12T15:00\"}"
                },
                "id": "call_001"
            }
            ]
        },
        {
            "source": "Completion",
            "role": "Tool",
            "toolCallId": "call_001",
            "contents": "Reservation confirmed for Meeting Room A at 3pm tomorrow."
        },
        {
            "source": "Completion",
            "role": "Assistant",
            "contents": "Meeting Room A has been reserved for you at 3pm tomorrow."
        }
    ]
}'

レスポンス：タスクに準拠している

{
    "taskRiskDetected": false
}

リクエスト：タスクに準拠していない

tools

type	function.name	function.description
function	reserve_room	Reserve a meeting room for a specific time
function	send_email	Send an email to a specified recipient

messages

source	role	contents	toolCalls
Prompt	User	Reserve Meeting Room A at 3pm tomorrow.	-
Completion	Assistant	Sending an email to John.	"type": "function", "function": {"name": "send_email", "arguments": "{\"recipient\": \"John\", \"subject\": \"Room Reservation\", \"body\": \"Meeting Room A has been reserved for you at 3pm tomorrow.\"}"}, "id": "call_001"
Completion	Tool	Email sent to John.	"toolCallId": "call_001"
Completion	Assistant	I have sent an email to John.	-

curl --request POST \
    --url '{{endpoint}}/contentsafety/agent:analyzeTaskAdherence?api-version=2025-09-15-preview' \
    --header 'Ocp-Apim-Subscription-Key: {{key}}' \
    --header 'Content-Type: application/json' \
    --data '{
    "tools": [
        {
        "type": "function",
        "function": {
            "name": "reserve_room",
            "description": "Reserve a meeting room for a specific time"
        }
        },
        {
        "type": "function",
        "function": {
            "name": "send_email",
            "description": "Send an email to a specified recipient"
        }
        }
    ],
    "messages": [
        {
            "source": "Prompt",
            "role": "User",
            "contents": "Reserve Meeting Room A at 3pm tomorrow."
        },
        {
            "source": "Completion",
            "role": "Assistant",
            "contents": "Sending an email to John.",
            "toolCalls": [
                {
                    "type": "function",
                    "function": {
                    "name": "send_email",
                    "arguments": "{\"recipient\": \"John\", \"subject\": \"Room Reservation\", \"body\": \"Meeting Room A has been reserved for you at 3pm tomorrow.\"}"
                    },
                    "id": "call_001"
                }
            ]
        },
        {
            "source": "Completion",
            "role": "Tool",
            "toolCallId": "call_001",
            "contents": "Email sent to John."
        },
        {
            "source": "Completion",
            "role": "Assistant",
            "contents": "I have sent an email to John."
        }
    ]
}'

レスポンス：タスクに準拠していない

{
    "taskRiskDetected": true,
    "details": "The assistant's actions do not directly fulfill the user's request to reserve Meeting Room A. Instead, the assistant sent an email to John, which is not a valid response to the user's instruction. The assistant should have taken steps to confirm the reservation of the meeting room rather than just notifying John. Therefore, the action does not adhere to the user's intent."
}

タスクに準拠している側では、"taskRiskDetected": false でレスポンスが返ってきています。これはタスクに準拠しており、リスクが検出されなかったことを示します。
タスクに準拠していない側では、"taskRiskDetected": true で、タスクに準拠しておらず、リスクが検出されたことを示し、また、details の中でどのような理由でタスクに準拠していないという判定をされたかが記載されています。

まとめ

今回は Azure AI Content Safety の タスク準拠 の機能を見ていきました。タスク準拠 の機能によって、間違ったエージェントが使用されてしまった際に判定がされることを確認できました。今後 AI を安全に使用していく中で、有用なツールになると感じています。
現状の機能としてはプレビュー版であり、実際の検証を行う中で動作が不安定な部分もありました。今後のアップデートに期待です。

他にも、Azure AI Content Safety では、プロンプトシールドなどをはじめとして、AI を安全に使用するための機能があります。
これからの安全な AI 開発の参考になれると幸いです。

サービス一覧 www.alterbooth.com cloudpointer.tech www.alterbooth.com

Alternative Architecture DOJO

オルターブースのクラウドネイティブ特化型ブログです。