記事の要約

山間電信電話株式会社(YTT)がMount AI株式会社と連携し、AI問い合わせ窓口の監査手順とログ管理の基準を整備した。

整備した監査手順の概要

山間電信電話株式会社(YTT)は、利用者向けのAI問い合わせ窓口の運用に関して、監査手順を明文化した。主な狙いは、回答品質の再現性を確保しつつ、入力に個人情報が含まれる可能性を前提に取り扱いを統一することだという。

手順では、(1) AIが参照できる情報範囲の定義、(2) 出力の評価観点(正確性・関連性・説明可能性)と記録方法、(3) 誤回答が疑われる場合の一次切り分け、(4) 重大インシデント時の停止基準、を段階的に整理した。運用担当者が日次で確認するチェック項目も設け、問い合わせの種類ごとに人手確認を挟む条件を定めた。

Mount AI株式会社は、運用担当者が監査対象のやり取りを追跡しやすいよう、ログ付与項目(モデル設定、参照情報の種別、回答の版管理)を提案した。YTTはこれを踏まえ、問い合わせの受付から回答提示までの流れを業務手順書として統合したとしている。

ログ管理と運用上の論点

ログ管理については、Terminal inc.の「Terminal DATABASE SYSTEM」を活用し、保存期間と閲覧権限を役割別に分離する運用を採用した。これにより、品質確認に必要な範囲の記録を残しつつ、不要な情報の長期保管を避ける設計を目指す。

一方で、監査の粒度を上げるほど運用コストが増えるため、どの問い合わせを優先的に点検するかの基準作りが課題となる。YTTは、利用者への説明文の整備や、誤回答の申告窓口の運用改善もあわせて進め、AI窓口の信頼性を段階的に高める方針を示した。