Mac操作をAIに許可したセッションで、実際の操作結果を確かめる

アプリ操作をAIに許可しても、許可の表示だけでは、目的のアプリに入力が届いたかは分かりません。今回は一度のセッションで終わり、個人データを使わず、期待値を人がその場で判定できる計算を試験に選びました。

今回の対応

11月7日、Claudeによる操作をそのセッションに限定して許可し、Macの計算機で37×19を指示しました。計算機に703と表示されたことを直接確認しました。ブラウザーの読み取りについては実行履歴を照合しました。

「703」は何を裏付けるか

37×19の結果を事前に決め、指示後に計算機の表示を直接確認しました。この観察は、対象アプリに対する具体的な操作の検証です。一方、ブラウザーの読み取りは実行履歴で照合しており、画面にどこまで表示されたかを人が直接確認した試験とは証拠の種類が違います。

状況別の判断と次の対応

同じ試験を繰り返す場合

前の計算結果が画面に残っていると、新しく操作できたかを区別しにくくなります。別の式で期待値を先に決めるか、初期表示を確認してから試します。後のセッションで同じ動作を使う場合は、その時点で許可できる範囲を改めて確認します。