#935 確認待ち

最近ちょっと気になっていることがあって、そうだな、何かを自動化していたとする。というか、自動化しているんだけれども。

自動化している仕組みがあって、それが、その、なんだろうな、AIを使って自動化している仕組みがあった。ただ、それが以前はすんなり動いていたんだけれども、すんなり動いていたというか、まあ、理想的なね、動き方をしていたんだけれども、最近、サービス側の安全基準が変わったようで、自動的にやってほしいことの途中で確認が挟まるようになった。

そして、その確認が挟まるっていうのは、明示的に何かこう仕組みが提供されているわけではないので、チャット上で何かこう確認があって止まっているわけだ。「これを確認してください」「実行していいですか」みたいなことを聞いて止まっているわけだ。

これは非常に困るわけだよね。それまで自動的に、そこも含めてやっていたということが、急に確認が挟まるようになって、ともすればそれに気づかないわけだ。なんなら私も、最終的に自動化した処理をスタートしたら、その後はそのスレッドはもう見ない感じの自分になっていたから、気づいたら2、3日、確認で止まっているスレッドが溜まっていて、「なんだ、なんだこれは」とびっくりしたものだ。

どうやらサービス側の安全基準が変わって、止まるようになってしまったらしい。ということに気づいたのはその後である。

そして、これはもう承認していて、リスクは把握している、OKな処理だから勝手にやってくれと、結構いろいろいじったんだけれども、どうしてもその安全基準を突破できない。これは非常に面倒くさい。

で、結局そういうところで人が捕まると、どんどん認知負荷が高まるし、処理が止まっているのか止まってないのかを毎回気にするということも辛いし、そういう自動化のための確認というものが自動化自体を止めてしまうという状態は、当然そのセキュリティとトレードオフになる。確認をきちんとした方がセキュリティは高くなる。

しかし、確認もお決まりのものだと、人間は徐々に確認もせずに、ただOKボタンを押すだけになってしまうという問題はある。なんなら、最近のAIで自動承認モードがない場合、人間は結局ただEnterキーを押すだけになっていた、ということがあるので、まあ、あまり全然良くないと。この辺はちょっと身をもって感じたね。