こんにちは。管理部の経理担当です。
「AIを導入すれば、仕事が自動化される」
言葉だけを聞くと、そんなイメージを持つかもしれません。
しかし、実際に取り組んでみると、それほど簡単ではありませんでした。
AI自動仕訳の本番運用に向けて、AIが判断した仕訳と実際の正しい仕訳を突き合わせてみたところ、最初の一致率は約20％。
5件あれば、単純計算で正しく判断できるのは1件ほどです。
この状態では、実務で安心して任せることはできません。
今回は、この20％を「AIは使えない」という結論にせず、一つずつ改善していった過程をご紹介します。
最初の一致率は約20％
AIに仕訳を任せるためには、当然ですが、正しい仕訳を作ってもらわなければなりません。
そこで本番運用の前に、AIが判断した仕訳と、実際の正しい仕訳を比較しました。
結果は約20％。
想像していたより低い数字でした。
ここで、
「AIでは無理だった」
と判断することもできます。
しかし、私たちが次に行ったのは、AIが正解した20％を見ることではなく、間違えた80％を見ることでした。
どんなケースで間違えたのか。
本当は、どのように判断してほしいのか。
一件ずつ確認していきました。
間違いを見ると、人の判断基準が見えてくる
普段、経理担当者が仕訳をするときには、さまざまな情報をもとに判断しています。
仕事に慣れてくると、
「この場合はこちら」
と自然に判断できることも増えていきます。
しかし、AIに同じ判断をさせようとすると、それだけでは足りません。
人にとっての「いつもの判断」を、AIが判断できるルールとして整理する必要があります。
そこで、AIが間違えた仕訳を確認し、
「この条件なら、このように判断する」
というルールを追加しました。
そして、もう一度検証します。
また間違いがあれば、そのケースを確認する。
必要なら、さらに判断ルールを加える。
一度設定して終わりではなく、検証と修正を繰り返していきました。
20％から80％超へ
こうした作業を重ねた結果、一致率は約20％から80％を超えるところまで改善しました。
数字だけを見ると、
「AIが賢くなった」
ように感じるかもしれません。
しかし、その裏側には、人が間違いを確認し、経理としての判断ルールを整理する作業があります。
AIが自分で経理業務をすべて理解して、20％から80％になったわけではありません。
経理側が持っている判断を整理し、AIが判断できる形へ落とし込んでいった結果です。
この作業をしていると、逆に自分たちの仕事について気づくこともあります。
普段は自然に行っている判断でも、
「なぜ、この仕訳になるのか」
と改めて考える必要があるからです。
AIに仕事を任せるために、まず人の仕事を整理する。
これは、実際に取り組むまであまり意識していなかった部分でした。
80％を超えても、全部は任せない
一致率が80％を超えれば、
「もっと多くの仕訳をAIに任せよう」
と考えたくなるかもしれません。
しかし、私たちはすべての仕訳をAIへ任せることにはしませんでした。
対象は、判断を定型化できる6パターンに限定しています。
さらに、AIが仕訳を作成しても、そのまま登録するのではなく、登録前に担当者自身が確認・承認します。
経理では、効率だけを求めることはできません。
数字が正しいことも同じくらい重要です。
AIに任せる範囲を広げることより、「安心して任せられる範囲」を見極める。
その考え方で運用することにしました。
「何％正解したか」だけでは決められない
一致率が80％を超えれば、
今回の取り組みで分かったのは、AIを実務で使えるかどうかは、正解率だけでは判断できないということです。
例えば、毎回判断条件が変わるものまで無理にAIへ任せれば、人が確認する負担が大きくなるかもしれません。
反対に、判断方法が決まっているものなら、AIが担当しやすくなります。
だからこそ、
「どこまで自動化できるか」
だけではなく、
「どこまでなら安心して任せられるか」
を考える必要があります。
今回の「定型6パターン」という線引きは、その考えから決めたものです。
20％だったからこそ、改善する場所が分かった
最初から80％を超えていたら、ここまで細かくAIの間違いを確認しなかったかもしれません。
20％という結果が出たことで、
「なぜ違うのか」
を一つずつ見る必要がありました。
そして、その作業を通じて、AIに必要なルールだけでなく、経理担当者が普段どのように判断しているのかも整理されていきました。
うまくいかなかった結果が、そのまま改善する場所を教えてくれたとも言えます。
AIを使うことと、AIにすべてを任せることは違います。
経理として正しさを確認しながら、任せられる仕事を見極める。
それが、今回の検証でたどり着いた運用方法でした。
ところが、ここまで準備して迎えた本番初月。
AIによる起票件数は、まさかの0件でした。
次回は、「準備したのに出番がなかった」という想定外から、別の問題を発見したお話です。
