AIの精度が出ないとき｜精度を上げるか・人が補うか・やめるか

精度が出ないと分かったあとの進む先は、次の3つのどれかです。上げるか、やめるか。この二択のあいだに「人が補う形にする」があり、そこまで並べて初めて選べるようになります。

3つのどれに進むかは、いま残っている間違いの種類で決まります。だから、精度の相談は、間違いを集めて分けるところから始まります。先に直し方を決めてしまうと、原因と関係のない場所に費用が向かうことがあります。

最初に検討したくなるのは、たいていモデルの乗り換えです。新しいモデルの話題は次々に流れてくるので、自然な流れです。実際、乗り換えで直る間違いもあります。ただ、作る側から見ると、それは一部です。原因がモデルの外にあると、替えても同じところで外します。

• 渡した資料に、答えがそもそも書かれていない
• 資料には書いてあるのに、探し方が業務に合っていなくて拾えない
• 指示が曖昧で、何を出せば合格なのかがAIに伝わっていない
• 人がやっても判断が割れる問いを、AIに投げている

この4つは、モデルの賢さの問題ではありません。しかも原因が外にあるとき、新しいモデルは間違いをよりもっともらしい文章で書くので、かえって気づきにくくなることがあります。

「AIは使っているうちに賢くなる」ともよく言われます。ただ、業務向けの設定では入力した内容は学習に使われないことが多く、放っておいて上がることは、まず期待できません。直すのは人の作業です。逆に、渡した資料が古びると、何もしていないのに下がることはあります。

直し方を決める材料は、間違いの実例です。集め方と分け方を先に決めておくと、ここは半日から数日で終わります。

どの間違いを、いくつ集めれば足りますか

評価用の試験問題を、先に用意する必要はありません。実務でAIの出力を直した例、使えなかった例が、そのまま材料になります。まず20件ほど集めるところからです。毎日使っている業務なら、1〜2週間分をさかのぼれば集まることが多いです。そのとき、AIが何を出したかだけでなく、本当はどうあるべきだったかを横に書き添えます。この20件が、直し方を試すたびに測り直す物差しになります。

間違いはどう分けますか

集めた例を、次の4種類のどれかに置きます。どちらとも取れる例は出てきますが、どの種類が多いかが分かれば十分です。

「精度◯%」は、どう測ればよいですか

正解率を1つ出して終わりにすると、業務で痛い間違いがその中に埋もれます。間違いには、見逃す方向と、余計なものを出す方向があります。契約書の確認なら、問題を見逃すほうが痛い。問い合わせの返信案なら、事実と違う内容を出すほうが痛い。どちらが痛い業務なのかを先に決めて、痛い側の間違いを数えます。

どこまで届けば合格にするかは、満点ではなく、いま同じ作業を人がやったときの水準に置きます。置き方と測り方はAI PoCの本番化の「合格ラインは、いま人がやっている水準に置く」にまとめています。

多数派が「人でも判断が割れる」以外の3種類なら、精度はまだ上げられます。直し方は、安くて戻しやすいものから順に試します。費用のかかる方法ほど効きそうに見えますが、効く相手が違うだけです。

表の手間は目安で、仕組みの作りによって幅があります。それでも順番の考え方は変わりません。上の2つは自社だけで試せて、その日のうちに結果が見えます。外注で作ったものでも、指示文が自社側にあるなら、ここまでは自社で動けます。

追加学習は、いつ検討しますか

順番としては最後です。理由は3つあります。費用と期間が他の直し方より大きいこと。学習用のデータを揃える作業が別に発生すること。そして、追加学習で直りやすいのは言い回しや形式の癖が中心で、知識が足りない間違いは資料側の仕事だからです。表の上から試して、残った間違いが癖の問題に絞れたときに、はじめて候補になります。

ここまでの直し方を試しても、残る間違いはあります。人がやっても判断が割れる問いと、めったに出ない例外です。この2つは、直し方を重ねても、費用に見合うほどは減らないことが多いです。そこで、精度を追うのをやめて、人が補う工程を置く形を選べます。人が補う形は、手が尽きたあとの妥協ではなく、最初から選べる設計の1つです。

全件を人が見直す形になると、自動化した意味がなかったように見えます。実際には、ゼロか100かでは測れません。8割を自動で通して2割を人が見る形なら、手が動くのは全件を人がやっていたときの一部です。効果が残っているかどうかは、人が直した件数を数え続ければ分かるので、この集計だけは残しておく価値があります。

人が補う形にも費用はあります。確認する人の時間が毎月かかり続けるので、減らせた時間から差し引いて見てください。差し引いた残りがわずかなら、やめる判断に進みます。

直し方を一巡して、人が補う形にしても、補う手間のほうが元の作業より重い。そうなったら、この業務ではいったんやめる判断です。やめるのは、この業務1つに限った話で、AI全体の話に広げる必要はありません。同じ仕組みでも、業務が変われば間違いの種類は変わります。やめるときに残すのは、次の3つです。

• 測るのに使った20件と、あるべき答え
• 間違いを4種類に分けた結果
• どの直し方で、何がどれだけ変わったかのメモ

この3つを残しておくと、次にモデルや仕組みが変わったとき、同じ20件を流すだけで再開の判断ができます。作り直しではなく、測り直しで済みます。やめると言い出す役を、始めた人と分けておく話と、使った費用を続ける理由にしない話は、AI PoCの本番化に書いたとおりです。

改善を続けるにも、人が補う形にするにも、やめるにも、たいてい決める人への説明が要ります。どの結論でも、出す1枚は同じ形で足ります。

20件でも、種類で分かれていれば判断の材料になります。件数と種類が揃っていれば、決める側が「いつまで続くのか」を確かめる必要もありません。説明が一度で通れば、「もう少し様子を見る」で持ち帰りになる回数も減ります。

今週やることは3つです。どれも、AIの設定を触らずに始められます。

1. 01実務でAIの出力を直した例・使えなかった例を20件集め、あるべき答えを書き添える
2. 0220件を4種類に分けて、どの種類が多いかを見る
3. 03多数派に効く直し方を表から引いて、いちばん安いものを1つ試す

そもそもどの業務にAIを使うかを選び直す話はAIに任せる業務の選び方に、外注先との契約や進め方の話はAIエージェント開発の外注にまとめています。

当社は業務の自動化とAIエージェントの受託開発を行っています。集めた間違いを一緒に分類して、どの方向が良いかを判断するところだけでも構いません。精度を追わないほうがよい、という結論になることもあります。必要でしたらお問い合わせからお声がけください。