外国人材（技能実習生）の受け入れでは、毎月、担当者が受け入れ先を訪ねて、実習の様子や生活の状況を確認する「巡回」が行われています。その場で記入するのは、紙のチェックシートです。
あるとき、外国人材の受け入れに関わるお客様から「巡回で書いた手書きのチェックシートを、すぐにExcelにできないか」というご相談をいただきました。巡回そのものは現場で行う大事な仕事ですが、悩みの種はその後です。手書きのシートを決まったExcelの様式に清書して、PDFにして保存する。受け入れ先が増えるほど、月末の作業が重くなっていきます。
そこでワイズ企画では、手書きのシートをスキャンしてAIに読み取らせ、Excelへの入力とPDFの保存までをひと続きにする仕組みを作りました。この記事では、その流れと、実際に動かしてみて分かったポイントをまとめます。
全体の流れ
- 巡回の担当者は、今までどおり紙のチェックシートに手書きする
- 戻ったらスキャンして、月ごとのフォルダに入れる
- AIがスキャン画像を読み取り、読めない箇所を質問リストにまとめる
- 巡回の担当者が質問に答える（ここだけは人が判断する）
- AIがExcelの様式に入力し、その月の分をPDFにして同じフォルダに保存する
ポイントは、現場のやり方を変えていないことです。タブレットで入力する方式も考えましたが、巡回先で慣れない機械を操作していただくより、今までどおり紙に書いていただくほうが確実です。変えたのは「書いたあと」だけです。
1. 手書きの画像をAIに読ませる
スキャンしたPDFは、そのままでは文字が小さく、AIでも読み間違えやすくなります。そこで、いったん高めの解像度の画像に変え、特記事項の欄や数字の欄は切り出して拡大してから読ませています。
評価の欄は「○・△・×」の記号、特記事項は自由記述、時間外労働の欄は数字です。種類ごとに読み方の注意点が違うので、欄ごとに分けて読むほうが正確でした。
2. 読めない字は「推測で埋めない」
いちばん大事にしているのがここです。AIは、読めない字でも、それらしい言葉で埋めてしまうことがあります。でも巡回の記録は、後から監査などで見られる書類です。書いていないことが書いてある記録は、空欄よりも困ります。
そのため、AIには「読めない箇所・自信のない箇所は、推測せずに質問としてまとめる」ように指示しています。実際には、毎月数か所、こんな質問が出てきます。
- 特記事項の2行目は「生活面は問題なし」で合っていますか？
- 余白に書かれたメモは、特記事項に入れますか？
- 時間外の欄の数字と、出勤簿から集計した数字が0.5時間違います。どちらを使いますか？
巡回の担当者は、この質問に答えるだけです。シートを一から清書するのに比べると、かかる時間はずっと短くなります。
3. Excelへの入力は「Excel本体」で行う
つまずいたのがExcelへの入力です。最初は、プログラムから直接Excelファイルを書き換える方法（Pythonのライブラリ）を試しました。ところが、様式の中の「有・無」を囲む○の図形が、保存すると壊れてしまうのです。
そこで、Windowsに入っているExcel本体をプログラムから動かして入力する方法に切り替えました。Excelが自分でファイルを保存するので、図形や書式がそのまま残ります。少し遅くなりますが、様式を崩さないことのほうが大事です。
毎月の作業は、前の月のシートをコピーして新しい月のシートを追加し、そこに入力していく形です。実行前には、念のため元のファイルのバックアップを自動で取っています。
4. PDFにして、同じフォルダへ保存
入力したシートは、そのままPDFに書き出して、スキャンを入れたのと同じ月のフォルダに保存します。「手書きの原本」と「清書したPDF」が同じ場所に並ぶので、後から探すのも、照らし合わせるのも簡単です。
最後に、出来上がったPDFをもう一度画像にして、手書きの原本と項目ごとに見比べます。○の位置、斜線、数字。ここまでを「確認」として毎回行い、お客様にお返ししています。
5. 出勤簿から残業時間も集計する
チェックシートには、実習生の時間外労働（残業）の月平均を書く欄があります。これも、勤怠システムから出した出勤簿のPDFを読み取り、一人ずつの残業時間と月平均を集計表にするようにしました。巡回の前に集計表を作っておけば、現場ではそれを見て書き写すだけです。
集計では、平日の残業と休日の残業をどう扱うか、何時間単位で丸めるか、といったルールを最初に決めておくことが大切でした。この話は、別の記事で詳しく書く予定です。
やってみて分かったこと
- 現場のやり方は変えない：変えるのは「書いたあと」だけにすると、受け入れてもらいやすい
- AIに任せるのは読み取りと入力まで：記録の中身（評価や所見）は手書きのとおりにし、AIが書き足すことはしない
- 迷ったら人に聞く仕組み：読めない字や数字の食い違いは、まとめて質問にする
- 様式を壊さない道具を選ぶ：Excelの図形が多い様式は、Excel本体で入力する
- 個人情報の扱い：入力した内容が学習に使われない法人向けのAIを使い、必要な範囲だけを読ませる
記録の内容に責任を持つのは、あくまで巡回を行ったお客様です。AIは清書の手間を減らす道具として使い、最後の確認は必ず人の目で行う。この線引きをはっきりさせたことで、安心して任せていただけるようになりました。
同じような作業でお困りの方へ
監理団体・登録支援機関・受け入れ企業の皆さまで、巡回や面談の記録の清書に時間がかかっている場合は、ワイズ企画で巡回・面談記録の作成代行をお引き受けしています。スキャンした用紙を共有フォルダに入れていただくだけで、今お使いの様式のExcelとPDFにしてお返しします。
手書きの帳票は、巡回シートに限らず、日報・点検表・検品表など、どの会社にもあるものです。「うちのこの紙も何とかならないか」というご相談も、お気軽にどうぞ。
コメント