はじめての道具箱 — データを整理する
— 判断させるのではなく、書いてあるしるしを拾う —
資料の中から「大事な語」のような情報を機械に取り出させたいとき、AI に選ばせるやり方のほかに、元の資料がもともと書いている決まりを手がかりにするやり方があります。この記事では、その考え方と、使うときに気をつけることを、はじめての人向けに説明します。
この記事を読むとできること
想定している使い方
ブラウザで開くチャット型の AI(Gemini や ChatGPT など)にコードを書いてもらい、 それを自分の Mac に保存して動かす使い方です。この記事の操作や画面の説明は、すべて Mac を前提にしています。
読む目安:約12分 ・ 道具箱の項目 B5(データを整理する)・ 図4枚
機械に取り出させたい情報があるとき、元の資料が書き手の手でもともと付けているしるし(配点=その語に何点を与えるかの数字、記号、かぎかっこなど)を探し、そのしるしに合う所を拾う考え方です。「どれが大事か」を新しく判断するのではなく、資料に書いてあることを拾います。
ここでいう「元データ」は、たとえば問題のもとになる Word(文書を作るソフト)の資料のように、自分が持っている元の資料のことです。たとえば、問題の模範解答の中から「大事な語」を取り出して伏せ字(その語を隠して空欄のように見せること)にしたいとします。いちばん手軽なのは、AI に「大事そうな語を選んで」と頼むことです。
ところが、この頼み方には弱点があります。同じ資料を渡しても、頼むたびに選ぶ語が変わることがあります。また、なぜその語を選んだのか、資料のどこに基づくのかが分かりません。
一方、資料の書き手は、大事な語に印を付けていることがよくあります。たとえば採点基準の行に配点が添えてあれば、それは「この語が書けていれば点がもらえる」という、書き手自身の判断の跡です。この跡を機械に拾わせれば、何度やっても同じ結果になり、理由を「資料にそう書いてあるから」と言えます。
図の見方:上の段は、AI に大事な語を選ばせた場合です。頼むたびに結果が変わり、選んだ理由も言えません。下の段は、資料に書いてある配点のしるし(例では「:3点」)に合う所を機械で拾った場合です。語を選ぶ判断を挟まないので、同じ資料からは毎回同じ結果が出ます。
まず、資料を上から読み、毎回同じ書き方で書かれている所を探します。たとえば「【問題1】」のような見出しの記号、「:3点」のような配点、かぎかっこ「」で囲んだ語などです。決まった書き方が繰り返されているなら、それは書き手が意味をもって書いたしるしです。
下の図は、記述式の問題の採点表です(架空の例)。採点基準の2つの行には、かぎかっこで囲んだ語のあとに配点が付いています。配点が付いているのは、その語が書けていれば点がもらえるということなので、資料自身が「この語は大事だ」と示しています。拾う候補は、かぎかっこの中身です。
※ 太字や色は目立ちますが、書き手が気分で付けたり、一部の問題にだけ付けたりしがちです。手がかりにする前に、全部の問題に付いているかを調べます。
のちに(エージェント型コーディング、つまり AI が Mac の中で作業するやり方に移ってから)作った記述式クイズは、模範解答の中の大事な語を伏せ字にし、押すと開く作りです。最初は、元の資料の文字の色や太字から伏せる語を拾おうとしました。ところが実際に数えてみると、59問のうち色が付いていたのは5問だけで、これでは全部の問題を覆えませんでした。そこで、資料自身が書いている採点基準の行を手がかりに変えました。
同じ意味の決まりでも、書き方が2通り以上あることがあります。先ほどの例では、「:3点」と書く形と、「の記述(5点)」と書く形が混ざっていました。人には同じ意味と分かりますが、機械には別の書き方に見えます。
機械に探させるときは、正規表現(文字の並び方の決まりを書いて、合う所を探す仕組み)を使います。AI に頼めば書いてもらえます。このとき片方の形だけを探す決まりにすると、もう片方の形で書かれた問題から語が取れません。そこで、資料を数問だけでなく広く見て、書き方を全部書き出してから、全部の形に合う決まりにします。
この記述式クイズの資料でも、採点基準の行は「:N点」の形と「(N点)」の形の2通りで書かれていました。実測すると、片方の形だけを探す決まりでは23問で伏せる語が1つも取れませんでした。両方の形を同時に見る決まりにし、「思考プロセス」欄(問題ごとの考え方を書いた欄)にある「◯◯のキーワード:」の行(14問ぶん)も併せて手がかりにしたところ、59問すべてで1語以上が取れ、1問あたりの平均は約1.8か所でした。
決まりで拾った結果は、AI が「できました」と言っても、全部の問題で取れているとは限りません。確かめるには、問題の数と、語が1つ以上取れた問題の数を数えます。数が合わないときは、取れなかった問題を番号の一覧にして、人が資料と見比べます。
取れなかった問題の語は、AI に推測で埋めさせないでください。資料に書かれていない語を足すと、資料の決まりを使うという前提が崩れます。取れなかった理由(書き方がもう1種類ある、など)を探して、決まりのほうを直します。
迷ったら「この語を選んだ理由は、資料のどこに書いてあるか」と考えます。資料の中の場所を指せない語は、決まりの外から入り込んだ語です。また、取れた語が答えの文のほとんどを占めるときは、伏せすぎで問題として成り立たなくなります。伏せる割合の上限を決めておきます。
この記述式クイズでは、AI に法律用語を判定させていません。伏せているのは、元の資料が部分点(その語が書けていれば、答えが完全でなくても与えられる点)を与えると書いている語そのものです。また、採点基準が答えの文まるごとを指すことがあるため、伏せた割合が7割を超えたら、長い語から順に外す決まりにしてあります。
起きていることから探してください。
| 起きていること | 原因 | どうするか |
|---|---|---|
| 一部の問題だけ、語が1つも取れない | その問題では、決まりの書き方が別の形になっている(コロンが全角と半角で違う、かっこの種類が違う、など) | 取れなかった問題の行をそのまま AI に貼り、取れた問題の行と見比べてもらいます。違う書き方が見つかったら、その形も拾う決まりにします |
| 色や太字を手がかりにしたのに、ほとんど取れない | 色や太字は、一部の問題にしか付いていなかった | 全部の問題に付いているかを先に数えます。足りなければ、配点や記号のような、全部の問題に出てくる決まりに変えます |
| 答えの文のほとんどが伏せられてしまう | 採点基準が、語ではなく答えの文まるごとを指している | 伏せる割合の上限(たとえば全体の7割)を決め、超えたら長い語から外す作りにしてもらいます |
| 資料を書き直したら、急に語が取れなくなった | 書き直した部分の書き方が、これまでの決まりと変わった | 資料を直したら、拾い直すたびに数え直します。数が減っていたら、取れなくなった問題の行を AI に貼って、決まりを直してもらいます |
※ この道具箱は対話型コーディング(ブラウザの画面でチャットの AI と文章をやりとりして、コードを書いてもらうやり方)の前提です。 チャットの AI はあなたの Mac を見られないので、頼むのは「コードを書いて」、困ったら出た文字を貼って伝えます。 コツは、「語を選ばないで、資料に書いてあるしるしだけを使う」と先に伝えることと、資料の見本を数問そのまま貼ることです。 下の文は、そのまま写すためのものではなく、言い方の見本です。
① 資料に手がかりがあるか調べてもらうとき
「記述式問題の資料から、模範解答の大事な語を取り出したい。下に資料の問題を3問貼る。毎回同じ書き方で書かれていて、手がかりになりそうなしるしを、見つけて教えて。語の良し悪しは判断しないで」
② 決まりで拾うコードを頼むとき
「採点基準の行のうち、配点が付いたものから、かぎかっこ「」の中身を取り出すコードを書いて。配点の書き方は『:3点』と『の記述(5点)』の2通りがあるので、両方を拾えるようにして。AI が語を選ぶ処理は入れないで」
③ 取れた数を確かめるとき
「全部で何問あって、語が1つ以上取れたのは何問か、数えて表示して。取れなかった問題は番号の一覧も出して。取れなかった問題の語は推測で埋めないで」
うまく取れないとき
「問題12だけ語が取れない。問題12の採点基準の行は:(ここに貼る)。取れている問題5の行は:(ここに貼る)。書き方の違いを見つけて、その形も拾うようにコードを直して」
※ ①で「語の良し悪しは判断しないで」と伝えないと、AI が親切のつもりで「この語も大事そうです」と足してしまい、資料に書いていない語が混ざります。
拾った結果が資料の決まりに沿っているかは、数えることと、数問を資料と見比べることで分かります。
数を見る。③の頼み方で、全部の問題の数と、語が取れた問題の数を出してもらいます。同じ数なら、全部の問題で1つ以上取れています。足りないときは、表示された番号の問題を資料で開いて、書き方を確かめます。
数問を資料と見比べる。取れた語の一覧から問題を3つほど選び、資料の採点基準の行と並べて見ます。取れた語のすべてが、配点の付いた行のかぎかっこの中にあれば、決まりどおりです(ほかの手がかりも併せて使うなら、その手がかりの行も見ます)。資料に無い語が混ざっていたら、AI が選んでしまっています。
同じ結果が出るか見る。同じ資料で、できあがったコードをもう一度動かします(AI に頼み直すのではありません)。前回と同じ語が出れば成功です。変わるようなら、決まりではなく AI の判断が入り込んでいるので、②の頼み方で「語を選ぶ処理は入れない」と伝え直します。