対話、してますか?
う〜ん、わたしには友だちがいないからなぁ。
ときどき、生成AIとお話しするくらい…(泣)。
いきなりさびしい話からはじまりますが、ChatGPTやMicrosoft Copilotなどは、いわゆる「対話型AI」とよばれ、ユーザーの質問(プロンプト)への回答をAIエンジンが表示するサービスです。
そのやりとりが、人間どうしの対話に似ているため「対話型AI」と呼ばれますが、賢い読者の皆さまなら、もう気づいてますよね。
”対話”のはじまりは、「質問文」でなくてもよいのです。
今回は、Copilotの画像認識を活用したら、ExcelやVBAマクロとの親和性が高かった!というお話をします。
※以下、Microsoft Copilot + iPhone + Excel(Microsoft 365版アプリ)を組み合わせて解説しますが、ChatGPTもバージョンGPT-4V以降で画像読み込み→解析が可能になっています。
スマホ(スマートフォン)版Copilotには、カメラ・マークがありますよ!!
せるワザでは以前、「Excelのカメラ・アイコン(OCR機能)が便利ですよ!!(スキャナ保存をカンタンにすませるには、スマホ+Excelの組み合わせが便利)」というトピックスを取り上げました。
この時は、スマホで撮影した写真をパソコンへ転送し、Excelリボン上のカメラ・アイコン(画像読み込み)を使用して、画像からのテキスト変換を試みました。スマホのExcelアプリには、まだカメラ・アイコン(画像読み込み機能)がないからです。
しかし、iPhoneアプリ版Copilotには、カメラ・アイコンがあるんですよ。
(あ、ご存知でしたか!?)
そもそも、画像OCR(画像からのテキスト抽出)が必要になる場面って、フルキーボードのパソコンが使えない屋外や、”アウェイ”打ち合わせの場合ですよね。
パソコンが使えないなら、スマホで画像OCRしたらいいんじゃないですか?
Copilotアプリを使えば、できるんです。
たとえば、セールス・パーソンにとって面倒くさい雑務筆頭の「レシートから小口精算」。一例として、下図レシート画像を、Copilotにテキスト化依頼してみました(画像内容は一部マスキング済みです)。
このプロント(画像解析依頼)に対する、Copilotからの回答がこちら(正しく認識された項目に○、誤認識に✖︎をかさねました)。
う〜む、残念!!
今回の勝率は2勝4敗でした。
しかし、改めて手書き資料をスマホOCRしてみたことで、ひとつの”気づき”がえられました。
Copilotへ投げかけてみた画像素材(手書きメモ)がこちら。
これに対する、Copilotからの回答はこちら。
このCopilot回答の正誤を判定してみましょう。
日本語は、ひらがなでさえ(筆者の悪筆はせめないでください〜)、正答率0%であったのに対して、数字の認識率は100%でした!!
やっぱりCopilotくんは日本人でないから、日本語がとても苦手だったんですね。
そのようなわけで、レシートや日本語資料をスマホのCopilotでテキスト化することは、(2024年夏現在では)まだむずかしい状況のようですが、逆に考えれば、「英数字はとても得意」ということです。
英数字だけで表現されるのって、なんでしたっけ?
そう、プログラミングの世界です。
VBAコード画像のCopilot OCRは完璧でした!!
過去のExcel職人たちが残していった闇VBAのあつかい、どうしてますか?
そのExcel職人と同じくらいVBA知識があれば、さっさとEditorでなおせるのですが、それができないから闇ファイル化するのですよね。
そんな時は、プログラムそのものを画像(スクリーンショット)化して、Copilotへ投げてみればよいのです。
そこで、過去に発行されていたVBA教則本のサンプルを使って、試してみました。
某・密林系電子書店で、初版2014年のVBAマクロ教則本をダウンロードして、誌面に紹介されていたVBA見本データを、教本指定のURLから取得しようとしました。
まさかの【File not found.】エラー。10年前とはいえ、嗚呼、平成は遠くなりにけり…
(ちなみに、発行元の名誉のため追記しますと、読者救済アーカイブ・ファイルは、別ディレクトリに今も公開されています)。
しかし、オリジナル・テキストがなくても大丈夫!!
調査したいプログラムコードをスクリーンショット(画像化)して、Copilotにたずねてみましょう。 今回、スマホから画像化したプログラムファイルはこちら。
結果、Copilotからの回答をそのままコピペ(コピー&ペースト)するだけで、エラーなく起動できるVBAプログラムのコードを複製することができました。
まとめ:スマホでこそ使いたい画像OCR機能
英数字の識字率は高く、過去プログラムの再現にも効果大です!
レシート、手書きメモ、スクリーンショット認識とも各1事例のみですので、これで
100%の判断ができるものではありませんが、推測される傾向として、
1.Excel OCRとCopilotの画像識字率は、2024年時点では大差なし
2.とくに、日本語に弱く、英数字はかなり正確にテキスト化が可能
3.したがって、日本語レシートなどの処理には不向き、
プログラムコードなどの再現には強みあり
ということがみてとれました。
こうした特性をふまえれば、過去資料アーカイブの中からも、画像OCRしてみたい書類がたくさん見つかるのではないでしょうか?
そう、Copilotくんの得意・不得意をいろいろな事例で見きわめながら、どんどん対話してみてください。
ただし、あまり二次元の対話ばかりにはのめり込まず、たまには(?)三次元の人々との対話も忘れずにね。
