◎[macOS Monterey]「テキスト認識表示(Live Text)」を使って、画像からテキストを抽出してみた(2)

2021年11月20日土曜日

iOS iPadOS macOS Monterey

テキスト認識表示(Live Text)タイトル
iOS15、iPadOS15、macOS Monterey の新機能に「テキスト認識表示(Live Text)」がある。今回は、macOS Monterey(v12.0.1)でこの機能を使って、画像からテキストを抽出してみた。

 

関連postiPad mini(iPadOS15.1)で画像からテキストを抽出

 

この投稿公開時点で、まだ日本語には対応していない(使えるのは、英語、中国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語のみ)と思われる。そのためか、この機能を使うには、次の利用設定が必要になる。

 

ツールバーのリンゴマークから→[システム環境設定]→[言語と地域]を選び、[テキスト認識表示:]の「画像内のテキストを表示」のチェックをクリックしてオンにする。
[言語と地域]

 

確認画面が出るので、[OK]をクリックする。
確認画面[OK]

 

写真.app で画像を開く

写真.app アイコン

写真.app で画像を開くとテキスト部分を選択できる。次のサンプル画像では分かりにくいが、選択箇所のバックが薄いグレーになる。
テキスト部分を選択

 

マウス右クリック(または[option]+ クリック)から[コピー]し、
テキスト部分をコピー

 

アプリなどにペーストして利用できる。今回は、シンプルエディット.app にペースした(テキストサイズは分かりやすいように大きくしてある)。
シンプルエディットにペースト

 

コピーの他に、テキストの内容を調べたり、翻訳なども可能。

 

プレビュー.app で画像を開いて翻訳

プレビュー.app アイコン

iPad mini のカメラで撮影した手書き文字の画像を プレビュー.app で開いてテキストを選択。
プレビュー.app で開いてテキストを選択

 

マウス右クリックから["Suginami-ku Tokyo Japan"を翻訳]を選択。コピー & ペーストしなくても、テキストが抽出されていることが分かる。
[翻訳]を選択

 

翻訳前の言語を「英語」、翻訳後の言語を「日本語」と指定し直して翻訳終了。iPadOS のときは、「Suginami-ko」と抽出が少しおかしかったが、プレビュー.app では意図どおりの「Suginami-ku」と認識されている。翻訳も「杉並区」になっている。
なお、翻訳後のテキストは[翻訳をコピー]をクリックしてコピーできる。
翻訳終了

 

プレビュー.app で画像を開いてリンク先へ飛ぶ

プレビュー.app で画像を開き、urlテキスト部分にカーソルを近づけると、カーソルが指先型に変わり、リンクとして認識される。次のサンプル画像は分かりづらいが、url 全体に囲みのラインが現れる。また、左側にはテキスト選択用の下向き矢印が出る。指先型カーソルの状態でテキストをクリックすると、リンク先へ飛ぶ(この url はこのブログのトップページ)。
画像を開いてリンク先へ飛ぶ

 

また、対象テキスト部分で右クリックすると、「リンクを開く」、「コピー」など複数の操作を選べる。テキストも背景色が付き、認識されていることがより分かりやすくなる。
「リンクを開く」、「コピー」など複数の操作

 

ブラウザを使って、web ページの画像から
テキストを抽出

自分が管理する web サイトにダミーのページを作り、ブラウザを使ってテキストを抽出してみた。

 

iPadOSのときと違って、「テキスト認識表示」ができるのは Safari(v15.1) のみだった。
Google Chrome(v96) や Firefox(v94) は、テキスト上でカーソルを操作しても出るのは右クリックからの画像操作だけだった。

 

Safari で、web 画像上のテキストの選択は、単語ならその場所をワンクリックで簡単に選択できるが、数行にわたる長文全体の場合は、やや慎重にドラッグしないと、選択済み部分がはずれることもあった(ケースによるかも)。
web 画像上のテキストの選択

 

テキストの抽出は、選択して、右クリックから[コピー]を選び、
右クリックから[コピー]

 

シンプルエディット.app にペーストした(テキストサイズは分かりやすいように大きくしてある)。
シンプルエディット.appにペースト

 

同様にして、翻訳も["●●"を翻訳]をクリックして問題なく利用できる。翻訳の精度は別にして。
翻訳後のテキストは前出のプレビュー.app を使った翻訳と同様に[翻訳をコピー]をクリックしてコピーできる。
[翻訳]も利用できる

 

もっと長い文章の場合、許可を取るなどして画像そのものを入手できるのであれば、それを直に プレビュー.app を使って開いたほうが、操作は簡単と感じた。

 

関連postiPad mini(iPadOS15.1)で画像からテキストを抽出