◎[iPadOS15]「テキスト認識表示(Live Text)」を使って、画像からテキストを抽出してみた

2021年11月18日木曜日

iOS iPad mini iPadOS macOS

iPad mini(iPadOS15.1)「テキスト認識表示(Live Text)」

iOS15、iPadOS15、macOS Monterey の新機能に「テキスト認識表示」がある。その機能を使って、iPad mini(iPadOS15.1) で画像からテキストを抽出してみた。

 

関連postmacOS Monterey(v12.0.1)で画像からテキストを抽出

 

テキスト認識表示」をサポートしている iPad モデル

  • iPad mini(第5世代以降)
  • iPad(第8世代以降)
  • iPad Air(第3世代以降)
  • 11インチiPad Pro(全世代)
  • 12.9インチiPad Pro(第3世代以降)
この投稿公開時点で、まだ日本語には対応していない(使えるのは、英語、中国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語のみ)と思われる。そのためか、この機能を使うには、次の利用設定が必要になる。

 

[設定]→[一般]→[言語と地域]の下のほうにある「テキスト認識表示」のチェックをオンにする(デフォルトではオフ)。すると、次の画像のような確認画面が出るので、[オンにする]をタップする。
「テキスト認識表示(Live Text)」をオンに

 

写真.app で画像を開く(1)

現時点で利用できる英文などのテキストを使った画像を作り、外付けUSBメモリ経由でカメラロールにコピー。

写真.app アイコン

写真.app で開き、画像内の文字付近をタップすると、カーソル形状がテキスト選択に変わるので、そのままドラッグして選択。上か下にメニューが出るので[コピー]をタップ。このメニューから「調べる」、「翻訳」、「読み上げ」なども選べる。
テキストをコピー

 

メモ.app を開いてペーストするとテキストとして利用できる。次の画像は、テキストが小さすぎて見にくいので「タイトル」にして拡大したもの。
メモ.appにペースト

 

写真.app で画像を開く(2)

同じく、カメラロールにコピーした画像(url テキスト付き)を 写真.app で開いた。なお、url はこのブログのトップページ。

 

画像右下に、画像内の文字を認識したことを示すボタンが表示されるので、タップする。
url テキスト付き画像を開く

 

ボタンの色がブルーに変わり、認識された文字(今回は url)に囲みのようなものが付く(今回はひとつだが、複数あればすべてに付く)。この文字をタップすると、url として機能し、リンク先へ飛ぶ。

 

また、文字をやや長押しすると、リンク先の内容(右側部分)などリンク先に関する選択項目が表示され選ぶことができる。
リンク先に関する選択項目

 

url の他に、電話番号やメールアドレスも認識するようだが、今回は試していない。

 

カメラで撮った手書き文字から

iPad mini のカメラで撮影した手書き文字から、テキストを取り出すこともできる。
カメラで撮影した手書き文字から、テキストを取り出す

 

[翻訳]を使って英語を日本語に変換してみて気づいたが、手書き文字がヘタクソなため、2番目の「u」が「o」と認識されてしまっている。
「u」が「o」と誤認識

 

ブラウザを使って、web ページの画像からテキストを抽出

自分が管理する web サイトにダミーのページを作り、ブラウザを使ってテキストを抽出してみた。ブラウザは、メニュー内容の表示の都合で Firefox を使っている。
web ページの画像からテキストを抽出 Firefox

 

Safari でもほぼ同様になるが、表示されるメニュー内容の表示数が少なかった。
web ページの画像からテキストを抽出 Safari

 

Google Chrome では、テキストの抽出自体ができなかった。次のように、画像の扱いに関するダイアグラムが出てしまう。
web ページの画像からテキストを抽出 Chrome

 

[共有]を試してみた( Firefox)。
web ページの画像からテキストを抽出 [共有]

 

[翻訳]を試してみた( Firefox)。
web ページの画像からテキストを抽出 [翻訳]

関連postmacOS Monterey(v12.0.1)で画像からテキストを抽出