iOS 15はオンデバイスAIを強化、写真中のテキストをコピペする「ライブテキスト」対応。看板から通話も

iOS 15の目玉機能のひとつは、クラウドを使わず iPhone 内部でAI処理を実現する「オンデバイスインテリジェンス」が強化されること。

たとえば写真アプリなどで使えるようになる「ライブテキスト」機能では、カメラロールの写真やスクリーンショット内の文字や文章を、通常のテキストのように範囲選択やコピーできるようになります。

テキスト中のリンクや電話番号なども検出するため、お店の看板の写真からそのまま電話をかけることも。

ライブテキストは写真アプリのほかスクリーンショット、カメラの撮影プレビュー、Safari、およびクイックルックで使えます。さらにスポットライトでも、テキストで検索してその文が含まれる写真を発見可能に。

オンデバイスインテリジェンスによる画像解析としては、写真に写っている植物や動物の品種、ランドマーク、本のタイトル、絵画なども検出できるようになりました。写真アプリで上にスワイプすれば認識したものがハイライトされます。

このほかオンデバイスインテリジェンスが使われるのは、Siri に話しかけた言葉の認識、通知の優先順位、Apple Music の楽曲おすすめなど。外部にデータを送信せず、プライバシーと高速動作を両立できることがオンデバイス処理の利点。

ライブテキストの当初の対応言語には日本語が含まれていません。利用には A12 Bionic プロセッサ以降を搭載した iPhone、つまり iPhone XS や XR以降が必要です。

iOS 15 はこの秋に一般提供予定。

なお写真中のテキストをコピーしたり、写っているものを判別する機能そのものは、たとえば Google アプリや Google Photoアプリの Google Lensボタンを押せば iPhone でも利用できます。ポケモンの名前も教えてくれますが、オフラインでは使えません。

2021-06-10 03:58:51