AI携帯電話

• Apple Intelligence

• Samsung OneUI

• Android

Apple

https://github.com/apple/ml-ferret

Appleは、モバイルユーザーインターフェース（UI）の理解と対話に特化した新しいモデル「Ferret UI」をリリースしました。Ferret-UIは、縦長のアスペクト比や小さなUI要素を処理するために「任意の解像度」サポートを統合することでFerretを強化しています。アイコン認識、テキスト検索、ウィジェットリストの作成などのタスクを実行できます。このモデルは包括的なデータセットで訓練され、他のUI理解モデルと比較してベンチマークテストを行い、初歩的および高度なUIタスクで優れた性能を示しました。

Apple Ferret UI

You can read the full paper here. https://arxiv.org/pdf/2404.05719

The paper "Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs"

Updates:

AppleとOpenAIは、OpenAIの技術を次期iOS 18に統合する正式な合意に達したと報じられています。この提携により、iPhoneの新OSにChatGPT機能が組み込まれ、デバイスのAI能力が強化されます。この契約は来月開催されるAppleのWorldwide Developers Conference（WWDC）で発表され、iOS 18向けの新たなAI機能も公開される予定です。

Apple Closes in on Deal With OpenAI to Put ChatGPT on iPhoneBloomberg

Ferret-UI 2

https://arxiv.org/pdf/2410.18967

Samsung OneUI

Samsungは、2024年初頭に最初のAI搭載スマートフォンを発売し、新しいS24シリーズ/OneUI 6.0に幅広いAI機能を導入しました。これらの機能には、メッセージ生成、リアルタイム翻訳、ウェブページ要約、ボイスメモ要約、強化された画像編集などが含まれます。OneUI 6.1のアップデートにより、これらのAI機能はより多くの旧モデルにも拡張されました。