[引用はこちら/Reference]
Kazuki Ichii, Kaori Ikematsu, Toshiya Isomoto, Kunihiro Kato, and Yuta Sugiura. 2026. Detecting and Recovering from Human Errors using Multimodal Sensor Data Obtained by Smartphone. In Companion Proceedings of the 31st International Conference on Intelligent User Interfaces (IUI ’26 Companion). Association for Computing Machinery, New York, NY, USA, 22–25. [DOI]
近年，スマートフォンやタブレットなどのタッチスクリーンデバイスが日常生活に深く浸透している．しかし，意図しないタッチや選択ミスにより，ユーザ体験や操作効率が損なわれることが課題となっている．本研究では，ユーザの操作ミスからの迅速な復帰を可能にするUI設計に向けて，マルチモーダルセンサデータを活用したタッチ単位の操作ミス判定手法を提案する．具体的には，動作（加速度・角速度・地磁気），視線座標，表情，タッチ座標，UI要素の中心座標などを統合し，機械学習により正誤判定を行うシステムを構築した．15名の被験者による実験（15,636件のタッチアップイベント，うち2,700件がエラー）において，個人モデルではXGBoostにより高い性能（テキスト入力：ROC-AUC 1.00，精度0.99；画像選択：ROC-AUC 1.00，精度0.99）を達成した．さらに，leave-one-user-out（LOUO）によるユーザ間汎化では，RNNがテキスト入力において高い性能（ROC-AUC 0.99，精度0.96）を示し，画像選択においては中程度の性能（ROC-AUC 0.68，精度0.68）を示した．また，段階的な個人適応およびカメラ非使用時のアブレーションを通じて，各モダリティの寄与を分析した．本手法は，ユーザの負担を増やすことなく操作ミスからの自然な復帰を支援するUIの実現に寄与するものである．
Touchscreen devices like smartphones and tablets are ubiquitous, yet unintended touches and selection errors still impair user experience. We present a multimodal method to detect touch-level human errors from motion, touch, gaze, and facial cues on smartphones, and to trigger lightweight, user-controlled recovery suggestions. In a study with 15 participants (15,636 touch-up events; 2,700 labeled errors), our models achieved strong performance in both personalization and cross-user settings, measured by ROC-AUC. With personalized models, XGBoost reached near-ceiling performance (Text: ROC-AUC 1.00, Acc. 0.99; Image: ROC-AUC 1.00, Acc. 0.99). For cross-user generalization under leave-one-user-out (LOUO), an RNN achieved high performance on text typing (ROC-AUC 0.99, Acc. 0.96) and moderate performance on image selection (ROC-AUC 0.68, Acc. 0.68). We further report stepwise personalization trends and a camera-off ablation to clarify modality contributions, and discuss implications for practical recovery-oriented mobile UIs.