AR Haptic-Audio ConversionAR 触覚・音響変換

Smartphone AR usually shows a product; this project lets you feel and hear it instead. Haptic and audio cues are generated from the AR model so that users can understand a product’s shape and material without relying on vision.

This work is the outcome of my research internship at Mercari R4D, carried out with the R4D researchers.

スマートフォンARは通常「見せる」ためのものですが、このプロジェクトでは商品を「触って聞く」ことができます。ARモデルから触覚と音のフィードバックを生成し、視覚に頼らずに商品の形や素材を理解できるようにします。

本研究は、メルカリ R4D でのリサーチインターンとして、R4D の研究者と共同で行った成果です。