資生堂、顔形状3次元データから表情を解析するアプリケーションの開発に成功

資生堂は、長年蓄積してきた顔や表情の研究知見とデジタル技術を組み合わせ、顔形状3次元(3D)データから表情を解析できるタブレット端末用のアプリケーションソフト(以下アプリ)の開発に成功しました。顔形状3Dデータを用いて目のサイズ、口角間距離、頬の高さなどを簡便かつリアルタイムに測定することで、表情および顔のパーツの形状変化を数値で表し、笑顔の度合いやお手入れ効果などをどこでも簡単に、お客さまご自身で評価することが可能となります。
本技術は当社の様々な研究に活用される他、横浜・みなとみらいにある研究開発拠点「資生堂グローバルイノベーションセンター（呼称「S/PARK」エスパーク）」のS/PARK Studioが開催する、肌と表情のトレーニングに特化した知識・技術を学ぶことのできる独自プログラム”S/PARK Studio 美活ジム(以下美活ジム)※1”にて、お客さまご自身で表情の変化を確認する「美活ジムアプリ」として展開します。
今後も、当社が長年培ってきた研究成果と最新の技術を組み合わせながら、世界をより良くする新たな価値を創出していきます。本研究成果は、デジタル領域の変革を加速するために2021年1月に新たに設置した「デジタルトランスフォーメーションオフィス(Digital Transformation Office; DTO)」によるものです。

※1：美活ジムの詳細は後述。

図1：顔形状3Dデータの取得例(ページ下部に動画あり)

Download Small Image[24.5KB] Download Large Image[213KB]

図2：美活ジムアプリ(使用画面の一例)

Download Small Image[32.4KB] Download Large Image[728KB]

開発背景

当社は、長年にわたる顔や表情の研究のなかで、様々な手法で顔形状や表情の解析を行ってきました。従来、簡便に取得可能な2次元(2D)データを用いた解析なども実施してきましたが、より精査な解析を行うためには、平面的な2Dデータだけではなく、頬の高さなど立体的な3Dデータの活用が有用です。しかし通常、顔3Dデータは研究施設にある専用の機械を用いて取得し、さらには専門知識をもつ研究員による解析が必要なため、一般のお客さまがご自身で顔3D形状や3D形状に基づいた表情の変化を精緻に理解することは困難でした。そこで、お客さまご自身で自分の表情変化を立体的に確認する方法を提供するため、市販のタブレットに搭載されているカメラを用いて簡便に表情を解析できるアプリの開発に着手しました。

アプリ概要

今回当社が開発したアプリでは、顔の3D特徴点データをリアルタイムで取得※2し、3Dデータを用いて物理的な口角間距離、目のサイズ、口角と目尻の距離、頬の高さなどをリアルタイムで計測することで顔の表情変化を数値で分かりやすく表現することができます。このアプリを用いて自分の表情を数値で確認することで、笑顔の度合いやお手入れ効果などをどこでも簡単に、お客さまご自身で評価することが可能となります。また、従来から当社が取り組んできた2Dの顔形状データから笑顔レベルを推定し、同時に印象指標を算出する技術と、今回の3Dデータから表情を解析する技術を組み合わせることで、これまで以上に個人の顔特徴を活かした見た目の印象向上に繋がることが期待されます。
本技術の応用先の第一弾は、肌と表情のトレーニングに特化した知識・技術を学ぶことのできる独自プログラム“美活ジム”において「美活ジムアプリ」として展開します。プログラムの前後で「美活ジムアプリ」にて測定を行うことで、お客さまご自身でプログラムによる顔形状・表情への効果を客観的に評価いただくことができます。鏡などによる定性的な評価に、こうした定量的な評価を加えることで、お客さまの理解度・満足感・モチベーション向上にも貢献できると考えています。

※2：Apple社のiPhone, iPadの一部モデルに搭載されている3D顔認識による顔認証技術（Face ID）で用いられている深度センサーで取得可能な顔の3D特徴点データを活用。

S/PARK Studio 美活ジム

「美活ジム」は、資生堂研究員が開発した研究結果に基づく肌と表情のためのプログラムです。横浜・みなとみらいにあるS/PARKで、一般のお客さま向けに開催しています。美活ジムでは、研究員やビューティーコンサルタントが講師を務め、スキンケアの基礎から表情のケア、その土台となる顔のセルフエステや表情筋のトレーニング方法、さらには笑顔のつくり方など、一生役に立つ肌・顔のお手入れ方法や知識をお伝えします。昨年10月よりサービスを開始しており、5回目となる7月17日(土)のレッスンから、この「美活ジムアプリ」をレッスンに活用していきます。

図3：美活ジムレッスン風景(イメージ)

Download Small Image[36.1KB] Download Large Image[73.3KB]

＜S/PARK＞
■住所：神奈川県横浜市西区高島1-2-11
■開館時間: 9:00～21:00（土曜・祝日は9:00～18:00） 日曜定休日
■S/PARK公式ウェブサイト https://spark.shiseido.co.jp/?rt_pr=tri79
■S/PARK公式インスタグラム ＠shiseidospark
※営業時間はコンテンツによって異なります。
※現在、営業時間・内容を変更して営業しています。

＜S/PARK Studio 美活ジム＞
■S/PARK Studio美活ジム公式ウェブサイト https://sites.google.com/view/bikatsugym/
■S/PARK Studio美活ジム公式インスタグラムID:shiseido_bikatsugym
■7/17(土)レッスンのお申込み(※有料) https://peatix.com/event/1967149?lang=ja ※定員になり次第締め切り