Isogawa Lab,

Keio University



Research Projects

個人情報に繋がりやすい情報を活用しない人物状態推定

Human behavior estimation using information that less lead to personal identification


あらゆる人が安心してAI社会の恩恵を受けられる社会の実現を目指し，「個人特定に繋がりやすい情報を活用しない，人物状態推定システムの構築」に取り組みます．具体的には，人の顔や衣服を含んだ画像情報や，ユーザの声色・会話内容等の個人が容易に特定可能な情報を活用せず，シルエット画像や，意味情報を含まない信号波等の「漏洩しても個人の特定に繋がりにくい計測情報」のみを入力とした人物状態推定技術を提案します．

Towards a society in which people can be benefited from AI technologies without suffering any privacy issues, this project aims to build a human behavior estimation using information that less lead to personal identification. In particular, this project proposes a human behavior estimation that does not use information that leads to personal identification (e.g., images including users' faces and clothes, users' voices, or conversations). Instead, this project uses input that includes less personal information such as silhouette images, or signal waves without semantic information.

Publications

Award
  1. （MIRUフロンティア賞）川島 穣, 柴田 優斗, 五十川 麻理子, 入江 豪, 木村 昭悟, 青木 義満, "音響信号を用いた人物の3次元姿勢推定", 第25回 画像の認識・理解シンポジウム, 2022.
  2. （CVIM奨励賞．CGVI研究会 優秀研究発表賞および学生発表賞とも同時受賞）堀 涼介, 五十川 麻理子, 三上 弾, 斎藤 英雄, "イベントカメラを用いた三次元人物姿勢および形状推定", 情報処理学会 コンピュータビジョンとイメージメディア研究会, 2022年11月研究会.
  3. （MIRUデモ発表賞）出口 裕之, 池田 航, 堀 涼介, 五十川 麻理子, 斎藤 英雄, "EventPointMesh in Realitime: イベント情報のみを用いた三次元人物姿勢および形状のリアルタイム推定", 第26回 画像の認識・理解シンポジウム, 2023.
Talks
  1. （Invited Talk, CVPR2023採録による）Yuto Shibata, Yutaka Kawashima, Mariko Isogawa, Go Irie, Akisato Kimura, Yoshimitsu Aoki. "Listening Human Behavior: 3D Human Pose Estimation with Acoustic Signals", 第26回 画像の認識・理解シンポジウム, 2023.
  2. （Invited Talk, CVPR2023採録による）Yuto Shibata, Yutaka Kawashima, Mariko Isogawa, Go Irie, Akisato Kimura, Yoshimitsu Aoki. "Listening Human Behavior: 3D Human Pose Estimation with Acoustic Signals", 第22回情報科学技術フォーラム, 2023.
Journal Papers
  1. Ryosuke Hori, Ryo Hachiuma, Mariko Isogawa, Dan Mikami, and Hideo Saito, "Silhouette-based 3D Human Pose Estimation Using a Single Wrist-mounted 360° Camera", IEEE Access, vol. 10, pp. 54957-54968, 2022.
Conference Proceedings
  1. Yuto Shibata, Yutaka Kawashima, Mariko Isogawa, Go Irie, Akisato Kimura, Yoshimitsu Aoki. "Listening Human Behavior: 3D Human Pose Estimation with Acoustic Signals", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.13323-13332, 2023. (acceptance rate: 25.78%) [Project page]
  2. Kotaro Amaya, Mariko Isogawa. "Adaptive and Robust mmWave-based 3D Human Mesh Estimation for Diverse Poses", IEEE International Conference on Image Processing (ICIP), to appear, 2023.
Japanese Conference Papars
  1. 川島 穣, 柴田 優斗, 五十川 麻理子, 入江 豪, 木村 昭悟, 青木 義満, "音響信号を用いた人物の3次元姿勢推定", 第25回 画像の認識・理解シンポジウム, 2022. (MIRUフロンティア賞)
  2. 堀 涼介, 五十川 麻理子, 三上 弾, 斎藤 英雄, "イベントカメラを用いた三次元人物姿勢および形状推定", 情報処理学会 コンピュータビジョンとイメージメディア研究会, 2022年11月研究会. (CVIM奨励賞．CGVI研究会 優秀研究発表賞および学生発表賞とも同時受賞)
  3. 柴田 優斗, 川島 穣, 五十川 麻理子, 入江 豪, 木村 昭悟, 青木 義満, "音響信号を用いた人物の3次元姿勢推定", 電子情報通信学会 メディアエクスペリエンス・バーチャル環境基礎研究会（MVE）, 2023年1月.
  4. 天谷 幸太郎, 五十川 麻理子, "ミリ波信号を用いた人物姿勢推定における点群中の人物領域抽出によるノイズ耐性向上", 慶應義塾大学AI・高度プログラミングコンソーシアム AICカンファレンス, 2023年3月.
  5. 堀 涼介, 五十川 麻理子, 三上 弾, 斎藤 英雄, "イベント情報のみを用いた三次元人物姿勢および形状推定", 第26回 画像の認識・理解シンポジウム, 2023. (ロングオーラル発表，上位約16%)
  6. Kotaro Amaya, Mariko Isogawa, "Adaptive and Robust mmWave-Based 3D Human Mesh Estimation for Diverse Poses", 第26回 画像の認識・理解シンポジウム, 2023. (ショートオーラル発表，上位約46%)
  7. 新井 達紀, 櫻田 国治, 五十川 麻理子, 杉本麻樹, "合成データセットを用いた赤外線画像による3次元人物姿勢推定", 第26回 画像の認識・理解シンポジウム, 2023.
  8. 出口 裕之, 池田 航, 堀 涼介, 五十川 麻理子, 斎藤 英雄, "EventPointMesh in Realtime: イベント情報のみを用いた三次元人物形状のリアルタイム推定", 第26回 画像の認識・理解シンポジウム, 2023. (MIRUデモ発表賞)