プロジェクト

現在の主なプロジェクト

  • ヘッドマウントディスプレイを用いた視知覚矯正・補助フレームワークの構築
    • 科学研究費補助金 基盤研究(A) 18H04116 (2018.04 – 2022.03)
    • 代表者: 清川 清
    • 分担者: 酒田 信親, 河合 紀彦, 佐藤 智和 (滋賀大), 不二門 尚 (阪大), 神田 寛行 (阪大), 長井 志江 (NICT)
    • 概要: 網羅的・統一的に視覚拡張(AV: augmented vision)の方法論を確立するために、眼機能・脳機能のレベルから視知覚を生み出す全プロセスを見つめ汎用的AV基盤技術を開発する。そのため、視知覚を生じる一連のメカニズムをデジタル画像処理における射影変換や時空間画像フィルタのアナロジーで捉え、その逆問題を解く計算論的アプローチにより、汎用的な枠組みで典型的な非定型視知覚の体験者に定型と等価な視知覚を生じさせること(視覚矯正・補助)を目指す。具体的には、眼位矯正HMD、網膜像矯正HMD、視覚過敏補助HMD(スマートサングラス)を開発する。本研究で得られる高精度視線推定、実時間収差補正フィルタ、画素単位で調光可能な小型HMDなどの技術は、任意の視知覚を自在に生み出す汎用的AVの基盤となる。また、適切な矯正・補助手段がない視知覚症状に対して手軽で正確な検査法の実現、発生メカニズムの解明、将来の新たな自助手段の提供などにつながり、医学的・社会福祉的な意義も極めて大きい。
  • 次世代拡張現実感のためのLight Field IO技術の確立
    • 科学研究費補助金 基盤研究(A) 15H01700 (2015.04 – 2019.03)
    • 代表者: 加藤 博一
    • 分担者: 浦岡 行治, 清川 清, 太田 淳
    • 概要: 次世代情報インタフェースとして、Light Field Display やLight Field Camera といった新しい光学デバイスが注目を集めるようになり、その研究は世界中で活発に行われるようになってきた。本研究課題で取り上げるLight Field IO とは、このLight Field Display とLight Field Cameraの光学素子を一体化させて作られたもので、これまでにない画期的な光学デバイスである。実用化も進んできた拡張現実感に次なるブレークスルーを与える技術について検討を行った結果、このLight Field IO 技術の発想に至った。本研究では、このLight Field IO 技術を用いた次世代拡張現実感の実現を目指し、その技術の確立を目的とする。その上で、Light Field IO 技術を用いた新たな拡張現実感システムを試作し、その有用性と優位性を実証する。
  • 修復と観測の融合に基づく隠消現実感の高度化
    • 科学研究費補助金 基盤研究(B) 18H03273 (2018.04 – 2022.03)
    • 代表者: 河合 紀彦
    • 分担者: 清川 清, 酒田 信親, 佐藤 智和 (滋賀大), 中島 悠太 (阪大)
    • 概要: 本研究課題では、現実空間を撮影したリアルタイムのカメラ映像からユーザの指定する実物体を視覚的に違和感なく消去する隠消現実感(DR: Diminished Reality)を実現するための基盤技術の構築を目指す。隠消現実感を実現するアプローチは、対象物体の背景を観測せず画像修復(Image Inpainting)に基づき尤もらしい背景画像を合成するアプローチと、対象物体の背景の観測に基づきImage-Based Rendering(IBR)により背景画像を合成するアプローチに大別されるが、本研究課題では、各従来手法で高品質な結果が得られなかったシーンに対処する。具体的には、背景画像・形状が複雑である、入力画像群の光学・幾何特徴が均一でない、画像中に占める対象物体が大きい、対象物体が動くといった、より多様かつ現実的な条件に対処する。これを実現するため、両アプローチのさらなる進化、両アプローチの融合による隠消現実感の高度化を行うとともに、その応用の評価を行う。
  • 非拘束インタラクションを実現する風力を用いた空中遭遇型力触覚提示に関する研究
    • 科学研究費補助金 基盤研究(B) 17H01780 (2017.04 – 2020.03)
    • 代表者: 黒田 嘉宏 (阪大)
    • 分担者: 吉元 俊輔 (阪大), ラサミー ポチャラ (阪大), 清川 清, 大城 理 (阪大)
    • 概要: 近年、ユーザが現実空間の様々な場所を歩き回りつつ映像とインタラクションする AR 環境が身近となっているが、力触覚フィードバックがなく現実感に乏しい。本課題では、力触覚提示デバイスを身につける、あるいは手に持つ必要がなく、さらにデバイスの作業空間に制限がない「非拘束インタラクション」を実現する。ユーザに先回りして反力を提示する遭遇型デバイスの問題として、デバイスが空間に固定(接地)されること、触感を変えることが難しいことが挙げられる。本課題では、通称ドローンと呼ばれる UAV を用いた空中遭遇型の力触覚提示を提案し、空中で効果的に多様な触覚、力覚、形状を提示する方法論を確立する。
  • 持続的な4次元AR環境の構築
    • 科学研究費補助金 基盤研究(B) 16H02858 (2016.04 – 2019.03)
    • 代表者: 間下 以大 (阪大)
    • 分担者: 浦西 友樹 (阪大), 黒田 嘉宏 (阪大), ラサミー ポチャラ (阪大), 清川 清
    • 概要: 4 次元に変化し続ける実環境の計測とAR 環境の構築を継続的に行い、シミュレーションによって計測の予測や欠損の補完をすることで、スロー再生、計測範囲外の未来、過去など、4次元AR体験が可能でかつ、AR 環境の時間的、幾何学的、光学的プロパティを編集可能なAR システムの構築を目的とする。一般的なAR システムは時間的、空間的に変化しない環境を仮定している.対して本研究計画では、ユーザがAR 環境を4次元に操作し、過去や未来の世界がシミュレーションされ、実環境に整合して提示される。本研究ではこのような現実感を損なうことなく現実では体験できない4次元環境を提示し、かつユーザが環境を4次元に編集できる、画期的なARシステムを実現する。
  • 人工知能を利用した人工網膜の機能向上
    • 科学研究費補助金 基盤研究(C) 18K09445 (2018.04 – 2021.03)
    • 代表者: 神田 寛行 (阪大)
    • 分担者: 清川 清
    • 概要: 網膜色素変性に対する有効な治療方法は未だ確立されていない。人工網膜は網膜色素変性で失われた視覚を人工的に再建する医療機器である。眼鏡枠に設置したカメラで外界の画像を取得し、その情報を基に網膜に電気刺激を与えて人工的に神経活動を発生させる。既に臨床試験が実施され、対象物の位置の把握ができるようになる等その有効性が確かめられている。しかし現状の人工網膜は「解像度が低いこと(49画素)」や「色情報を再現できない」ことから、人工網膜の視覚だけでは日常生活をおくる上で不十分である。そこで本研究は、人工知能技術「ディープラーニング」を用いて人工網膜の機能向上を行うことを目的とする。具体的にはディープラーニングで元画像に映る対象物を音声で患者に伝えるシステムや、同技術を用いて元画像から対象物のみをハイライトさせることで人工網膜の見えやすさを向上させる画像処理法の開発を行う。本研究を通じて患者の生活に役立つ人工網膜の開発を目指す。
  • 実世界の仮想化に基づく高臨場VR型防災教育システムの開発
    • 戦略的情報通信研究開発推進事業 (SCOPE) 重点領域型研究開発(ICT重点研究開発分野推進型 3年枠) (2018.04 – 2021.03)
    • 代表者: 佐藤 智和 (滋賀大)
    • 分担者: 畑山 満則 (京大), 清川 清, 中河 嘉明 (国立環境研究所), 姫野 哲人 (滋賀大), 田中 琢真 (滋賀大), 岩山 幸治 (滋賀大)
    • 概要: 火災・洪水・土砂災害などの災害を対象とした防災教育における次の2点の課題を解決することを目的とする。1) 個々の住民に居住環境に応じた適切なリスク判断をさせるための教材がない、2) VR型防災教育システムにおける現実感が乏しく防災教育の効果が低い。そこで、VR 型防災教育システムの構築を前提に、居住環境を仮想化するための技術開発、避難経路上のリスクを算出するための技術開発、学習効果の高い高臨場感 VR 型防災教育システムの開発を行い(フェーズ I)、これらを統合した試作システムによって防災教育の効果を検証する(フェーズ II) 。
  • 協調作業における視線情報の可視化
    • 東北大学 電気通信研究所 共同プロジェクト研究 H29/A19
    • 代表者: 清川 清
    • 分担者: 北村 喜文 (東北大), 高嶋 和毅 (東北大), 酒田 信親
    • 概要: 他者の視線の動きを把握することは協調作業に有用であることが指摘されている。本研究では、共有スクリーンに議論の対象となる情報を提示する協調作業において、参加者が今現在どこに注目しているのか、過去にどこに注目していたのかなどを示すことで、協調作業の質が改善するのかを定量的に評価する。同時に、最適な視線情報の可視化方法についても検討する。

過去の主なプロジェクト

  • 角膜フィードバックARの実現
    • 科学研究費補助金 基盤研究(B) 15H02738 (2015.04 – 2018.03)
    • 代表者: 清川 清
    • 分担者: 間下 以大 (阪大), 中澤 篤志 (阪大)
    • 概要: 光学シースルー式(OST)頭部搭載型ディスプレイ(HMD)を用いた拡張現実(AR)において、角膜イメージングによりユーザの実際の「見え」をARシステムのメインループの一部として取り込むことで、ユーザ体験を自動的に最適化する、まったく新しいARの構成法「角膜フィードバックAR」を実現する。角膜フィードバックARで初めて実現可能となる高度な機能として、眼球位置の実時間計測による(HMD映像が意図した位置からずれて見える)位置ずれの根本的解消、実環境とHMD映像のコントラストなどの自動評価、ユーザが何にどの程度注目しているかに基づく適応的情報提示、などを開発する。これらに適した新たな角膜像解析手法、最適なカメラ配置を備えた新たなOST-HMD、などを開発し、角膜フィードバックARを利用する際の要素技術を確立する。
  • 風力による空中拘束型力覚インタフェース
    • 科学研究費補助金 挑戦的萌芽研究 15K12082 (2015.04 – 2017.03)
    • 代表者: 竹村 治雄 (阪大)
    • 分担者: 黒田 嘉宏 (阪大), 清川 清, 大城 理 (阪大)
    • 概要: 本研究は、デバイスから風を出し、その反力をユーザに返すことで、バーチャルの物体の硬さや重さとしてユーザに力を感じさせる、あるいは誘導するための方向をユーザに力で教える手法の開発を行いました。特に利便性を高めるためにユーザが手指に装着することなく、手に持つだけで使用できるデバイスを開発し、それによってユーザに水平方向と回転方向について8割以上の正確さで方向を伝えることができ、特に回転方向については高い正確性と迅速な情報伝達が可能であることが確認されました。
  • 道具による把持物体操作のための疑似力覚提示に関する研究
    • 科学研究費補助金 挑戦的萌芽研究 15K12083 (2015.04 – 2017.03)
    • 代表者: 黒田 嘉宏 (阪大)
    • 分担者: 清川 清, 竹村 治雄 (阪大), 吉元 俊輔 (阪大)
    • 概要: 本研究は、より軽量で使いやすい力覚提示デバイスの開発を目的として、ユーザが装着する必要がなく手に持つだけで道具操作によりバーチャルの重さ体験を可能とする新たな方法論の開発を行いました。アプローチとして、手首や腕などで重さを支える並進力の再現は行わず、指に生じる皮膚感覚や手に生じる深部感覚のみを再現することとしました。具体的には、単一のモータにより駆動可能な回転機構により小型で装着不要のデバイスにより道具先端の重さをバーチャルで再現可能なデバイスを実現し、さらに道具操作におけるバーチャルの重量と現実の重量の関係を初めて明らかにしました。
  • 携帯端末を用いた in-situ AR環境構築に関する研究
    • 科学研究費補助金 基盤研究(B) 24300048 (2012.04 – 2015.03)
    • 代表者: 竹村 治雄 (阪大)
    • 分担者: 清川 清, 間下 以大 (阪大), 中澤 篤志 (京大)
    • 概要: 本研究計画では、ユーザが環境にいながらにして、物体や環境の復元、編集などを行う、in-situ AR 技術の開発を行った。復元した環境の編集を行うため、物体の幾何学的な性質である物体の形状だけでなく、テクスチャや光源環境といった、光学的な性質の推定手法を開発した。また、物体の編集を行うためのユーザインタフェースの開発を行った。研究を遂行した結果、時間に伴う環境の変化によって、カメラの位置推定や環境の復元が不安定になることがわかったため、それらの解決手法についての研究を行った。
  • ウェアラブル環境における視覚情報支援のための超広視野頭部搭載映像装置に関する研究
    • 科学研究費補助金 基盤研究(B) 22300043 (2010.04 – 2014.03)
    • 代表者: 清川 清
    • 分担者: 間下 以大 (阪大)
    • 概要: ウェアラブル環境で広視野への情報提示が可能なシースルーHMDを開発した。再帰反射性と光学透過性を両立する(再帰透過)新たなスクリーンを開発し、従来手法をウェアラブル環境に対応させた。また、超広視野での視線検出と利用者視点映像撮影を同時に実現する、超広視野頭部搭載ステレオアイカメラを開発した。さらに、実現した頭部搭載デバイスを用い、実際に広視野の情報提示の有効性や適切な情報レイアウト手法などについて評価実験を行った。本研究の成果は今後のウェアラブル映像機器の研究開発に有益な指針を与える。
  • 超広視野頭部搭載型映像装置を用いた協調作業に関する研究
    • 科学研究費補助金 特定領域研究 19024054 (2007 – 2008)
    • 代表者: 清川 清
    • 分担者: 竹村 治雄 (阪大)
    • 概要: 超広視野頭部搭載型ディスプレイ(Head Mounted Display, HMD)に関して、試作HMDであるHyperbolic Head Mounted Projective Display(HHMPD)のためのGPUを用いた高速なコンピュータグラフィックスの描画手法を開発した。また、 同装置を用いてVRウォークスルーシステムを開発して学術展示などで専門家より高い評価を得た。一方、超広視野頭部搭載型カメラ(Head Mounted Camera, HMC)に関して、双曲面ハーフミラーの形状に関する種々のパラメタの関係式を導き、それらのトレードオフについて検討した。また、求めた関係式を用いてミラーパラメタの選択とその結果得られる視体積形状や視野角などの情報を実時間で確認・検討可能なシミュレーションプログラムを開発した。さらに、実際に単眼の試作システムを開発し、利用者視点での広視野映像を撮影できることを確認した。さらに、得られた利用者の眼球映像を用いた実時間の視線検出システムの開発を行った。
  • 適応的かつ連続的な学習支援のためのユーザコンテキスト認識手法に関する研究
    • 科学研究費補助金 基盤研究(C) 19500148 (2007 – 2008)
    • 代表者: 竹村 治雄 (阪大)
    • 分担者: 清川 清, 間下 以大 (阪大)
    • 概要: 学習システム自身がユーザ自身やユーザ周囲の状況(コンテキスト)を的確に把握し、コンテキストに応じて学習コンテンツの提示内容や提示手法を動的に変更することで移動中の連続した学習を支援する、適応的かつ連続的な学習支援システムを対象とした研究開発を行った。
  • 複数の仮想空間をシームレスに接続するマルチビューポートインタフェースに関する研究
    • 科学研究費補助金 若手研究(B) 18700122 (2006 – 2007)
    • 代表者: 清川 清
    • 概要: 本研究では、3次元仮想空聞において、手が届かないあるいは見えない位置にある物体の移動や、そのような地点へのユーザ自身の移動を効率的に行うために、本来の描画領域(メインビューポート)とは別に、仮想空間内に枠を作成してその枠内を新たなビューポート(サブビューポート)として利用する新しいインタフェースについて研究した。

これら以外にも、様々なプロジェクトを実施しています。例としてスタッフの前任研究室(下記)の研究業績もご確認ください。これらに関連した研究を新たに実施することもできます。興味のある方はご連絡ください。

  • 大阪大学 竹村研究室のホームページ(清川の前所属)
  • 奈良先端科学技術大学院大学 旧横矢研究室のホームページ(佐藤、中島、河合の前所属)