今春修了予定の9名のM2のために送別会を行いました。修了おめでとうございます！

2022年3月1日付でMonica Perusquia-Hernandez助教が着任しました。

12月19日、20日に開催されたUbiquitous Wearable Workshop (UWW) 2021で、M2の河野さん、M1の大塚さんが口頭発表を行いました。 発表タイトルは以下の通りです。 ▪️河野真由香,磯山直也,内山英昭,酒田信親 (龍谷大学),高松淳,清川清 「曲面の起伏変化を用いた生物らしさを知覚する動作に関する基礎的検討」 ▪️大塚真帆,磯山直也,内山英昭,清川清 「センサ配置の自動校正が可能な二酸化炭素濃度のAR可視化システムの提案」 河野さんの発表は最優秀学生プレゼンテーション賞を受賞しました。 おめでとうございます！ ▪️受賞のことば この度はこのような賞をいただき大変嬉しく思います。ご指導いただいた先生方、ご協力いただいたみなさまに感謝いたします。まだ課題の多い研究ではありますが、よりよい研究成果を出せるようにこれからも精進していきます。

萩森君 (D2) が　11月29日～11月30日にオンラインで開催されたSIGHaptics (日本バーチャルリアリティ学会ハプティクス研究委員会)で、座面の高さを変えることが自身の姿勢の認知をどう変化させるかを明らかにする研究を発表しました。 発表タイトル：高さ調節が可能な椅子に対する座位姿勢が立位感と姿勢認知に与える影響 登壇者コメント：立っている感覚 (立位感)が提示できればVR体験はより良くなるだろうという提案についての研究発表でした。素朴なアイデアですが実験として検証することは困難を極めていました。今回いただいたご意見を参考に、より厳密な実験を行っていきたいと考えています。

[募集は2022年1月31日で締め切りました。多数のご応募ありがとうございました。] 2022年2月28日（月）〜3月2日（水）の期間でスプリングセミナーを開催します。具体的には以下のような内容です。 興味のある方は下記からお申込みください。 http://isw3.naist.jp/IS/PubWG/Spring2022/index-ja.html AR Foundationとスマートフォンを用いたARアプリの開発 AR試着アプリ 発言の文字起こしアプリ ARオブジェクト配置アプリ AR家具配置アプリ ARドラムセットアプリ M5Stack Grayの9軸センサやディスプレイを用いた動作認識アプリなどの開発 ボールを投げた際の球種の判別 着座時の読書や頬杖などの状態の判別 空中に描いた文字の判別 ウェブスクレイピングによるバス時刻確認アプリ

学生によるハイレベルなVRコンペティションである IVRC に当研究室のM1による3チームがチャレンジし、大活躍しました。全81作品中26作品のみが選出されたSEED STAGEに3チームすべてが進出するだけでも栄誉なことですが、さらに2チームが上位の賞を受賞し、歴史的な活躍となりました。M1のみなさん、おめでとうございます！ 人間は液体と固体の両方になり得るか？（チーム名:いったんもめん） 日本バーチャルリアリティ学会大会原稿はこちら 川上記念賞(総合3位) 受賞 「液体のように腕が変形するありえない感覚を触覚と視覚をうまく組み合わせて実装していた点を高く評価しました。」 なぎさんぽ（チーム名:SeasideWalker） 日本バーチャルリアリティ学会大会原稿はこちら 審査委員会特別賞 受賞 「足裏への感覚提示で砂浜の感覚が非常にリアルに再現されていた。単一の感覚ではなく、段階的に複数の感覚を再現しており、そのデバイスのクォリティも高かった。」 FinGun （チーム名:Guns N’ Fingers） 日本バーチャルリアリティ学会大会原稿はこちら GREE VR Studio Lab 白井先生評 「好きよコレ。作った人はデバイス部分ナシでいいからSideQuestなりでまともに遊べるAPK配って欲しい。藤子不二雄先生なりに体験していただきたいが、それ以前に指で空気銃を作ってeSportsできるぐらいのゲームシステムをきちんと作って欲しい。空気弁当売りは秀逸なのでそのプレイヤーに売ろ。」

胡 瀟丹 (D1) さんが、科学技術振興機構 (JST) 次世代研究者挑戦的研究プログラム (SPRING)　の「先端科学技術融合分野におけるイノベーティブ博士人材支援プロジェクト（NAIST Touch Stone）」に採択されました。 研究課題：「自閉スペクトラム症の視覚過敏のための補助スマートサングラスの開発」 胡さんは、大塚敏美育英奨学財団奨学生にも採択されています。

2021年8月から10月にかけて、以下の4名のインターンがインターンシップ（体験入学）を行いました。 渡邉 珠海さん(同志社大学)は、前半ではUnity、ARCore、Mayaを用いてARドラムのスマホアプリを開発しました。また、後半ではRaspberry pi4とPythonを用いてウーパールーパーのための自動餌やり機を開発しました。 土橋 有理さん(奈良女子大学)は、UnityとVIVE Proを用いてビッグライトとスモールライトを再現するVRシステムを開発し、さらにシューティングゲームを開発しました。 堀 光希君(大阪府大高専)は、UnityとOculus Quest 2を用いて、ピタゴラスイッチのような仕掛けをエディットできるVRシステムを開発しました。 和田 有里菜さん(京都女子大学)は、UnityとOculus Quest 2を用いて、絵画や3Dオブジェを鑑賞できるVR美術館を開発しました。 みなさん、インターンシップで得たものを活かして今後も頑張ってください！ ★渡邉さん ★土橋さん ★堀くん ★和田さん，

修了生の東君の論文が Journal of Robotics and Mechatronics に採録されました。 VR環境でアバタの顔や視線を参加者に頻繁に向けるよう視覚的に変調することで参加者が会話に参加していると感じる感覚を増幅させられることを明らかにしました。 https://doi.org/10.20965/jrm.2021.p1013 (The paper PDF is open access) Kenta Higashi, Naoya Isoyama, Nobuchika Sakata, and Kiyoshi Kiyokawa, “Manipulating Sense of Participation in Multipartite Conversations by Manipulating Head Attitude and Gaze Direction”, Journal of More …

奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 サイバネティクス・リアリティ工学研究室では、助教を公募しています。 HCI（ヒューマンコンピュータインタラクション）、心理学・認知科学、人間拡張、VR（バーチャルリアリティ）、AR（拡張現実）、および関連分野について幅広く募集しています。女性・外国人向けスタートアップ研究費もあります。着任時期は1月以降となっていますが、応相談です（4月着任希望の方ももちろん応募いただけます）。 下記の公募要領をご覧いただき、2021年10月29日までにご応募ください。 先端科学技術研究科 情報科学領域 サイバネティクス・リアリティ工学分野　教員（助教）公募

中野萌士君(D2)の論文が IEEE Transactions on Visualization and Computer Graphics (TVCG) に採録されました。これは IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2021 の Journal Track に採録されたもので、同会議で口頭発表予定です。本論文は、VR用ヘッドマウントディスプレイで見過ごされていた下方向の視野を再現するとユーザが感じる臨場感や自分がどこにいるかという自己位置感覚が向上することを示したものです。下方向の視野に自己アバタの姿が見えていることが好影響を与えたと考えられ、様々なVRシステムへの応用が期待されます。本研究はリバプール西安交通大学，東京大学との共同研究です。 [10月8日追記] 本論文は ISMAR 2021 にて Best Student-authored Journal Paper を受賞しました。 https://doi.org/10.1109/tvcg.2021.3106513 (論文PDFはオープンアクセスです) Kizashi Nakano, Naoya Isoyama, More …

8月10日(火)〜8月12日(木)の期間でサマーセミナーを開催し、9名の学生が参加しました。4名が現地参加、5名がオンライン参加で、具体的には以下のような内容に取り組みました。 AR Foundationとスマートフォンを用いたARアプリの開発 AR試着アプリ 発言の文字起こしアプリ ARオブジェクト配置アプリ AR家具配置アプリ ARドラムセットアプリ M5Stack Grayの9軸センサやディスプレイを用いた動作認識アプリなどの開発 ボールを投げた際の球種の判別 着座時の読書や頬杖などの状態の判別 空中に描いた文字の判別 ウェブスクレイピングによるバス時刻確認アプリ 時間が足りず苦戦することもありましたが、何とかシステム開発の流れを網羅的に体験してもらえたのではないかと思います。このセミナーを機に、様々なモノづくりに励んでほしいと思います。 セミナー参加者9名、手ほどきした先輩4名、スタッフ3名 セミナー参加者と研究室メンバー

Zhang Yan君(D3)の論文がOptics Lettersに採録されました。 一対の放物面ミラーとLCoSを用いて画素単位でCGによる実環境の遮蔽の表現が可能な水平視野角100度程度の広視野の光学シースルーARディスプレイに関する研究です。これはアリゾナ大学との共同研究プロジェクトの成果です。 https://doi.org/10.1364/OL.428714 (論文PDFはオープンアクセスです) Yan Zhang, Xiaodan Hu, Kiyoshi Kiyokawa, Naoya Isoyama, Nobuchika Sakata, and Hong Hua, “Optical See-through Augmented Reality Displays with Wide Field of View and Hard-edge Occlusion by Using Paired Conical Reflectors”, Optics Letters, Vol. More …

学生によるハイレベルなVRコンペティションである IVRC に当研究室のM1による3チームがチャレンジし、3チームとも書類審査を通過して SEED STAGE に選出されました。今後の発展にご期待ください。 FinGun：（チーム名）Guns N’ Fingers なぎさんぽ：（チーム名）SeasideWalker 人間は液体と固体の両方になり得るか？：（チーム名）いったんもめん

[募集は2021年7月9日で締め切りました。多数のご応募ありがとうございました。] 2021年8月10日から12日まで3日間の予定で、サマーセミナー2021を開催します。今回のテーマは以下の２つです。興味のある方はこちらからお申し込みください。 スマホでARアプリを作ってみよう 概要： ポケモンGOやSNOWのようにカメラで現実環境を認識して映像を加工したり合成したりするARアプリを作りましょう。スマホのアプリ開発としてUnityとAR Foundationというツールを用いて、ノートパソコンで開発を行います（★オンラインを希望される場合でも、必要な機材は貸し出しますのでご安心ください★）。1日目は基本的な開発手順について学び、サンプルプログラムの動作を確認したり、アイデア出しを行います。2日目は自身の興味やスキルに合わせて、インストラクタと相談しながら物体認識や顔認識、ジェスチャ入力などにチャレンジしたり、自由にシステムを改良していきます。3日目はシステムを完成させて、インストラクタや研究室メンバーの前でプレゼンをします。部屋にバーチャルの花瓶や家具を置いてみたり、顔の年齢を変えてみたり、認識した物体を音声で知らせてみたり、いろんなアプリを考えてみてください。 開催方法： オンライン＋対面 Online + face-to-face 開催期間： 3日間 定員： 5 受入条件： 特になし  マイコンと機械学習を使って行動認識システムを作ろう 概要： コンピュータやセンサの小型化が進み、生活の中へと多くのシステムが導入され、人々を支えています。システムでは、センサから人々の行動に関するデータが取得され、コンピュータがそのデータを分析しています。本実習では、マイコン（M5Stack）とセンサ（加速度、ジャイロなど）を用いて、「センシング→行動認識」の流れを体験してもらいます。どのような行動をどのような手法（機械学習など）により認識するかについてアイデアを出すところから始めていただき、実装するまでをチャレンジしていただきます。オンライン参加の場合、マイコンとして、M5Stack Grayを郵送しますので適宜オンラインで質問などを受け付けながら進めていく予定です。M5Stack Grayはセミナー終了後に大学へと返送いただきます。 開催方法： オンライン＋対面 Online + face-to-face 開催期間： 3日間 定員： 5 受入条件： 特になし

2021年6月19日 (土) に放送されたテレビ大阪「ミライヤー」にて、磯山助教の研究が取り上げられました。 本研究は、磯山助教が神戸大学で特命助教をしていた際に行った研究で、ボールをタッチする遊びをしている様子がダンスに見えるように設計することで、体験者がダンスへの照れがない状態でダンスに触れられ、興味をもつようになることを狙っています。 本研究の内容については、下記の研究会で発表した際の原稿に詳細を載せています。 磯山 直也: 演技・踊りを自然に遊ばせるシステムの検討, 2017-EC-45 (2017). https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=182972&item_no=1&page_id=13&block_id=8 番組ホームページはこちら https://www.tv-osaka.co.jp/miraiyer/archive_pastpage_20210619_nhyu.html

2021年4月1日付で内山英昭 准教授が着任しました。

2021年2月から3月にかけて、以下の6名のインターンがインターンシップ（体験入学）を行いました。 有隅惟人君(大阪府立高専)は、ARCoreとGoogle Cloud Speechで、発話を認識して顔付近に表示するARアプリを開発しました。 山岡裕希君(東京理科大学)は、Oculus Quest2 で、物理スペースより大きなVR空間を歩行できるリダイレクテッドウォーキングの研究を再現しました。 太田裕紀君(東京理科大学)は、3Dプリンタでスマホ用のARHMDを自作した上で、ARCoreとM5Stick Cを用いて空中に絵を描けるARアプリを開発しました。 吉丸直希君(同志社大学)は、HoloLens2 を用いて、キャラクタが現実環境を歩き回るARアプリを開発しました。 久保智哉君(岡山県立大学)は、HoloLens2 とAzure Speech Services を用いて、発話を認識して空間に表示するARアプリを開発しました。 安江亮祐君(岡山県立大学)は、視覚と触覚の融合効果による錯覚について調査研究を行いました。 みなさん、インターンシップで得たものを活かして今後も頑張ってください！

長谷川君 (M2) が 2021年3月10日（水）〜3月12日（金）に開催された国内最大のインタラクション系のシンポジウムであるINTERACTION 2021で口頭発表しました。 長谷川 瑛一，磯山 直也，酒田 信親，清川 清 「動画の再生速度が視聴後の作業速度に与える影響」 これまでに特定の映像を視聴しながら何らか作業を行うと、作業の速度が変化することなどが知られています。本研究では、現在の社会では作業の直前まで映像を視聴している機会が多いことに着目し、動画の再生速度を変えて「視聴した後に」人間の行動はどう変化するかを調べています。今回の発表では、スマートグラス上に提示した動画の再生速度を変化させることで、視聴後の計算課題の回答数が変化するかを調査しました。結果として、速い再生速度の動画を視聴することで、遅い再生速度の動画を視聴した後よりも、回答数が増加することを確認しました。 なお、本研究の成果は「子供の科学/KoKaNet」でも取り上げられました。 動画の再生速度を速くして見ると、その後の計算が速くできる？

VIPO（ヴィーポ、映像産業振興機構）は、経済産業省の支援を受けて作成した「AR等のコンテンツ制作技術活用ガイドライン」を公開しました。このガイドラインは、東京大学 廣瀬通孝氏（委員長）、株式会社ホロラボ 中村薫氏、株式会社Psychic VR Lab 山口征浩氏、当研究室清川教授を委員とするVR/AR等のコンテンツ制作技術活用ガイドライン検討委員会にて内容が検討され、株式会社Moguraの久保田瞬氏、畑田裕二氏らによって執筆されたものです。 AR等のコンテンツ制作技術活用ガイドライン 本ドキュメント類は対象読者層として、 AR/VRコンテンツの制作を始めたいと考えている制作者 AR/VRを使ったプロモーションを考えている広告代理店や、企業 地域の観光振興としてAR/VRを活用したいと考えている自治体など これからAR/VR事業を始める方々を想定しており、入門書の位置づけとなっています。 AR/VRコンテンツを企画・制作する実際の手法や、上質な体験を実現するために注意するべき開発上のポイントなど、実践的な内容やこれまでに共有されてきた知見などを中心に紹介しておりますので、AR/VRのコンテンツ制作に、ぜひご活用ください。 VIPOのロゴと理念

2月17日(水)〜2月19(金)の期間でスプリングセミナーを開催し、8名の学生が参加しました。 具体的には以下のような内容を行いました。 M5Stack Grayを用いて9軸センサの値を取得し、決定木やk-NNなどいくつかの機械学習手法を用いてユーザの動作をリアルタイムに分類する。 UnityとVuforiaを用いて様々な3Dオブジェクトを現実環境に重畳表示する。 デバッグ等で苦労することもありましたが、何とかシステム開発の流れを網羅的に体験してもらえたのではないかと思います。このセミナーを機に、様々なモノづくりに励んでほしいと思います。もちろん、受験でも実力を発揮できるように頑張ってください。

2021年1月21日(木)、22日(金)にオンラインで開催されたMVE研究会にて、鹿内君、横見君、東君 (M2) が以下の発表を行いました。 鹿内君の発表は今回MVE研究会に投稿された中で最優秀と認められ、MVE賞を受賞しました。おめでとう！ 鹿内 裕介, 磯山 直也, 酒田 信親, 清川 清, “Phantact：実世界におけるプロテウス効果生起システムの提案” 横見 栄聡, 磯山 直也, 酒田 信親, 清川 清, “VRコンテンツにおける明度変調を用いた意識下に残りにくい視線誘導手法の提案” 東 健太, 磯山 直也, 酒田 信親, 清川 清, “VR環境での対人コミュニケーションにおける視線操作による会話満足度向上手法の検討”

CES 2021 にて、「Phantact: the Proteus Effect in the Real World」というテーマで出展しました。CESとは、毎年年初にアメリカ ラスベガスにて開催される、最先端技術を用いる世界中の企業や研究機関が一堂に会する世界規模の展示会です。CES 2021 については昨今の情勢を鑑み、ラスベガスでの実地開催ではなく、2021年1月11日(月)～2021年1月14日にオールデジタルにてオンライン開催されました。それに加え、本学が参加するJAPAN TECHの企画の一つとして、東京 有楽町にてCES2021と連動した展示が2021年1月9日（土）～2021年1月17日に行われました。 プロテウス効果という、バーチャルリアリティ環境で使用するアバタ（自分が操作するキャラクタ）の見た目がユーザの行動や思考に影響を与える、といった心理効果が知られています。我々はこのプロテウス効果を日常環境で利用できることを目指しています。実現のために、ユーザが頭部の後方上部からの視点で自身の姿を見つつ周囲の環境も確認できる三人称視点の仕組みを構築し、ユーザの後ろ姿にアバタの後ろ姿を重ね合わせることでプロテウス効果を生じさせるシステムを開発しています。これまでに三人称視点の環境でもプロテウス効果を生じさられることを確認しています。日常環境でプロテウス効果を利用できることで、緊張せずに人前で話せるようになることや、利他的行動が取れるようになることが期待できます。 担当: 磯山直也(助教)、鹿内裕介（M2)

学生チームの作品「くすぐってみ〜な」がTBS「審査員長・松本人志」（関東ローカル）に取り上げられました。VRゴーグルと特殊なゴム手袋をつけて自分をくすぐることで、他人からくすぐられたような感覚を体験できるシステムです。ゴム手袋をランダムなタイミングで膨らませることで、触覚の予測を狂わせるしくみです。 まだまだ発展途上のプロジェクトですので、暖かく見守ってください。大幅な改良を目指しています！ 公式予告動画（劇団ひとりさんバージョン） https://twitter.com/shinsaincho_tbs/status/1344191497172709379 公式予告動画（ウエンツ瑛士さんバージョン） https://twitter.com/shinsaincho_tbs/status/1344916274099359745 チーム「くすぐり隊」の福田君、吉満君、宇野君、吉村君(M1)、と記念品「まつもトロフィー」

VR/AR技術の現状や将来に関する清川教授のインタビュー記事が、2021年元日付の聖教新聞に掲載されました。 「まったくご縁のなかった新聞ですが、VRやAR技術の現状や将来を一般の方に広く知っていただくよい機会となりました。ありがとうございました。」

12月18日19時からの読売テレビ「ほんわかテレビ」にて、当研究室が紹介されました。中野萌士君(D1)が味覚変調システムを、吉満匡展君(M1)がセルフくすぐりシステムを、それぞれ紹介しました。 （放送内容） https://www.ytv.co.jp/honwaka/contents/20201218.html VR・ARを使った“未来の道具” 奈良先端科学技術大学院大学 サイバネティクス・リアリティ工学研究室

東京大学の音納陸君が、12月7日～12月18日の期間、いつでも体験入学をしました。匂いディスプレイとHMDを組み合わせた多感覚ARシステムの開発に取り組みました。現実では苦手なものを食べるときに、VRではキャラメルを食べているように見えて、実際にキャラメルの匂いがしてきます。音納君は来春NAISTに入学予定です。また会いましょう！

萩森君 (D1) が 11月30日～12月1日にオンラインで開催されたSIGHaptics (日本バーチャルリアリティ学会ハプティクス研究委員会)で、足を上げたり下げたりして目標に高さを合わせる運動の際に、腱に対する振動刺激がどのように影響するかについての研究を発表しました。 発表タイトル：腱振動刺激が下肢リーチング運動に与える影響 登壇者コメント：オンラインでの発表の難しさを実感しました。しかし、今後の研究に役立つ情報も得ることができました。今回の経験を糧に今後も研究に励んでいきたいと思います。

Zhang Yan君 (D2) が拡張現実関連のトップカンファレンス、 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2020 にて口頭発表を行いました。従来の光学シースルーHMDは視野が狭く、画素単位での遮蔽も困難でしたが、本研究で提案したHMDは180度に近い極めて広い視野と画素単位での遮蔽を両立することに成功しました。よりリアリティの高いARの実現に寄与します。本研究は、米国アリゾナ大学 3D Visualization and Imaging Systems Lab との共同研究です。 Super Wide-view Optical See-through Head-mounted Displays with Per-pixel Occlusion Capability Yan Zhang, Kiyoshi Kiyokawa, Naoya Isoyama, Nobuchika Sakata, More …

奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 サイバネティクス・リアリティ工学研究室では、准教授を公募しています。 下記の公募要領をご覧いただき、2020年12月25日までにご応募ください。 先端科学技術研究科 情報科学領域 サイバネティクス・リアリティ工学分野 教員（准教授）公募