導入担当者インタビュー
アプリ開発も裸眼立体視時代へ

体験を繰り返すと経験になる -- 体験できるアプリ開発へ

私の専門は、画像処理学とVR/AR・空間再現技術の医療および防災への応用です。約20年前から医学部や歯学部と一緒に３Dの研究を行っていて、東日本大震災以降はVR/ARの防災分野への応用にも着手しました。神奈川歯科大学では、歯学部の学生向けの教育支援アプリの開発を行っており、歯学分野へのVR/ARの応用を博士論文のテーマに据えた大学院生への指導も行っています。わかりにくい情報を三次元表示などにより可視化することで、わかりやすく体験できることを目指しています。 体験を繰り返すことで、自分の血肉となり経験が形成されていく、そのための技術開発を担っています。

歯科医療の現場とシームレスにつながった開発環境

もともと人体の構造に興味があったので、現在歯学部の先生達と一緒に、研究や教育に関わっているのは、自分としては非常に嬉しいことです。しかも歯学部内でシームレスに、医療現場の先生方と一緒に相談しながら開発できるメリットは大きいですね。私が歯学部の専任教員でなければ、ここまで密接に関わり合えなかったと思います。歯学部に私のようなVR/ARを専門にする情報系の専任教員がいるのは、日本でもここ神奈川歯科大学だけではないでしょうか。海外だと病院の中にエンジニアが常駐して医療の先生方とコラボしている施設は数多いですが、日本ではまだ事例が少ないです。特に歯科は日常的に3Dデータを扱いCAD/CAMを用いてかぶせ物を製作しますので、3D技術へのニーズが高く親和性があります。

VR ヘッドマウンティッドディスプレイやスマートグラス装着の限界

2020年に着任してからは、歯学部の先生方からさまざまなデータを提供していただき、3D歯科医学教育コンテンツの開発を行っていました。しかしVR ヘッドマウンティッドディスプレイやスマートグラスの着用は、医療現場や歯学部における教育では運用にさまざまなハードルがあることを実感しました。コロナ禍の中で衛生管理がより一層求められる中で、装着型デバイスの着脱には手間がかかり、限界が見えてきました。

これからは裸眼立体視の時代だ！

2020年秋に高画質な裸眼3D立体視モニターが他社から登場し、私が制作した裸眼立体視用解剖学教育アプリを先生方や学生に見ていただいたところ、非常に好評でした。アイウェアを装着することなくモニターの前にただ座っただけで、そこに実物が存在するかのように見えます。誰もが手で触れようとして驚き、感動しました。それまで二次元では理解が難しかった人体の複雑な構造が、裸眼立体視で手に取るようにわかるようになり、高い教育効果を実現できます。非常に有効なツールですね。私も「これからは裸眼立体視の時代だ」と実感しました。 そして2021 年にAcer から裸眼3D立体視ができる技術を搭載したノートパソコンConceptD 7 SpatialLabs™ Editionが発表されました。裸眼3D立体視可能なモニターとパソコンが一体型で持ち運びも簡単、何より三次元関連のアプリが豊富に用意されているのが魅力でした。
2022年4月に日本での取り扱いがスタートすると、受注生産初入荷５台のうち1台を入手して一番乗りで使い始め、入手後は、私自身10本ほどの三次元アプリを開発しました。いろいろとアイデアを思いつき、夢中になって作りました。 ConceptD 7 SpatialLabs™ Edition がいいのは、ノートパソコン一台で裸眼立体視ができるだけでなく「SpatialLabs™ Go」などのアプリケーションも充実していることですね。

二次元映像からAIで三次元化が可能

「SpatialLabs™ Go」は、単眼カメラで撮ったライブ映像をAI で疑似的に裸眼立体視化してくれます。2Dのライブ映像を立体的に見られるというのは、非常にニーズがあると思います。2022年9月に開催された第27回日本バーチャルリアリティ学会大会で、この発表と展示を行いました。
二眼カメラ映像のライブ配信は特殊な機材が必要で高コストです。一般的な単眼カメラで撮影した映像にAIで自動的に奥行きを付けてSpatialLabs で見ることは、教育効果の向上につながると思います。たとえば実習室での教員の模範手技の映像を三次元化して、各学生の卓のモニターで裸眼立体視するという方法は、3D-CGモデルの立体視化よりもニーズが高く、活用範囲が広いかもしれません。この点にも大いに期待しています。コンテンツを作る敷居が下がると、どんどん使う人が増えます。
デバイスがどれだけ良くても、誰でもコンテンツが作りやすく日々の運用が容易という状況じゃないと、結局廃れてしまいますからね。SpatialLabsには、手応えを感じています。

ハードも凄いが、アプリケーションのポテンシャルも凄い

本学附属病院の歯科技工士からは、普段使っているCAD/CAM ソフトの表示をそのまま裸眼立体視化できないかという相談がありました。現状では、対応していないソフトの裸眼立体視には対応できませんが、パソコン画面をHDMI で分配して、ビデオキャプチャー装置で取り込んだ表示内容を「SpatialLabs™ Go」に通せば、ある程度の精度で疑似的に裸眼立体視化できることがわかりました。これはけっこう凄いことで、潜在的なニーズがあると思います。標準搭載のアプリケーションを使って、こういったいろいろな機能や表示方法を試しています。
単眼カメラの映像や他のパソコンの表示画面もAIで疑似的に裸眼立体視化できる点には、大きなポテンシャルを感じます。AIによる2D→3D変換は発展途上ですが、年々精度は向上しています。おかげさまでいち早く製品を入手できたので、どういう形状の物体が裸眼立体視化しやすいのかが、わかってきました。

裸眼立体視時代の幕開けの予感

Acer のこの製品は、ノートパソコン単体で実用的な裸眼立体視を可能にしたという点で、歴史に残る製品だと言えます。裸眼立体視時代の幕開けにおける旗手だと思いますね。
今後いろいろなメーカーが裸眼立体視の分野に参入してくると、ユーザーの裾野も広がりますし、そこで競争が発生することによって、全体的にこの分野が活性化していくでしょう。医療の現場だけでなく、新たにやってみたいという人達が参入して盛り上がっていけば、裸眼立体視の新たなカテゴリが誕生し、相乗効果でますます発展していくのではないでしょうか？大いに期待していますし、将来そうなると思っています。

導入担当者インタビュー
デジタル技術を研究・教育分野や
実際の患者様に還元したい

研究人生を変えたVR/ARデジタル技術

大学付属病院で歯科医師として診療や診療介助を行いながら、大学院では自身の研究も行っています。1年の時にたまたま板宮先生の講義を取ってVR/AR技術の紹介に衝撃を受け、それまで動物実験だった研究テーマを変更。板宮先生のもとで、デジタル技術を応用して教育に還元する方法を研究しはじめました。ハードルは高いですが、臨床現場の患者様にもデジタル技術を利用して説明を行うなどの応用ができていくと素晴らしいですね。まさに研究人生を変えた出会いでした。

「もう出たのか！」と感動

ConceptD 7 SpatialLabs™ Editionを初めて板宮先生から見せていただいた時も衝撃でした。いつか裸眼立体視ができる一体型パソコンが発売されるだろうとは思っていましたが、「もう出たのか！」と感動しました。臨床現場では診察室とオペ室は別の場所になりますが、これ一台で身軽に移動できて汎用性があるので、診察室でさっとノートパソコンを開いて説明にも使えそうですね。僕の研究もはかどりそうな気がします。

学生らの術前シミュレーションに大いに活用できるはず

歯の根の様子を探るには、マイクロスコープ、CBCT（コーンビームCT）、CTといったものがありますが、どうしても施術者の技術的な側面に頼る部分が大きい。ベテランの先生にはあまり必要ではないでしょうが、歯の根の物理的な状態が３Dで立体的に把握できるようになれば、経験の少ない学生や臨床研修医の術前シミュレーションに大いに活用できます。そういう教育的観点からも使っていけると期待しています。

熟練の術者視点で立体的に技術を見て理解できる

将来的には、これ一台で熟練医師の手の動きと画面上の3Dの動きが一体化するようになれば、遠隔的な教育にも使えるのではないでしょうか。口腔治療の技術は、実際に学生に見せて教えるのが難しい。また海外から歯科技術を学ぶために留学してくる外国人学生も多い。遠隔授業などには大いに活用できるのではないでしょうか。術者の施術を見て学ぶというのは、臨床で最も重要な部分です。術者の視点で立体的に見て理解することが、学生や若い医師には非常に勉強になります。しかもゴーグルなどをかけなくても簡単に裸眼立体視ができるわけですから、熟練の先生達の技術を撮影して教育にどんどん活用したいですね。

インタビュー
アナログの歯科技工の技術をデジタルに載せる、
そこに可能性を感じる

画面から飛び出してくるような感覚

以前他社製品の裸眼3D立体視モニターで画像を見たことはあったのですが、ConceptD 7 SpatialLabs™ Edition で3Dモデル画像を見ると、動きがなめらかで、画面から飛び出てくる感が凄いですね。以前見たものは3Dなんだけど箱の中に入っているような感覚でしたが、ConceptD 7 SpatialLabs™ Editionは外へ飛び出してくる立体感がかなり違うと感じました。

アナログとデジタルの出会いに可能性を感じる

歯科全体でのデジタル化はかなり進んできましたが、技工士は二次元のCADデータで出来上がったものがより患者様にフィットするように、長年の経験や技術で手を動かすアナログで職人的な世界です。特に前歯などの審美治療では、正面から見るだけではなくて、上下左右のさまざまな角度から見て同じに見えるように手作業で調整を行います。その点でも裸眼立体視で角度を変えながら確認できるのはいいですね。いま見ている3DモデルにCAD/CAMのデータを流し込んで微調整ができれば、いままで培ってきたアナログの歯科技工の技術をデジタルに載せるためのものすごく良いアイテムだと思います。そこに非常に可能性を感じます。

患者様との意思疎通に役立てたい

歯科業界で、今後この裸眼立体視を活用していくと、患者様への説明でかなり役立ちそうですね。我々技工士は2Dのデータを3D化して考えるのに慣れていますが、患者様はそうではありません。２Dを口頭で説明してもやはりわかりにくい。裸眼立体視を患者様への説明に使えば、かなり意思疎通が図りやすくなるのではないでしょうか？しかもノートパソコンだから持ち運びもしやすいですしね。とても期待しています。

インタビュー
「デジタルデンティストリー」を目指して

歯科医療をデジタルの力で推進する

歯科医療には、歯の保存と補綴（ほてつ）の２つがあります。補綴は、歯が欠けたり抜けたりした場合に、インプラント・義歯・ブリッジなどによって抜けた歯を補います。私は、この補綴という分野を専門に行っております。歯の保存と違って、補綴は人工物を作って患者様一人ひとりに合わせて、いわばカスタムメイドで作らなければいけない。私たち医師と協力してクラウンを作ってくださる技工士さんの作業は、時間もかかるし大変な仕事量なんですね。その部分をデジタルの力によって省略化を図ろうと、一生懸命進めているところです。最近「デジタル理工」とか「デジタルデンティストリー」と言われている分野ですね。

新しい時代の到来を痛感

ConceptD 7 SpatialLabs™ Editionを初めて見た時は驚きました。ノートパソコンから、裸眼で三次元的に画像が見えてくるのかと。同時に、これから歯科に於いても臨床や教育で普通に3Dが使われる新しい時代の到来を感じました。もちろん以前から裸眼3D立体視モニターなどもあったのですが、実際の使用に落とし込んでいくには現在使っている装置を替えないといけないなどの問題があって、現実的ではありませんでした。ノートパソコンでそれが実現したというのは、かなり現実に近づいたという印象です。

学生1人1台の未来を目指して

将来もっとコストが下がって、学生が1人1台持てるようになると、教育面では非常に有益ですね。特に顎顔面（がくがんめん）の領域は、細かな血管や神経が複雑に絡み合っていて筋肉と一体化しています。そこを学生に理解させるのは非常に難しい。今は三次元的に理解させるために模型を使っているのですが、模型よりも三次元モデルの修正が簡単にできるし、内部まで見ることができて、さらに理解は深まるでしょう。また、バーチャル実習もぜひ具現化していきたいですね。

歯科医療DXのひとつの転換期

持ち運びの容易なノートパソコンですから、患者様の近くに説明用に置くこともできます。術者の術前シミュレーション、カンファレンスでの説明、それから患者様自身の口腔衛生意識を高めるためにも活用していきたいね、と板宮先生と話しています。いろいろと夢が広がっています。ConceptD 7 SpatialLabs™ Editionの存在は、今後の歯科医療DXのひとつの転換期になる気がしています。

※ConceptD 7 SpatialLabs™ Edition「CN715-73G-SL76Z」は、医療機器ではありません。診断・治療ではなく、教育・研究用途でお使いいただけます。