02.04
【World MR News】「HoloLensを用いた手術支援システムの開発と臨床応用のTips & Pitfalls」――「Tokyo HoloLens ミートアップ vol.13」レポート②
『HoloLens』の日本発売開始から2年を迎えることを記念したイベント「Tokyo HoloLens ミートアップ vol.13 日本上陸2周年記念！」が、1月18日に品川の日本マイクロソフト本社セミナールームで開催された。
今回のイベントでは、昼の部と夜の部の2部構成で行われたほか、ふたつの部屋を使った2トラック平行でライトニングトークが行われるなど、大規模なものとなっていた。本稿ではその中から、第1部に開催された愛知工科大学工学部 情報メディア学科の板宮朋基氏によるセッション「Microsoft HoloLens を用いた手術支援システムの開発と臨床応用のTips & Pitfalls」の模様をお届けする。
愛知工科大学工学部 情報メディア学科の板宮朋基氏。
高額な医療機器に変わり『HoloLens』を活用
これまで医療に関するCGなどに携わってきたという、板宮氏。脳腫瘍の手術などでは位置が重要で、これまでは手術ナビゲーションをしてくれる機器が採用されている。しかしこれらは液晶モニターに平面の情報として映してくれない。また、レジストレーション（位置合わせ）にも時間が掛かる。なんといっても最大の難点は、3000万円もするという値段と、維持費に毎年100万円ほどのお金が掛かるというコストの高さだ。そのため、大きな病院でないと導入するのが難しいというのが現状である。
また、モニターの位置が離れていたり、角度が付いたりして見にくいなど様々な問題もあるという。
そうした問題を解決する案として、スマートグラスを2014年あたりから採用している。大阪医大で、エプソンのスマートグラス『BT-200』を使い、臨床試験も行われている。患者にマーカーを付けて幹部や切開後など、術前術後の比較などを行った。
そこからわかったところは、ハードウェアの性能が不十分で重たい医用3DCGモデルを描画しようとすると、フレームレートが下がってしまう。また、3Dモデルを表示させるために、マーカーが必ず必要となる。また、マーカーを置いたとしても位置がブレてしまう。さらに、操作はコントローラーでしかできないため、手術者が操作をすることができない。 
そこで、『HoloLens』の登場となる。視野角自体は狭いが、角画素密度が高く綺麗に見えるのが特徴だ。昨年米国のNovaradが『HoloLens』に対応した手術支援システム『OpenSight』で、FDA（日本の厚生省のクリアランスにあたるもの）を取得して話題にもなっている。 
また国立成育医療研究センターは、外科医を目指す子供を増やしたいという目的から「ブラックジャックセミナー」を毎年開催している。ここでも『HoloLens』が使用され、子供たちが体験するという試みも行われている。
『HoloLens』を利用した3Dモデルビューワーもいろいろと作っている。ビューワー自体は、STLデータがあれば容易に制作することが可能だ。それよりも、どうやって3Dモデルを抽出するかというセグメンテーションのほうが、成果物の品質に影響する。セグメンテーションさえできてしまえば、あとはUnityを使って短時間で作ることができる。
しかし、ジェスチャに関しては認識精度が繊細すぎてモデルの配置方法を工夫する必要があるという。
『HoloLens』で見る3DCGモデルと術野の位置合わせは、マニュアルの場合はジェスチャで操作するか外部キーボードやコントローラーを利用する。自動で行う場合は、主にVuforiaを利用しマーカーを使わずに形だけ認識する方法と、2次元マーカーや立体マーカーなどを使用する。 
3次元形状認識を利用した検証も行っており、インプラントに手術の臨床現場でも試されたが、現場ではうまく認識しなかったという。その原因となったのが無影灯である。手術室にある無影灯下では、明るすぎて『HoloLens』の認識率が下がってしまうのだ。これは目で見えている状態でも、カメラでハレーションが起きてしまうためである。
このときはマウスピースだけで特徴点を取ろうとしていたが、最低400点は必要なためそのままでは少ない。この部分に関しては、マウスピースにゼブラ模様などを付けることで解決できるかもしれないと、板宮氏。
また、事前に実物のスキャンが必要となる。だが、あらかじめ患者にスマホでスキャンしてもらうことは困難である。最近口腔内スキャナが出てきたので、そちらのデータと連動するという手段も考えられるという。形状データ（STL）のみで認識できる機能もあるが、こちらは『HoloLens』ではまだ不安定だという。
そこで最善ではないか最適手法として取られているのが、立体マーカーを利用した位置合わせだ。こちらは異なるQRコードを3Dプリンタで出力した立方体に貼り付けることで使う。
こうしたものは、実際の手術器具と『HoloLens』で見た3DCG器具の位置合わせができないと難しい。精度検証や精度の担保、精度の評価手法、倫理審査、医療機器認証など、まだまだ課題が多いのが現状だ。
『HoloLens』の手術ナビゲーションの実用化までには、まだまだ道のりが長い。だが、脳下垂体腫瘍手術の訓練など、教育システムには使われはじめているとのこと。
遠隔指導でも、『HoloLens』が活用されている。音声のやりとりはSkypeを利用し、見えている視野を共有し、遠隔地から若手に指導を行うといった感じだ。こちらもゆくゆくは、手術室と繋いでいきたいと考えているそうだ。
遠隔地から画像などのデータの送付や貼り付けも行えるので、言葉で聞くよりもよりわかりやすくコミュニケーションが行えるのもメリットと言えそうだ。
『HoloLens』の臨床応用については、装着感と酔いが強いため手術中は1時間が限度だ。また、先ほども話題になったが、無影灯下では3D表示が薄くなって立体感が損なわれるという問題もある。位置合わせの精度についても、まだまだこれからといったところで、工夫が必要だ。
さらに、装着者ごとに設定と熟練も重要だ。とくにIPDを測定して設定する必要がある。また、ジェスチャ操作自体にも慣れが必要である。
今後の展望としては、ハードウェアの性能やCGクォリティの向上も大事なことだが、何よりも日常的な運用が重要だと板宮氏はいう。誰がアプリを開発するのかといったことや、PACS（医療用画像管理システム）との連動と自動アプリ化や、既存の手術シミュレーションシステムとの連動などの課題がある。さらには、手術システムとしての安全性や有効性の評価という部分も考えていく必要があるのだ。
Photo＆Words 高島おしゃむ
コンピュータホビー雑誌「ログイン」の編集者を経て、1999年よりフリーに。
雑紙の執筆や、ドリームキャスト用のポータルサイト「イサオ マガジン トゥデイ」の
企画・運用等に携わる。
その後、ドワンゴでモバイルサイトの企画・運営等を経て、2014年より再びフリーで活動中。
