Processing を使って AR を試す; EPICSとの連携もテスト予定

【注意】 このページの記述は主として Processing2 の話（Processing3 でも使える部分は多い）。とりあえずARを試したいのであれば、例えば ​Processing 3.3 と NyARToolkit 5.0.5 で AR の練習 などに分かりやすく書いてあるのでそちらを読む方が簡単かもしれない。
（本サイトの記事も一応残しておく）

目的

1. EPICSとProcessingとの連携方法を検討
2. AR技術のテスト
3. 一般公開ネタ

1)について：これまで動画表示には CSS を利用してきた。cERLのビーム繰り返し 5 Hz 程度までは特にストレスなく 表示できるので今のところは問題ない。しかし、より動画に近いイメージ 20 - 30 fps を目指したときに データ転送量にくらべて更新速度が問題になる可能性もある。また、Latency も少し気になる。

2)について：マーカー型AR(Augmented Reality)を装置のメンテナンスやマニュアルの補助として応用する例がある。 どのていど実用に耐えうるか、開発が必要な要素はなにかを検証

3)について：せっかくなので一般公開で「おもちゃ」として使ってみる。「簡単にARが出来る」ことのデモとして活用。

※ここに記載している情報は少し古く Processing Version 2 の時代ですが、同じことはversion 3 で実行可能です。（2018年の一般公開では version3 を使用して、マーカーだけではなく自然特徴点追跡（NFT）も行っています）

作業記録

• 最初の目標は何か
• セットアップ方法
  • processingインストールと確認
  • USBカメラのセットアップ
  • AR(NyARToolkit)のセットアップ
  • 3D model 表示 : OBJ Loader (saitoobjloader) あたりの説明
  • NyIDマーカーを使った複数マーカー表示
  • フルスクリーン表示するには
  • モーションキャプチャデータとサウンドの同期再生
• その他
  • BeagleBone Black とか Arduino とかと通信。