Demonstrating Control AR Remote Instruction App by Hand Gestures

This is Shuochen Wang from R&D department in Flect. In this blog I am going to share my implementation on controlling AR remote instruction app by hand gestures.

Introduction

Why do we need remote instruction?

The Coronavirus has forever changed the way of living. One of the changes is avoiding face-to-face communication if necessary. Remote instruction is the perfect solution for the current problem because it eliminates the needs of the instructor to go to the operation site. The reason for the instructor could not go to the operation site could either be it is not recommended or impossible (for example overseas). Therefore, the need for remote instruction is ever increasing.

I have been working on developing a remote instruction app for the iPhone since last year. This year, my focus is on the ways to control the remote instruction using hand gestures. In March this year, I have published a blog about Manipulate AR objects using UI Gesture and Hand Gesture. In that blog, I have introduced how to set up AR world map, adding AR objects and then controlling them using UI gestures and hand gestures.

MuleSoft開発 冗長化について - その2

こんにちはCI事業部の川瀬です。

前回の記事からだいぶ経ってしまいましたが、フォルダ監視のアプリケーションの冗長化について続きをやっていきたいと思います。

結論から言うと、前回お話した通りこのようなポーリング系のアプリは冗長化しないで済むならしないことです。自動再起動に任せられるならこちらに任せてしまいましょう。 とは言え、何らかの理由で冗長化しなければならない場合もあると思います。

その場合は、スケジューラとObject Storeを使います。Object Storeにフラグを設定し、そのTTLはスケジューラの間隔より長くします。

スケジューラ

次にOn New or Update Fileを使用したフローを作成します。このフローの中では、Object Storeの有無を判別し、存在しない、つまりTTLの時間が経過しObject Storeが存在しない場合には、後段の処理を実行します。 ご存じの通り、スケジューラは冗長化しても1つのWorkerでしか動作しません。このWorkerが起動しなくなった場合、別のWokerでOn New or Update Fileをトリガーに処理が継続されることになります。

On New or Update File

ここで注意しなければならないことは、Workerがダウンし自動再起動が実行されるまでの間は、もう1方のWokerではスケジューラは動作しないことです。

docs.mulesoft.com

もう1つ、別のやり方としては冗長化構成しているアプリでMQ(VM or Anypoint MQ)を使用するやり方です。ただし、別のアプリからこのMQに対し、定期的にキューを送信する必要があり、この別アプリがダウンしてしまう場合もあります。結局この部分に対しては、自動再起動で対応するしかありません。

以上、フォルダ監視のアプリケーションの冗長化について記載してみました。このような複雑な処理をするぐらいなら、自動再起動だけで対応することも検討してもよいと思います。

Anypoint PlatformのDesign Centerを使ってみよう（３）

みなさまこんにちは、CI事業部の釜谷です。

フレクトでは、2020年度からMuleSoftに注力しています。
MuleSoftに興味のあるそこの貴方！是非フレクトにご相談ください！！

今回は前回に引き続き、Design Centerを紹介したいと思います。

---

今回のトピック

作成したAPI仕様を公開しよう！、です。

どこに公開されるの？

組織（ビジネスグループ）内のAnypoint Exchangeに、アセットとして公開されます。

公開するとなにがうれしいの？

Anypoint Exchangeの利用権限があるユーザが、アセットを利用できるようになります。

どのような利用方法があるの？

• 組織内のAnypoint Platform利用者に、アセットが共有できます。
• Anypoint Studio(Muleアプリケーション開発用IDE)にアセットを取り込み、アプリケーション開発で利用できます。
• API ManagerのAPIインスタンスにアセットをインポートすることができます。
  • APIインスタンスでポリシー設定やアラート設定などが行えます。
  • アセット内で、APIインスタンス利用可否の承認申請が行えます。

公開するにはどうするの？

API DesignerのPublish機能を使用します。

Public機能の使用方法

1. 公開したいAPI仕様を開き、「Publish」をクリックします。
   
   

2. 「Publish to Exchange」をクリックします。
   
   

3. 「Asset version」欄、「API verison」欄に、バージョン情報を設定します。
   
   

4. 設定後、「Publish to Exchange」をクリックします。
   
   

5. Publish機能完了後、ダイアログが表示されます。
   
   

6. Anypoint Exchangeに移動すると、Publishしたアセットが表示されます。
   

---

次回も引き続き、Design Centerを紹介したいと思います。 （Design Centerばかりしつこいですか？もう少しお付き合いください。。。。）

本記事で、少しでもMuleSoftに興味を持って頂けたら幸いです！

Improve the hand gesture stability of the Vision framework's using filters

This is Shuochen Wang from R&D department in Flect. In this blog I am going to explain how to improve the hand gesture stability of the Apple's Vision framework by using filters.

The Vision framework performs face and face landmark detection, text detection, barcode recognition, image registration, and general feature tracking. Vision also allows the use of custom Core ML models for tasks like classification or object detection. In this blog, we will use the body and hand pose detection function. Specifically, we will use the hand pose detection function to obtain the coordinates of the finger joints.

In my previous blog I have explained about how to manipulate AR object using hand gestures. We used the Vision Framework to obtain the hand position. Because we do not use actual sensors or trackers that can measure the finger positions accurately, there will be errors in the measurement.

In this blog, I have performed an experiment to examine how filter can reduce the uncertainties of the hand pose detection of the Vision Framework. Before explaining the experiment, I would like to demonstrate the problem with the current hand gesture detection.

Anypoint PlatformのDesign Centerを使ってみよう（２）

みなさまこんにちは、CI事業部の釜谷です。

フレクトでは、2020年度からMuleSoftに注力しています。
MuleSoftに興味のあるそこの貴方！是非フレクトにご相談ください！！

今回は前回に引き続き、Design Centerを紹介したいと思います。

今回のトピック

作成したAPI仕様を動作確認してみよう！、です。

動作確認をするには？

API Designerのモック機能を使用します。 docs.mulesoft.com

モック機能を使用するには、２つの方法があります。

• API Designerから使用する
• ブラウザやクライアントツールから使用する

それぞれの方法について説明します。

API Designerからを使用する方法

1. 動作確認したいエンドポインタとメソッドを選択します。
2. Try it アイコンをクリックします。
   
3. sendボタンをクリックすると、モックからレスポンスが返ってきます。（「200 OK」 など）
   

ブラウザやクライアントツールから使用する方法

1. Mocking Service Configurationをクリックします。
2. Service Setting のMake Publicを有効にします。
3. Copyボタンをクリックして、URLをコピーします。
4. ブラウザやクライアントツールに、コピーしたURLと動作確認したエンドポイントとメソッドを設定します。 例えば、URLが「https://anypoint.mulesoft.com/mocking/api/」、動作確認したエンドポイントが「sample」の時は、「https://anypoint.mulesoft.com/mocking/api/sample」を設定します。
5. 接続操作をすると、モックからレスポンスが返ってきます。（「200 OK」 など）
   

モックからレスポンスを制御する

docs.mulesoft.com

MS2-XXXXをリクエストヘッダに指定することで、レスポンスが制御できます。 例えば、以下の制御が行えます。

• レスポンス時間を遅くしたい。
  • MS2-Delay : 500-1000、のように指定します。
• API仕様に記載したレスポンスのHTTPステータスコードを指定して、レスポンスのHTTPステータスコードとして返したい。
  • MS2-Status-Code : 400、のように指定します。
    

次回も引き続き、Design Centerを紹介したいと思います。

本記事で、少しでもMuleSoftに興味を持って頂けたら幸いです！

WebRTC(Amazon Chime SDK JS)で超解像を使ってデータ通信量を削減してみる

こんにちは。研究開発室の岡田です。

前回の記事では、Amazon Chime SDK JSを用いたビデオ会議システムやゲーム配信システム(Among us auto mute)において、複数ユーザのビデオ映像を単一の映像に合成することでデータ通信量を削減する方法をご紹介しました。 今回は、データ通信量を削減する別の方法として、ビデオ映像の送信時には解像度を落として受信後に超解像技術を用いる方法を試みてみましたので、これを紹介したいと思います。

下図が実際にやったときの画像です。一番右側の画像が超解像を使用した結果です。赤線左右で左のほうが高解像度化されています。

画像だと潰れてしまってわかりにくいと思うので、次のリンクから動画をダウンロードして確認してみてください。 download

Anypoint PlatformのDesign Centerを使ってみよう（１）

みなさまこんにちは、CI事業部の釜谷です。

フレクトでは、2020年度からMuleSoftに注力しています。
MuleSoftに興味のあるそこの貴方！是非フレクトにご相談ください！！

今回は、Anypoint Platformの機能の１つ「Design Center」の使い方を紹介します。

今回のトピック

Design CenterでAPI仕様を作成してみよう。

API仕様作成に使用する言語

API仕様作成には、以下の言語を使用します。

• RESTful API Modeling Language (RAML) バージョン 0.8 または 1.0
• OpenAPI specification (OAS) バージョン 2.0 または 3.0

API仕様作成手順

1. Anypoint Platformで「Design Center」をクリックします。

   

2. Design Centerで「Create new」> 「New API Spec」をクリックします。

   

3. New API Spec画面で、API仕様の作成方法を選択します。
   ・”I'm comfortable designing it on my own”を選択すると、フリーフォーマットでのAPI仕様作成が可能です。
   ・ ”Guide me through it”を選択すると、ガイドに従ったAPI仕様作成が可能です。 今回は、”Guide me through it”を選択したときを説明します。

   

4. ガイドに従い、入力します。

   

   作成手順については、以下も参照してください。 docs.mulesoft.com

次回は、引き続きDesign Centerの使用方法を紹介したいと思います。

本記事で、少しでもMuleSoftに興味を持って頂けたら幸いです！