Amazon Chime SDK で16ビデオ通話セッションを超えてみる。

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKの新機能を使って作ったホワイトボード機能についてご紹介しました。

cloud.flect.co.jp

今回もAmazon Chime SDKについての話になりますが、少しトリッキーな使い方を実験をしてみたのでご紹介したいと思います。

具体的には、単一のSPA（Single Page Application）から複数の会議室に同時に参加できるかを実験しました。 これができれば、次のことが可能になると考えています。

• （オンラインセミナーなどで、）Amazon Chime SDKの会議室あたりの最大接続数を超える人数に向けた講義が可能になる。
• （オンラインセミナーなどで、）グループ単位で受講者のプライバシーを保護できる。

実験の結果、次のデモのように、単一のユーザ(登壇者)が複数の会議室に参加することで、会議室あたりのビデオ通話可能な最大ユーザ数(16名)を超えるユーザに対し、同時にビデオ通話ができることが確認できました。 また、登壇者以外の各会議室の参加者(受講者)間の会話や映像は他の会議室には伝わらないため、会議室間でプライバシーも保護することができます。 このデモでは登壇者が2つの会議室に参加することで、30名のユーザとビデオ通話しています。*1

*1:このデモでは、動画をダミーのカメラデバイスに流し込むことで30名のユーザ(受講者)を模擬している。

Social distance base on ARKit and CoreML

研究開発室の馮 志聖(マイク)です。

Introduction

Coronavirus is attacking the world.

Social distancing is very important.

What is social distancing?

In public health, social distancing, also called physical distancing, is a set of non-pharmaceutical interventions or measures intended to prevent the spread of a contagious disease by maintaining a physical distance between people and reducing the number of times people come into close contact with each other.

It typically involves keeping a certain distance from others (the distance specified may differ from time to time and country to country) and avoiding gathering together in large groups.

https://en.wikipedia.org/wiki/Social_distancing

Many company try to improve social distancing on technology.

One of them is Google.

Google release the tool name is Sodar.

Sodar - use WebXR to help visualise social distancing guidelines in your environment.

Using Sodar on supported mobile devices, create an augmented reality two meter radius ring around you.

sodar.withgoogle.com

This tool is interesting and useful for public health.

So I want to improve this idea.

And make it smart that the user can detect someone getting closer.

So I will create a tool it can detect the person and distance.

It use ios CoreML with ARKit.

And with New iPad Pro release from 2020.

New iPad Pro have LiDAR sensor.

LiDAR sensor is good for measure the distance.

Amazon Chime SDK新機能を使ってホワイトボードを実装した件

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKのVirtual背景の作り方についてご紹介しました。

cloud.flect.co.jp

今回も引き続きAmazon Chime SDKのお話をしたいと思います。

さて、先日Amazon がAmazon Chime SDKの新機能追加を発表したのをご存知でしょうか。

Amazon Chime SDK がリアルタイムシグナリング用のデータメッセージを追加

本機能は、Amazon Chimeで使われているデータ通信路を間借りすることで、会議の参加者間でデータメッセージのやり取りを可能にする機能です。 発表にも書かれているとおり、これにより例えば会議室参加者間でホワイトボードを共有したり、絵文字のやり取りを簡単に行えたりします。 また、活用の仕方によっては、参加者のミュートを強制するなど会議室の状態制御を行うことも可能になります。

ということで今回は、早速この機能を使ってホワイトボードを作ってみましたのでご紹介したいと思います。

今回作ったホワイトボードの挙動はこんな感じです。

Measure the distance with Eye-Tracking on ARKit

研究開発室の馮 志聖(マイク)です。

Introduction

Maybe you know, there are the rumor Apple provide the new device called 'Apple Glass'.

japanese.engadget.com

Such next generation devices are becoming more and more realistic.

With these devices, must we use the finger to touch the screen??

Never. We can use the eyes to point it.

It will become cool thing.

I made an experimental application that uses eye tracking to determine distance.

It could be implemented in Apple Glass.

Fortuitously Apple ios release the ARKit 2.

It can detect the face, eye and tongue.

This time I will use eye tracking.

Let the fantasy thing become the real.

I will use Twilio and ARKit for demo the application.

First I will talk about which technology Apple use for Eye-Tracking.

Amazon Chime SDKとBodyPixでビデオ会議システムにバーチャル背景を実装した話。

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKについてご紹介しました。

cloud.flect.co.jp

今回は、引き続きAmazon Chime SDKに関連して、自分でVirtual背景を作る方法をご紹介します。

Virtual背景とは、背景を他の画像に置き換える機能のことで、主に相手に自分の部屋を見せたくないなーというときに使うものです。 世の中のビデオ会議ソフトでZoomやMS Teamsは Virtual背景をサポートしていますが、Amazon ChimeやAgora.io、Twillioなどでは提供されていないようです。

今回は、なければ作ればいいの精神で、Amazon Chime SDKを用いたビデオ会議システムでVirtual背景を自分で作ってみようと思います。 なお、Twillioでも以下で説明するやり方でできるはずです。ドキュメントを読む限りは。（未検証）

作成したVirtual背景の動きとしては、こんな感じです。

New iPad Pro with LiDAR max distance

技術開発室の馮 志聖(マイク)です。

Introduction

I work in some project and it use New iPad Pro with LiDAR.

I try to find out the LiDAR sensor max distance.

But I can not find out any information about this.

So I try to do some experimental test.

Visual SLAM

ios ARkit is base on this.

It will create a map for AR.

And base on Localization & Mapping.

How Visual SLAM work?

IMU (Inertial Measurement Unit、慣性計測装置) with Camera.

LiDAR SLAM

What is LiDAR (Light Detection and Ranging)?

LiDAR is depth sensor.

It can detect depth data.

How LiDAR SLAM work?

IMU (Inertial Measurement Unit、慣性計測装置) + LiDAR + Camera.

issue

Brightness

For this case I will test it in morning and night.

And use application to detect the value of brightness.

Amazon Chime SDKのデモを動かしてみた件

こんにちは。研究開発室の岡田です。

前回はマルチバーコードスキャナのご紹介をしました。

cloud.flect.co.jp

今回は、だいぶ話が変わりますが、現在弊社で注目しているAmazonのビデオ会議システム「Amazon Chime」のSDKについてご紹介させてください。

さて、昨今、コロナ禍のためZoomやTeamsといったビデオ会議サービスが注目を集めています。 AWSも数年前からAmazon Chimeというビデオ会議サービスを提供しているのはご存知でしょうか？

aws.amazon.com

Amazon Chimeの特徴については、公式ページやこのページなどに纏められていますので、ここでは詳しく述べませんが、 画面共有や録音など他のビデオ会議サービスでも提供されている一般的な機能はもちろん、電話番号への発信、電話番号への SMS メッセージの送信といったこともできるようです。

我々クラウドインテグレータの視点からすると、AWSが提供しているサービスであること、そしてSDKが提供されているという点で、AWS上に構築したシステムにビデオ会議を統合しやすく、大変便利だと思っています。 弊社でもAmazon Chime SDKを用いたシステムを提案、構築しておりますので、今回は宣伝も兼ねて、Amazon Chime SDKを用いてどのようなことができるのかを、公式のAmazon SDKのデモを動かしてご紹介します。