フレクトのクラウドblog re:newal

http://blog.flect.co.jp/cloud/からさらに引っ越しています

Webworkerを使ってFaceSwapとバーチャル背景を同時に行う話。

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKを用いてPPTのスライドをバーチャル背景にしたビデオ会議を行う方法をご紹介しました。

cloud.flect.co.jp

前回ご紹介した方法は、AIの処理や画像の処理をブラウザ上で行うことで実現していました。 今回はこれらの処理をwebworkerを用いて実行する方法についてご紹介したいと思います。

webworkerを使うことで、重いAI処理や画像処理を複数並列実行できるようになり、fpsの改善をはかることができます。 例えば、次の様な加工をリアルタイムで実施できるようになります。 f:id:Wok:20201018023426g:plain

続きを読む

Microsoft AzureでSpring Boot製バッチを動かすために(1)

こんにちは。クラウドインテグレーション事業部の上原です。

弊社では「クラウドインテグレーション」の名前の通り、様々なクラウドサービスを活用したシステムを提供しています。

www.flect.co.jp

私がいま参加しているプロジェクトでは、インフラとして
ググっても情報が出てこないことでおなじみ Microsoft Azureを採用しています。
このプロジェクトで新しくバッチアプリケーションを作成することになり、そのためのサービスや構成について色々と調査する機会がありましたので、今回はこちらを共有させて頂こうと思います。

続きを読む

Amazon Chime SDKでスライドをバーチャル背景に設定する

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKでビデオセッションの上限(16セッション)を超えて映像配信する実験をご紹介しました。

cloud.flect.co.jp

今回もAmazon Chime SDKについて、最近他のビデオ会議ツール等で話題になっていた機能を実現する方法をご紹介したいと思います。

今回ご紹介するのは、パワーポイントなどのスライドをバーチャル背景にする方法です。 最初に大きな話題になったのは、mmhmmでしたね。その後、Zoomでも同様の機能がリリースされました。リモートで行うプレゼンに臨場感が出て良いと思います。

これをAmazon Chime SDKを用いて実現する方法をご紹介します。 Amazon Chime SDK(js)を使うので、特にソフトウェアをインストールすることなく使えちゃいます!! また、スライド以外にも、画面共有可能なウィンドウをすべて背景にすることができます。 なので、例えばエディタとスピーカーを表示しながらライブコーディング、なんてことも出来たりします。

実際の動作イメージはこちらです。

f:id:Wok:20200823232015g:plain

続きを読む

Amazon Chime SDK で16ビデオ通話セッションを超えてみる。

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKの新機能を使って作ったホワイトボード機能についてご紹介しました。

cloud.flect.co.jp

今回もAmazon Chime SDKについての話になりますが、少しトリッキーな使い方を実験をしてみたのでご紹介したいと思います。

具体的には、単一のSPA(Single Page Application)から複数の会議室に同時に参加できるかを実験しました。 これができれば、次のことが可能になると考えています。

  • (オンラインセミナーなどで、)Amazon Chime SDKの会議室あたりの最大接続数を超える人数に向けた講義が可能になる。
  • (オンラインセミナーなどで、)グループ単位で受講者のプライバシーを保護できる。

実験の結果、次のデモのように、単一のユーザ(登壇者)が複数の会議室に参加することで、会議室あたりのビデオ通話可能な最大ユーザ数(16名)を超えるユーザに対し、同時にビデオ通話ができることが確認できました。 また、登壇者以外の各会議室の参加者(受講者)間の会話や映像は他の会議室には伝わらないため、会議室間でプライバシーも保護することができます。 f:id:Wok:20200707205736g:plain このデモでは登壇者が2つの会議室に参加することで、30名のユーザとビデオ通話しています。*1

*1:このデモでは、動画をダミーのカメラデバイスに流し込むことで30名のユーザ(受講者)を模擬している。

続きを読む

Social distance base on ARKit and CoreML

研究開発室の馮 志聖(マイク)です。

Introduction

Coronavirus is attacking the world.

Social distancing is very important.

What is social distancing?

In public health, social distancing, also called physical distancing, is a set of non-pharmaceutical interventions or measures intended to prevent the spread of a contagious disease by maintaining a physical distance between people and reducing the number of times people come into close contact with each other.

It typically involves keeping a certain distance from others (the distance specified may differ from time to time and country to country) and avoiding gathering together in large groups.

https://en.wikipedia.org/wiki/Social_distancing

Many company try to improve social distancing on technology.

One of them is Google.

Google release the tool name is Sodar.

Sodar - use WebXR to help visualise social distancing guidelines in your environment.

Using Sodar on supported mobile devices, create an augmented reality two meter radius ring around you.

sodar.withgoogle.com

This tool is interesting and useful for public health.

So I want to improve this idea.

And make it smart that the user can detect someone getting closer.

So I will create a tool it can detect the person and distance.

It use ios CoreML with ARKit.

And with New iPad Pro release from 2020.

New iPad Pro have LiDAR sensor.

LiDAR sensor is good for measure the distance.

続きを読む

Amazon Chime SDK新機能を使ってホワイトボードを実装した件

こんにちは。研究開発室の岡田です。

前回は、Amazon Chime SDKのVirtual背景の作り方についてご紹介しました。

cloud.flect.co.jp

今回も引き続きAmazon Chime SDKのお話をしたいと思います。

さて、先日AmazonAmazon Chime SDKの新機能追加を発表したのをご存知でしょうか。

Amazon Chime SDK がリアルタイムシグナリング用のデータメッセージを追加

本機能は、Amazon Chimeで使われているデータ通信路を間借りすることで、会議の参加者間でデータメッセージのやり取りを可能にする機能です。 発表にも書かれているとおり、これにより例えば会議室参加者間でホワイトボードを共有したり、絵文字のやり取りを簡単に行えたりします。 また、活用の仕方によっては、参加者のミュートを強制するなど会議室の状態制御を行うことも可能になります。

ということで今回は、早速この機能を使ってホワイトボードを作ってみましたのでご紹介したいと思います。

今回作ったホワイトボードの挙動はこんな感じです。

f:id:Wok:20200529102321g:plain

続きを読む