2021-02-16

Amazon Chime SDKで音声からノイズを除去する

はじめに

こんにちは。研究開発室の岡田です。

前回の記事では、Amazon Chime SDK for JS¹のVideo Processing APIを使い映像を加工して仮想背景を実現する方法をご紹介しました(参照)。今回は、音声を加工するについてご紹介します。Amazon Chime SDK for JSは、入力された音声からノイズを除去するVoice Focusという機能を提供しています。今回はこの効果を見ていきたいと思います。

こちらの動画は実際にVoice Focusを適用したものです(00:11～)。かなりきれいにノイズを抑えることができてますね。

Amazon Chime SDK for Javascript, noise suppression function(Voice Focus) test

Amazon Chime SDK for JSはAmazonが提供するビデオ会議システムをWebアプリに組み込むためのSDK。↩

2021-01-19

注目のGoogle Meet 仮想背景機能のモデルをAmazon Chime SDKで使ってみた

こんにちは。研究開発室の岡田です。

前回の投稿でAmazon Chime SDK *1のVideo Processing APIを使って仮想背景を実現する方法をご紹介しました。この中では人物と背景のセグメンテーションをBody Pixを用いて行っていました。今回は、より軽量といわれているGoogle Meetのモデルを用いて仮想背景機能を実装、評価してみたいと思います。

こんな感じに動きます。 f:id:Wok:20210118215437g:plain

2021/03/28：M1 Macでの追加検証を追記しました。また、BodyPixのアップデートにより処理時間が変わったのでアップデートしました。

こっちも見てね：TFLiteをWasm化(WasmSIMD化)してGoogle Meet 仮想背景機能を動かす

*1:Amazon Chime SDKはAmazonが提供するビデオ会議システムをWebアプリに組み込むためのSDK。

2021-01-04

Some cool application with machine learning Part 2

研究開発室の馮志聖(マイク)です。

First I will talk about remove background use semantic segmentation on ios.

And I will extend this to AR Cut and Paste.

Second I will talk about use Real-time Text Recognition with Document Classifier on ios.

2020-12-29

Amazon Chime SDK の新機能 Video Processing APIを使って仮想背景を作る

こんにちは。研究開発室の岡田です。

12月21日にAmazon Chime SDK JS version 2.3.0がリリースされました。このリリースでは、新機能Video Processing APIが追加されました！

github.com

Video Processing APIはビデオ会議で用いる自分のカメラの画像(フレーム)を転送前に編集するAPIになります。これを使えば、たとえば、カメラの画像に写り込んだ背景をぼかす仮想背景機能が実現できます。実現方法は、公式のドキュメントを読む限り、以前このブログで紹介したHTMLCanvasを使用して実現していた方法に近いように思われます。とうとう公式実装が来たか！という感じです。ワクワクしますね。

それでは早速Video Processing APIを使って仮想背景を作ってみることにしましょう。

2020-11-30

Amazon Chime SDK React Component LibraryのデモにChat機能を追加する

こんにちは。研究開発室の岡田です。

前回、Amazon Chime SDK React Component Libraryについて簡単な紹介記事を投稿しました。執筆時点での、このライブラリの最新のアップデートであるver1.5.0ではChat関連のコンポーネントが追加されました。今回、これを使ってAWS公式のデモにChat機能を追加してみようと思います。

具体的には、このようなものを作ります。

f:id:Wok:20201126120942g:plain