Sipeed 6+1マイクロホンアレイ　Dock/Go/Bitに適用

Sipeed MAIX：エッジ（端末側）でAIをする

AIは現在非常に人気であり、消費者でも企業でも広く利用されます。接続デバイスの急速発展、プライバシー・機密性に対する重視の強めに伴い、または低遅延が求められ、帯域制限がある原因で、クラウドでAIをするモデルは、これからエッジで処理できるように進化するという趨勢があるようです。

MAIXとはSipeed MAIXによって設計されたエッジAIに専属モデルで、AIoTとも言います。MAIXは小さいフットプリント、低電力消費であるなのに、高性能にエッジで高精度のAIを実行できます。また、手頃な価格なので、IoTデバイスと合わせて広く利用されることが可能です。そう言えば、Sipeed MAIXはGoogle edge TPUと似ていますが、実はedge TPUというアクセラレータではなく、マスタコントローラです。そのため、AP+edge TPUソリューションに比べて、Sipeed MAIXは価格がよりやすく、消費電力もより低いです。

MAIXのメリットおよび応用場合

• ハードウェアだけではなく、MAIXはエンドツーエンド（end-to-end）またはハードウェア＋ソフトウェアの構造をベースとして、利用者のAIソリューションのデプロイを推進できます。
• 高性能、小さいフットプリント、低電力消費、ローコストで、エッジで高精度のAIの実行ができます。
• MAIXはカスタマハードウェア、オープンソフトウェアまたは最先端のAIアルゴリズムを組み合わせたもので、エッジで高性能のAIソリューションのデプロイが簡単にできます。
• MAIXは現在産業における数多くのユースケース、例えば予知保全、異常検知、マシンビジョン、ロボット工学、音声識別などで広く利用されてきます。製造業、オンプレミス、医療、小売業界、知能スペース、運送などの分野でも広く利用されます。

MAIXのCPU

• ハードウェアのほうで、内蔵の高性能のKPU K210 で、MAIXは以下のフィーチャを有します。
• 2018年9月に登場した性能一番高いRISC-Vチップ、AIチップを搭載します
• 28nmのプロセス、デュアルコアRISC-V 64bit IMAFDC、オンチップ8MBの高速 SRAM（XMR :Dに適合しない）、周波数が400MHz（800MHzまで可能）
• 内蔵式のKPU (Neural Network Processor) 搭載、64KPUは576bitのバス幅で、畳み込みニューラル、有効化機能をサポートします。400MHzで 0.25 TOPS、オーバークロックの状態では800MHzで、0.5 TOPSで働きます。つまり、物体識別60fps@VGAが可能です
• 内蔵式のAPU(Audio Processor)を搭載、8micsをサポート、192KHzまでのサンプリングレート、ハードコアFFTユニット内蔵、マイクアレイができます
• フレキシブルFPIOA（Field Programmable IO Array）、チップ上の48個すべてのGPIOに255個の機能をマッピングすることができます
• DVPカメラ、MCU LCDインタフェースで、DVPカメラと接続し、アルゴリズムを実行してLCDで表示できます
• 他の多くのアクセラレータや周辺機器：AESアクセラレータ、SHA256アクセラレータ、FFTアクセラレータ（APUのものではありません）、OTP、UART、WDT、IIC、SPI、I 2 S、TIMER、RTC、PWMなど

MAIXのモジュール

Sipeed MAIX-Iモジュール（M1とも呼ばれる）はK210モジュールのフットプリントが小さいという利点を引き継いで、K210、3チャンネルDC-DC電源、8MB/16MB/128MBフラッシュ（M1wモジュールはそれにwifiチップesp8285を追加）をインチスクエアモジュールに統合します。 全ての使用可能なIOは1.27mm（50mil）ピンとして発生し、ピンの電圧は3.3Vと1.8Vから選択可能です。

Sipeed 6+1マイクロホンアレイDock/Go/Bitに適用

Sipeed 6+1マイクロホンアレイとはマイクロホンが6つ付きの拡張ボードです。AIおよび音声のアプリケーションに応用するMAIX AI開発ボードに用いられます。
6+1個のデジタルマイクロホン、12つの三色LEDを搭載し、音声定位、ビームフォーミング、音声識別なども対応します。

MAIXのソフトウェア

MAIXは、オリジナルのスタンドアロンSDK、FreeRTOS SDKベースのC/C ++をサポートします。

また、micropythonはMAIXに移植されます（ http://en.maixpy.sipeed.com/でご参照ください）。MAIXは FPIOA、GPIO、タイマー、PWM、フラッシュ、OV2640、LCDなどをサポートし、それにzmodem、vi、SPIFFSがあるので直接pythonまたはsz / rzファイルを編集することができます。それに貢献していただければうれしいと思います。

https://github.com/sipeed/MaixPy//Maixpy プロジェクト

https://github.com/sipeed/MaixPy_Doc_Us_En_Backup//Maixpy wiki プロジェクト

MAIXのディープラーニング

MAIXは、主流のトレーニングフレームワークが特定の制限規則に従ってトレーニングする固定点式（fixed-point）のモデルをサポートし、モデルを独自のモデル形式にコンパイルするためのモデルコンパイラを備えています。

tiny-yolo、mobilenet-v1、そしてTensorFlow Liteをサポートしています。 多くのTensorFlow LiteモデルをコンパイルしてMAIX上で実行することができます。また、後でモデルのショップが登場し、それでモデルのトレードができます。