1 定義と基本概念
1.1 NPUとは何か
NPU（Neural Processing Unit）は、人工知能の推論処理と機械学習の実行に特化した専用プロセッサである。ニューラルネットワークにおける行列乗算、畳み込み演算、活性化関数の適用などをハードウェアレベルで高速に処理するよう設計されている。汎用プロセッサと比較して、同じ処理を実行する際に消費電力あたりの性能が大幅に高い点が特徴である。
1.2 CPU・GPUとのアーキテクチャ上の違い
CPUは逐次処理と汎用性に優れ、GPUは並列処理に特化しているが、どちらも本来は汎用演算を前提とした設計である。これに対しNPUはニューラルネットワークの演算パターン（多数の積和演算、データ並列性の高さ、精度の柔軟性）に特化しており、SIMDやSIMTの制御オーバーヘッドを削減し、データフローを最適化している。また、NPUは低精度演算（INT8、BF16など）を効率的に実行できる専用ハードウェアを備え、GPUが多用するキャッシュ階層やスレッドスケジューリングとは異なるアーキテクチャを採用する。
1.3 ニューラルネットワーク処理の特性
ニューラルネットワークの推論処理は、多数の乗算と加算を繰り返す行列演算が支配的である。また、活性化関数（ReLU、Sigmoidなど）やプーリング、正規化など非線形・非算術的な処理も含む。これらの演算はデータ局所性が高く、モデル全体を固定パラメータとしてオンチップメモリに保持することで外部メモリアクセスを削減できる。NPUはこうした特性を活かし、演算ユニットとメモリ階層を密結合することで、高スループットかつ低レイテンシを実現する。
2 歴史と発展
2.1 専用AIアクセラレータの黎明期
1990年代から2000年代にかけて、ニューラルネットワーク専用のハードウェアアクセラレータの研究が進められた。初期の試みには、アナログ回路を用いたニューロチップや、FPGAベースの再構成可能アクセラレータがある。しかし、実用的な性能とコストのバランスが難しく、広く普及するには至らなかった。2010年代半ば、ディープラーニングの台頭により、大規模な行列演算を高速に処理するための専用チップへの需要が高まった。
2.2 スマートフォン向けNPUの登場（2017年以降）
2017年、AppleがiPhone X向けにA11 BionicチップにNeural Engineを搭載したことで、NPUが民生デバイスに初めて本格採用された。これに続き、HiSiliconのKirin 970に搭載されたNPUなど、各社がスマートフォン向けSoCにNPUを統合し始めた。これにより、顔認証、写真のシーン認識、リアルタイム翻訳などの機能がオンデバイスで実現可能となった。
2.3 データセンター・エッジ分野への拡大
スマートフォンでの成功を受け、NPUはクラウドデータセンターやエッジコンピューティング向けにも展開された。GoogleのTPU、IntelのNervana、Habana Gaudiなどがデータセンター向けに開発され、一方で低消費電力が求められるIoTデバイスや組み込みシステム向けにも小型NPUが投入された。2020年代には、自動運転、ロボティクス、産業用検査など、幅広い分野でNPUが採用されている。
3 アーキテクチャの詳細
3.1 データフローと制御方式
NPUのデータフローは、ニューラルネットワークのレイヤーごとに異なる演算パターンに最適化される。代表的な方式として、入力データをストリームで流しつつ重みを固定する「重み固定データフロー」、入力と重みの両方を移動させる「データフロー分散型」などがある。制御方式はシーケンシャルな命令フェッチを最小限に抑え、パイプラインとDMAを活用してメモリアクセスを効率化する。
3.2 演算ユニット構成
3.2.1 MAC（乗算累算）アレイ
NPUの核となる演算ユニットは、多数のMAC（Multiply-Accumulate）回路を格子状に並べたアレイである。各MACは入力値と重みの乗算結果を累積加算し、畳み込み層の出力を一度に多数計算する。アレイサイズは製品により8×8から256×256まで幅広く、演算精度に応じてMAC回路の構成が変わる。
3.2.2 活性化関数ユニットとプーリング
MACアレイの出力は活性化関数ユニットに渡され、ReLU、Leaky ReLU、Sigmoid、Tanhなどの非線形変換が行われる。これらのユニットはルックアップテーブルや近似計算回路を用いて少ないハードウェアリソースで実装される。また、プーリング層（Max Pooling、Average Pooling）の処理も専用ハードウェアで行われ、演算パイプラインに統合される。
3.3 オンチップメモリ階層
NPUは外部メモリアクセスの遅延と消費電力を削減するため、大きなオンチップSRAM（通常数MB～数十MB）を備える。ここにはネットワークの重みパラメータ、入力特徴マップ、中間結果が格納される。階層構造として、各MACアレイにローカルなバッファ、全体で共有するグローバルメモリ、そしてDMAコントローラによる効率的なデータ転送機構が組み合わされる。
3.4 量子化と精度のトレードオフ
ニューラルネットワークの演算は、32ビット浮動小数点から低ビット精度（INT8、INT4、さらにはバイナリ）に量子化することで、消費電力と計算速度が大幅に向上する。NPUはこの量子化されたデータ形式をネイティブで処理できるように設計されており、精度低下と性能向上のトレードオフを調整する機能（スケーリングファクター、クリッピングなど）をハードウェアでサポートする。量子化誤差の軽減には、量子化対応訓練やキャリブレーション手法が併用される。
4 主な用途と応用分野
4.1 画像・動画認識
画像分類、物体検出、顔認識、セマンティックセグメンテーションにおいて、NPUは畳み込みニューラルネットワークの処理を高速化する。スマートフォンのカメラ機能（ポートレートモード、夜景モード、スーパーレゾリューション）や、監視カメラのリアルタイム解析などに利用される。
4.2 音声・音響処理
音声認識、話者識別、ノイズキャンセリング、音声合成（TTS）などでNPUが活用される。スマートスピーカー、ヘッドフォン、車載システムにおいて、常時動作の音声ウェイクアップやリアルタイム翻訳を低消費電力で実現する。
4.3 自然言語処理と大規模言語モデル
Transformerベースの言語モデルの推論処理は、注意機構（Attention）の行列演算がボトルネックとなる。NPUはこの演算を効率的に実行でき、近年では大規模言語モデル（LLM）の精度維持のための高ビット精度演算や、スパース構造への対応も進んでいる。オンデバイスでのテキスト生成や感情分析に利用される。
4.4 自律システム（自動運転・ロボット）
自動運転車やロボットでは、カメラ、LiDAR、レーダーからのセンサーデータを統合し、物体認識、経路計画、制御をリアルタイムで行う必要がある。NPUはこの一連の処理を低レイテンシで実行するために必須のコンポーネントであり、車載向けには機能安全基準への対応も求められる。
5 主要な実装例
5.1 Apple Neural Engine
Appleは2017年のA11 Bionic以降、各世代のSoCにNeural Engineを搭載している。現在は16コア構成で、毎秒数十兆回の演算（TOPS）を達成。Core MLフレームワークを介してアプリケーションから利用でき、画像認識、音声認識、AR処理などをオンデバイスで実行する。
5.2 Qualcomm Hexagon（Snapdragon NPU）
QualcommのHexagon DSPは、ベクトル拡張とAIアクセラレータとしての機能を統合し、Snapdragon SoC内にNPUを提供する。HVX（Hexagon Vector eXtensions）、HTA（Hexagon Tensor Accelerator）などを含み、画像、音声、センサーデータの処理に特化。AI Engineソフトウェアスタックにより、様々なニューラルネットワークを効率的に実行する。
5.3 MediaTek APU（AI Processing Unit）
MediaTekはDimensityシリーズにAPUを搭載し、マルチコア構成で異なる精度の演算を同時実行可能。VPU（Vision Processing Unit）を統合し、カメラと連携した高度な画像処理を低消費電力で実現する。
5.4 その他（HiSilicon、Samsung、Intel、AMDなど）
- HiSilicon Da Vinciアーキテクチャ（Kirin 970以降）：キューブ型MACアレイと3D積層メモリを採用。
- Samsung Exynos NPU：独自のコア設計とSamsung Neural SDKでサポート。
- Intel：Movidius VPU、Nervana NNP、Habana Gaudi/AIプロセッサなど。
- AMD：Ryzen AI（XDNAアーキテクチャ）として統合NPUを提供。
6 性能評価と指標
6.1 演算性能（TOPS / TFLOPS）
NPUのピーク演算性能はTOPS（Tera Operations Per Second、主に整数演算）またはTFLOPS（浮動小数点演算）で表される。スマートフォン向けでは数～数十TOPS、データセンター向けでは数百～数千TOPSに達する。ただし、ピーク値は理想的な条件下での値であり、実際の性能はメモリ帯域やデータフローに依存する。
6.2 消費電力と電力効率
NPUの重要な指標は電力効率（TOPS/W）である。スマートフォン向けでは数W以下の制約の中で高い効率が求められ、データセンター向けでも冷却コスト低減のために効率が重視される。一般的に、低精度演算とスパース演算のハードウェアサポートが電力効率を大きく向上させる。
6.3 ベンチマークと実アプリケーション性能
業界標準のベンチマークとしてはMLPerfやAI Benchmarkなどがあり、画像分類、物体検出、自然言語処理などのタスクで性能を比較する。実アプリケーション性能は、モデルの種類、バッチサイズ、レイテンシ要件などに左右されるため、単一の数値では評価が難しい。
7 将来の展望と課題
7.1 エッジAIの進化とオンデバイス学習
これまでは主に推論処理が対象だったが、エッジデバイス上でモデルのファインチューニングや連続学習を行うオンデバイス学習が期待されている。これには、逆伝播計算のための高いメモリ帯域と柔軟な演算精度が要求され、NPUアーキテクチャの進化が必要となる。
7.2 異種混載（CPU+GPU+NPU）アーキテクチャ
システム全体の効率を最大化するため、CPU、GPU、NPUを統合した異種混載アーキテクチャが主流となっている。各プロセッサに最適なタスクを動的に割り振るスケジューリング技術と、統一されたメモリ空間・プログラミングモデルが課題である。
7.3 ソフトウェアエコシステムと最適化の課題
ハードウェアの性能を引き出すには、コンパイラ、ドライバ、フレームワーク（TensorFlow、PyTorch、ONNX Runtimeなど）との連携が不可欠である。各ベンダー固有のSDKの存在が相互運用性を阻害しており、標準化された中間表現（MLIRなど）や共通APIへの期待が高まっている。また、モデルの量子化、プルーニング、知識蒸留などソフトウェア側の最適化技術も継続的に発展する必要がある。