音声_拡散モデルのデザイン空間を解明する：理論と実装の統一的視点 скачать в хорошем качестве

音声_拡散モデルのデザイン空間を解明する：理論と実装の統一的視点

Tero Karras, et al. "Elucidating the Design Space of Diffusion-Based Generative Models." arXiv:2206.00364 (2022). 拡散ベース生成モデルの設計空間の解明 本ブリーフィング資料は、拡散ベース生成モデルの理論と実践に関する論文「Elucidating the Design Space of Diffusion-Based Generative Models」の主要なテーマと洞察をまとめたものです。同論文は、拡散モデルの現状が不必要に複雑化しており、設計上の選択肢が不明瞭になっていると主張します。この問題に対処するため、サンプリングプロセス、学習プロセス、スコアネットワークの事前条件付け（preconditioning）といった具体的な設計要素を明確に分離する、統一された設計空間を提示しています。 論文の主要な貢献は、サンプリングと学習プロセスの両方に及ぶモジュール式の改善です。サンプリングにおいては、高次のHeun法積分器、最適化された時間ステップ離散化、および直線的な軌道をもたらすノイズスケジュール（σ(t) = t）を導入することで、サンプリング速度が劇的に向上しました。これにより、例えばVEモデルでは従来比で最大300倍の高速化が達成されています。学習プロセスにおいては、ネットワークの入力・出力・損失関数に対する原理に基づいた事前条件付け、新たな損失重み付け手法、そしてGANの分野で用いられる非リーク拡張（non-leaking augmentation）を導入し、モデル性能を大幅に引き上げています。 これらの改善を統合した結果、論文は複数のデータセットで最高性能（SOTA: State-Of-The-Art）を達成しました。特に、クラス条件付きCIFAR-10でFIDスコア1.79、無条件で1.97という記録を、画像あたりわずか35回のネットワーク評価という高速サンプリングで実現しています。さらに、提案手法の有効性は既存モデルにも及び、学習済みのImageNet-64モデルに改良されたサンプラーを適用するだけでFIDスコアを2.07から1.55に改善し、提案手法でゼロから再学習したモデルではSOTAとなるFID 1.36を達成しました。これらの改善はモジュール式であるため、既存の様々な拡散モデルにドロップインで適用可能であり、今後の研究開発における個々のコンポーネントの革新と探求を促進することが期待されます。