はじめに 深層学習の成功を支えてきたバックプロパゲーションですが、その発明者の一人であるGeoffrey Hintonが、それを置き換える可能性のある新しい学習アルゴリズムを提案しました。「Forward-Forward Algorithm（FF）」と呼ばれるこの手法は、逆伝播を完全に排除し、2つの順伝播パスだけで学習を行います。生物学的に妥当な学習法として、また低消費電力ハードウェアでの実...

はじめに ニューラルネットワークの学習において、バックプロパゲーションは圧倒的な標準手法として君臨しています。しかし、この手法には「生物学的に妥当か」という根本的な疑問が常につきまとってきました。今回紹介する論文は、1990年代に日本で提案されながら言語の壁により国際的に認知されてこなかった「誤差拡散学習アルゴリズム（Error Diffusion Learning Algorithm,...

はじめに 2024年、映画「Winny」の公開をきっかけに、金子勇氏が考案した「ED法（誤差拡散法）」が再び注目を集めました。 ED法は、現在のAI学習の主流である「誤差逆伝播法（バックプロパゲーション）」を使わずに、ニューラルネットワークを学習させる手法です。2024年に有志がED法を再実装し、MNISTという手書き数字認識タスクで98%以上の精度を達成しています。 2025年4月には、K...

はじめに Meta Superintelligence Labsから、音声・映像・テキストの3つのモダリティを統合的に扱える新しいエンコーダー「Perception Encoder Audiovisual（PEAV）」が発表されました。1億件規模の合成キャプションデータを活用し、音声認識、音楽分類、動画理解など幅広いタスクで従来手法を大幅に上回る性能を達成しています。 従来のマルチモーダルモ...

はじめに LLMエージェントの訓練において、実世界との相互作用データの収集コストは深刻なボトルネックとなっています。Princeton大学とByteDanceのチームが提案するGenEnvは、この問題に対して「データが進化する」という新しいパラダイムで挑みます。エージェントの学習段階に応じて難易度が自動調整される環境シミュレータとの共進化により、7Bモデルでありながら72B/405Bモデルに...