「ニューラルネットワークは決定木である」
活性化関数の随伴を考えて行列積側に押し付けることで多層NNを複数の行列積に解釈でき決定木のアルゴリズムに変換できる
同様の考え方でSkip Connectionや正規化層、CNNも決定木と解釈できる/
Neural Networks are Decision Trees
L4ノルムが本質的に使われてる最適化手法があった👀
探索空間が直行行列の場合、L4ノルムを最大化するのは符号付き置換行列に限り、さらに局所解が大域解になると予想されてるらしい/
Complete Dictionary Learning via L4-Norm Maximization over the Orthogonal Group
Groq is a Radically Different kind of AI architecture
Among the new crop of AI chip startups, Groq stands out with a radically different approach centered around its compiler technology for optimizing a minimalist yet high-performance architecture. Groq's secret sauce is this…
2つの型が同型であるかどうかを型レベルの等式推論で証明するテクニックがまとまっている論文👀
一見非自明な2つの木の同型
data Rose a = Rose a [Rose a]
data Fork a = Leaf a | Fork (Fork a) (Fork a)
の証明は不動点も絡んでいて面白い👀/
Reason Isomorphically!