Second stop on the journey! RWKV-Qwen3-30B-A3B-Hybrid 🚀 (Preview) ✨ 30B params running on 24GB GPU 📊 81.25% RWKV layers → just 1/5.3 KV cache 🔧 Custom llama.cpp support 🎯 2-3× longer context on consumer GPUs 🌟 My very first MoE! https://t.co/efiuRrraEA

いいじゃん

30Bと Search APIを使ってLLM的に納得いくまで 調べる君作ってみてる

よく、GPTとかClaudeとか性能ナーフの話がでたりするけど、Active Expert数を増やしたり、減らしたりしているのかな？ それによって、ユーザー当たりのComputeをコントロールする的な。

フルRWKVでも実質Ctx長を32kくらいまで伸ばせる可能性見えてきたので、 T-BPTTの記憶を思いだします 爆発した記憶しかないけど

Vision Embeddingトークン、想像以上に手ごわい 空間認知能力は、テキストEmbeddingによるAttention蒸留は機能しないかもしれない 転移してほしかったんだけどねー

うげぇぇ

POWERRRRRRRRRRRRR

Manusちゃん、進化してて、 とてもすごい(語彙力ない)

hxa07C + MRoPE Stage1 done Vision Encoder + Full Linear

07C フル線形Ver 600mtk で、8kにはまだ届いてない https://t.co/BYdB2DIZil

来年も、研究して研究して研究して研究して研究してまいります プロダクトも作りたい 箱を作ろうとしてます🙂

Value残差接続の有効性について、有意な差が得られず、 07cでは削除してるのだけれど、あったほうがいいの？ないほうがいいの？ 推論時にGraph Breakの可能性が高まるから、削除したいんだけど。

DDR5が高騰しすぎて、Zen3 128GBおじさんから 卒業できない。。。

予想よりは、Lossはまだ高いけど、 フル線形だからこんなものかな？？ フル変換だと、外挿がほとんどできないので、 8kでトレーニングしてます 目標は<0.14くらいかなー

うまくいってくれー ひさしぶりにFull RNN

hxa07Dも構想中 Multi Head Latent Linear Attention 😀

よいニュースとしては、 hxa07Cは、 現時点ですべての項目(収束特性、過学習耐性、コンテキスト長)で、hxa079を超えられています。 いったん、ローカルPC or ライトCloudを前提としたデプロイソリューションも同時に開発中です 基本的にはOSSで公開します。

日本のAI規制案はいったん見なかったことにして、 RWKV hxa07Cハイブリッドを確実にリリースできるようにがんばります。 メモリが高騰する中、 ビジネスを考えていくうえで 16GB PCでの快適動作は必須な気がしています。

gpt 5.2になって、地味に値上がりしてるのね。

海外に法人設立して、そこから 国内法人に開発依頼という体裁、 デプロイ、管理などは海外で完結させ、 日本側ではAPIで使わせてもらう という形で逃げるしかないのでは？