HRWKV7-Reka-Flash3.1-Preview. Hybrid RWKV 21.5B. AMD Developer Cloudの初期クレジット(100USD)+.100USD課金くらいで、できました。. MI300x 4days 500MToken+. ちまちまと、追加トレーニングしていきます.

Radeon AI Pro R9700 想定の半額なんだけど. 1299USD 32GB FP8対応. 売れるでしょこれ。.

RT @Grummz: Now hiring - waifu engineers. This is the best timeline.

hqq情報が少ないのだけれど、.モデルパラメータが20B以上であれば. Attn 4bit + mlp 3bitはいけるらしい？？.

予算ができれば、70B、、行きたい😂. ただ、64層以上の勾配安定性はまだわからない（笑）.

Continuing to optimize RWKV-Infer. Hybrid 21B ctx64k running with 21GB VRAM🙂.(python process 19GB). 6/7 RWKV o(n) + 1/7 * GQA o(n^2). soon support with Hybrid.hqq gemlite, bnb 4bit, fpx,fp8. Easy to scale multibatch

Hxa079にGated Memory Unit追加した. Hxa07a 1.8Bで試してる。. 雰囲気必要なさそうだけど。.

タコピーってベースモデルに近い存在で、.RLHFなしで、世に出すとああなると思った.

MuonClipだれか実装してくれないかな（他力本願）.

RocmでもいけるTritonな、.爆速8bit Gemmカーネルを募集しています. Forward Onlyでもよいので、あれば教えていただけると嬉しいです.

Reasoningしても、日本語しゃべるくらいには、.中期記憶できるようになってきました。. 32kコンテキストくらいまでは、狙えそう.130kねじ込んでも崩壊はしなくなりました. フルRWKVだと、Reasoningの勢いで、本来の質問が忘却して英語でしゃべってしまうので、多少は進歩したかも

Rekaちゃん、.日本語ベンチはそこそこなのに、.体感では明らかにQwen3-14Bより賢い. 評価が難しいね.

あくまで自分が思っているのだけれど、. ReasoningモデルのRFTで、.Reasoningが長くなるように過剰にRLされたモデルは、.Repeat Penaltyを上げるか、 Tempを下げる必要があ���、. 多様性が、失われる傾向にある.ベンチ性能は稼げるが、体感性能がそこまで上がらない. なにが正解なんだろうね.

Reka 3.1 Conversion in progress 🙂

RT @sama: we planned to launch our open-weight model next week. we are delaying it; we need time to run additional safety tests and review….

3.1の変換RTAしようと思いますー.

RT @RekaAILabs: 📢 We are open sourcing ⚡Reka Flash 3.1⚡ and 🗜️Reka Quant🗜️. Reka Flash 3.1 is a much improved version of Reka Flash 3 that….

AMD Developer Cloud. とても使いやすくて、安いので、.しばらくこれを使おうと思います. なにより、最新Rocmが使える.

このモデルの変換にあたって、 RADLADS論文を踏襲し魔改造しています。. この分野は研究されている方が少ないので、.ぜひみなさまで盛り上げていきたいと思います.

Reka-Flash-3 Hybrid Preview is here🪿+🤖. 21.4B Parameters, 1/7 GQA Hybrid RWKV. 32k ctx NIAH(64k target).for light agentic-tasks,translation. やっと、まともに動くようになってきました😅.