intsuc
@intsuc
Followers
1K
Following
45K
Media
2K
Statuses
24K
Minecraft, プログラミング言語, 言語モデル など
1.21.6-pre2
Joined December 2015
JVMタイムソースの値をミリ秒単位で計算するデータパックのバージョン1.0.0を公開しました。.
github.com
Calculates the current value of the JVM's high-resolution time source in milliseconds - intsuc/get_millis
0
0
17
これ結局のところ、プログラム木のどこを先に決めて型主導で残りのプログラム探索範囲を狭めるかという問題なので難しいなと思う。. 例えば f : A → B, a : A の環境下で関数呼び出しの構文が.・f(a) の場合 f( の時点で型 A で探索ができる.・a.f() の場合 a. の時点で型 A.
graic.net
Programs Should Be Valid as They Are Typed
0
0
2
いずれは人工言語とそのLLMを作りたいけど、とりあえず個人レベルでどこまで良い日本語LLMを作れるか確かめたい。（流暢に読める文字列が出力されたほうが学習のモチベーションが上がるということに気づいた。）.
0
0
8
人工言語界隈で自作の人工言語を話すLLMを作る話をあまり聞かないなと思ったけど、そもそもLLM自作の話がほぼ無い上に、人工言語はデータセット合成がほぼ必須という難しさがあるのでそれはそうか。.
1
0
7
自作の日本語LLM、日本語を理解しつつも具体的な現実世界とはできる限り切り離した（ある種役に立たない）ものにしたい。（言語と地理と文化は紐づいているので完全に分離するのは難しいだろうけど）. 例えば「富士山の高さは何メートル？」の続きとして.
1
0
9
RT @googleaidevs: Introducing Gemma 3 270M! 🚀 It sets a new standard for instruction-following in compact models, while being extremely eff….
developers.googleblog.com
0
320
0
LLM全般で気になっていることは、専用の言語とアーキテクチャーを作ればコストあたりの性能を引き上げられるのではないかということ。.データセットをどうやって作るか(翻訳専用のモデルも作る？)、外語で溢れている実世界とどう相互作用できるようにするかが問題。.
0
0
3
あと日本語LLMで気になっていることは、トークンに品詞情報や読み仮名や漢字構成や高低アクセントの情報を追加できないか、追加するとどうなるか。.
1
0
2
自分はLLMをタスク処理用のツールとして使い倒したり、LLMのアーキテクチャーについて学習・実装したりしている上で、LLMに人格を見出して依存することに肯定的で理解ができるのだけど、.世の中を見ている限りこのどちらかのグループに綺麗に分かれていそうなのが意外だった。.
0
0
2
Decoder-only transformer、別に明示的な位置エンコーディング無しでもトークンの位置を学習できたのか。（アテンションマスクのおかげでトークンの位置によってアテンションスコアに影響するトークンの数が変わることを上手く利用するようになるらしい。）.
0
0
3
特定の作品の詳細のような他のタスクへの応用性の低い知識がパラメーターに含まれているともったいない気がするので、そういう知識はモデル外部に置いておいて検索させた方が良いのではないかと思っている。.
0
0
5
RT @OpenAI: Our open models are here. Both of them.
openai.com
Advanced open-weight reasoning models to customize for any use case and run anywhere.
0
3K
0
さらにlogit biasだけで意味論的にも正しい（正しく型付けされている等）コードを確実に生成するには、言語はどのような性質を[持てる/持っている必要がある]だろうか。.
0
0
0
（プログラミング）言語の文法がLL(1)だと、logit biasをかけることで（片方向の）LLMに確実に構文的に正しいコードを生成させられるので良さそう。.
2
0
7
