Koki Saitoh 斎藤康毅
@SaitohKoki
Followers
8K
Following
545
Media
68
Statuses
267
ゼロから作るのが好きです。著書に『ゼロから作るDeep Learning』など。
Joined May 2013
6月刊行予定の『ゼロから作るDeep Learning ❻ ―LLM編』にカバーイメージを追加しました！今作の動物はAustralian lungfish（オーストラリアハイギョ）です。 サンプルのためまだモノクロですが、とてもよい雰囲気が出ています🐟🐟 https://t.co/uhD8JEqIKn
https://t.co/jQJ6KpcN13
amazon.co.jp
人気シリーズの第6弾。今回のテーマは「大規模言語モデル（LLM）」です。ChatGPTの魔法のような能力、その仕組みを自らの手で解き明かしてみませんか？ 本書では、トークナイザからTransformer、事前学習から事後学習まで、LLMを支える技術をゼロから実装します。実装の舞台となるのは、CodeBot→StoryBot→WebBotという3段階のチャットボット開発。作るほどに、見えてくる...
0
25
114
『ゼロから作るDeep Learning ❻ ―LLM編』査読者リストページを作成しました。 多くの方にご協力いただきました。ありがとうございます！ 漏れ・誤記があればお知らせください🙏 https://t.co/mWYzGjWzmq
notion.so
黒沼 美樹 久万 善広 矢島 陽樹 米谷 裕輝 大橋 七熙 小杉 孝嗣 杉岡 新 田島 逸郎 中村 彰悟 熊沢 遙 小山 修生 和田 信也 山本 祐士 後藤 裕二 後藤 晃郁 鈴木 真理 星生 大輔 木村 和貴 三輪 光 山下 隆久 宇田 竜健 芹澤 龍生 岩崎 陽平 藤根 大己 熊田 光徳 奥谷 大介 市川 遥紀 清水 雄佑 穴井 佑樹 本郷 颯人 上津 亮太朗 高橋 功 赤坂 英彦 前田...
1
8
77
『ゼロから作るDeep Learning ❻ —LLM編』の公開レビューが終了しました。 参加してくださった皆さま、本当にありがとうございました。いただいたフィードバックのおかげで、本がより良いものになりました。
1
16
211
明日までです。 公開レビュー「ゼロから作るDeep Learning❻️—LLM編」 https://t.co/TGbMdZCTt2
1
13
117
RoPEは、「回転」というシンプルなアイデアで相対位置を表現できるのが美しいです。 2次元の回転行列から始めて、高次元への拡張、そして実装まで。 ゼロから作るDeep Learning❻—LLM編（公開レビュー中） https://t.co/3kVVcE1T3X
0
32
270
【📢まもなく終了】 2026年6月刊行予定の人気シリーズ最新刊『ゼロから作るDeep Learning ❻ ―LLM編』の公開レビューを実施中です✨ レビュー期間は1月18日（日）まで。本文の原稿をご覧いただけます。コメントも歓迎しておりますので、みなさまぜひご参加ください！ https://t.co/II9g2NObNI
0
18
74
BPEトークナイザはUTF-8でテキストをバイト列に変換します。 "a" → [97] "あ" → [227, 129, 130] "😁"→ [240, 159, 152, 129] 文字によって長さが違う。どういう仕組みか？興味のある方は👇 ゼロから作るDeep Learning❻️—LLM編（公開レビュー中） https://t.co/QhOx83SRxV
0
2
26
トークナイザとは、テキストをIDの列に変換するもの。下記は文字単位のトークン化の実装 text = "hello世界😁" ids = [ord(w) for w in text] たったこれだけ（ordはユニコードへの変換）。ここから「なぜBPEが必要か」が見えてきます。 👇 公開レビュー中 https://t.co/IUDgc6vng7
0
1
42
BPEトークナイザの仕組み 1. テキストをバイト列（0〜255）に変換 2. 隣接するペアの出現回数をカウント 3. 最頻出ペアを新しいトークンに置き換え 4. 2〜3を繰り返す つまりは「よく出るペアをまとめる」を繰り返すだけ 👇 公開レビュー中 https://t.co/NPwJkIdWRt
0
5
48
本書で作る3つのチャットボット： 🟡 CodeBot：Pythonコードを書く 🔵 StoryBot：子供向けの物語を生成 🔴 WebBot：インターネット規模のデータで学習 👇 ゼロから作るDeep Learning❻️—LLM編（公開レビュー中） https://t.co/TGbMdZClDu
0
11
63
Transformerは入力トークン数と同じ数の確率分布を出力します。 テキスト生成では最後だけ使う。学習では全部使う。この違いを押さえておくと、後の理解がスムーズになります。 👇 公開レビュー中 https://t.co/DtafVdUsZW
1
20
211
Transformerが「I ate a fresh orange」を処理するとき（イメージ） 最初「orange」ベクトルにはいろいろな意味が含まれています（果物？色？）。Attentionが周囲の言葉との関係性を見て、「これは果物だ」とベクトルを更新します。 👇公開レビュー中 https://t.co/JfvquRGcq7
1
50
395
Attentionについて、答えられますか？ ・なぜ√dでスケーリングするのか ・因果マスクはなぜ必要か ・マルチヘッドの「ヘッド」とは何か ・KVキャッシュはどう効率化を実現するか ・RoPEはどうやって位置情報を組み込むか 👇 公開レビュー中 https://t.co/83uRnEp9Tn
0
53
449
Attentionの本質は「ソフトなディクショナリ」。 普通のディクショナリは完全一致するキーの値だけを返す。一方、Attentionはクエリとすべてのキーの類似度を計算し、重み付けして混ぜ合わせた値を返す。 👇 ゼロから作るDeep Learning ❻ —LLM編（公開レビュー中） https://t.co/RQdxvfSgUb
2
87
677
『ゼロから作るDeep Learning ❻ —LLM編』の公開レビューを開始しました！ 今回のテーマはLLM。CodeBot → StoryBot → WebBotという3段階のチャットボット開発を通じて、LLMの仕組みをゼロから実装します。 https://t.co/n7dDfMfsyY
3
241
1K
ついに… Amazonではまだ予約受付のカートが開いておりませんので予告のみです。楽天ブックスは予約受付が始まっております。 著者の斎藤康毅さんによる恒例の公開レビューも予定されておりますので、続報をお待ちください！ https://t.co/jQJ6KpcN13
https://t.co/uhD8JEqIKn
0
48
231
累計発行部数が驚きの20万部を突破しているディープラーニングの超定番入門解説書『ゼロから作るDeep Learning』ですが、Amazonで読者の皆さまから寄せられた評価数が、ついに✨900個✨に到達しました🎉皆さまありがとうございます！1,000個に向けても引き続きよろしくお願いいたします！
0
14
57
こんな中学生でもNN自作できるようになる名著『ゼロから作るDeep Learning』を是非お買いください https://t.co/SQoJUfxzC0
amazon.co.jp
ディープラーニングの本格的な入門書。外部のライブラリに頼らずに、Python 3によってゼロからディープラーニングを作ることで、ディープラーニングの原理を楽しく学びます。 ディープラーニングやニューラルネットワークの基礎だけでなく、誤差逆伝播法や畳み込みニューラルネットワークなども実装レベルで理解できます。 ハイパーパラメータの決め方や重みの初期値といった実践的なテクニック、Batch...
1
41
428
