NVIDIA NeMoを利用したgpt-ossの学習方法について記事を執筆しました NGCコンテナ内のTransformerEngine、cuDNN versionのupdateだけでなく、NeMo側の実装、Megatron-Coreの実装も修正する必要がありました LLMの研究開発において実は大変なライブラリ整備に関する記事です https://t.co/i31nfNehwf

Swallow LLM Leaderboard v2にPLaMo 3 NICTシリーズ（事前学習済みモデル）を追加しました。前バージョンのPLaMo 2と比較すると、特にコーディング (JHumanEval) で大幅な性能向上が見られ、3Tトークンで学習された31Bモデルは純国産モデルとして良好な性能と言えます。 https://t.co/TWgbJVrOh0

昨日は東京科学大学岡崎研究室 @chokkanorg に伺い、トークをさせていただきました。お誘いいただきありがとうございました！ https://t.co/xsVKY1vmdQ

【ブログ】PFNが開発している大規模言語モデル PLaMo™の次世代バージョンの開発を現在行っています。 この開発の中で行った8Bと31Bの小規模モデルによる事前学習の検証についてブログにまとめました。 モデルはHugging Faceで公開していますので是非遊んでみてください。

Findy Freelanceのユーザー様向けミートアップで登壇させてもらいました！ タイトルがイカついですが、Q&Aや交流会も盛り上がって何よりでした。 口頭での補足がメインコンテンツでしたが、資料アップしたのでよければご覧ください！ https://t.co/QI0wfEZaWe

10月はじめに行っていたデバッグ作業の一部をブログ化しました！LLM開発の裏で行われている作業の雰囲気を感じていただけますと幸いです。 LLM開発の裏で行われるデバッグ作業: PyTorch DCP｜Kazuki Fujii https://t.co/S30aNeBdbg #zenn

SwallowCode, SwallowMathのv2を公開しました。このデータセットを中間学習に使用すると、他のデータセットで学習したのと同等かそれ以上の性能（コーディングや数学において）が出ています。ライセンスもApache 2.0になり、使いやすくなりました。詳細は藤井 (@okoge_kaz) さんのスレッドで。

We’re releasing SwallowCode-v2 & SwallowMath-v2 — two high-quality, Apache-2.0 licensed datasets for mid-stage pretraining. https://t.co/mPSfrbuwvc https://t.co/LFWRGNzKUo Details in the thread 🧵

岡崎研究室は #工大祭2025 で二日間研究室公開を行いました。本日は工大祭実行委員会や大学の関係者の皆様の強い思いで開催できることになり、ドタバタでしたが、たくさんの方にご来場頂き、ありがとうございました。うちの研究室の学生だけでなく、荒瀬研の学生さんにも展示を手伝って頂きました。

本学の安全確認完了と工大祭の再開 https://t.co/rfuZBlwld7 #ScienceTokyo

爆破予告による工大祭の中止（11月3日）と大岡山キャンパスの立ち入り制限 https://t.co/BSvDPXidSW #ScienceTokyo

Swallow Leaderboardの評価タスクにJamC-QA (SB Intuitionsさん開発) を追加しました。またApertus-8B-Instruct, Apertus-70B-Instruct, ELYZA-Shortcut-1.0-Qwen-32B, Flux-Japanese-Qwen2.5-32B-Instruct-V1.0, Qwen2.5-0.5B, QwQ Bakeneko 32Bの評価結果を追加しました。

普段あまりスポットライトが当たらないLLMの評価について、W&Bの年次イベントFully Connected Tokyoでご紹介いたしました。 『進化する大規模言語モデル評価: Swallowプロジェクトにおける実践と知見』スライド https://t.co/6uOPbIB2N2 Swallow-evaluation-instruct

I’m happy to share that our paper was selected for a spotlight at the 1st workshop on Multilingual and Equitable Language Technologies (MELT), part of COLM 2025! - MELT Accepted Submissions: https://t.co/0ronuFsnmj - COLM 2025: https://t.co/fKQaBGmJjs Thanks to everyone!

JST ACT-X 研究領域「次世代 AI を築く数理・情報科学の革新」に「音楽情報と実世界身体動作を橋渡しする統合AIの開発」という研究課題が採択されました。頑張ります🎶💃

JST ACT-X研究領域「次世代 AI を築く数理・情報科学の革新」に研究提案が採択されました。頑張ります！

FIT2025でFIT奨励賞を受賞しました（主著は @kipeo22 ） 日本の文化習慣のデータセット構築とLLM評価に関する発表です 共著者の方々はもちろん 有益な評価ツール（llm-jp-eval-mm）を作ってくれた @silviasetitech @strayer_13 MACEにアドバイスくれた @shiki_satou @shojimoriya_nlp に感謝です

過去最大のFully Connected Tokyo, 発表されました！毎年やってますがこれほどコアで充実したAI開発者向けのイベントは他にないです💪 申し込み： https://t.co/AT4inJzYvl 📣拡散にご協力ください！ 今年のスピーカー (まだ増えます！) - 秋葉 拓哉 氏 / Sakana AI @iwiwi - Xu Zheying 氏 /

AWS AI Frontier Meetupにて Swallow Projectでの開発に関して発表を行いました！！ https://t.co/dsGaZjIMEC

Two first-author long papers accepted to #EMNLP2025 main, and one co-authored long paper in Findings 🎉 Thanks @rem_h4_, @AlhamFikri, @chokkanorg, and @eltimster! All on arXiv📜 - https://t.co/Uvu34nkxEi - https://t.co/GTnDMz7Hof - https://t.co/bGfw7GHWl5