門脇 敦司/ Atsushi
@at_sushi_
Followers
3K
Following
13K
Media
1K
Statuses
3K
Knowledge Sense, Inc. CEO ← 東大 / エンタープライズ向け生成AIプロダクトで成長中のスタートアップ(2019年~) / ソフトウェアエンジニアを募集中(800万円~+SO)→DM開放中 / 好きな言葉は「実験と学習」/ 最新の生成AI 事情に少し詳しいです / ソフトウェアエンジニア
Langton's ant
Joined March 2016
―大企業に眠っている、膨大なデータをAIで掘り起こす― コロナ以降、大企業でも「Box」などのクラウド導入が進んでいますが、有効活用されてません。データは一元化されておらず、メール・紙データとして散らばっています。
2
4
38
RAGの新記事を出しました。RAGは「遠回し表現」が苦手です。例えば「本件、スコープを見直す、��い機会ですね。」という文章は、実際は「納期がヤバい」という、ネガティブな意味です。「DualCSE」という手法は、こうした文章の両面を的確にベクトル検索できるようにします↓ https://t.co/S6pZB4bYYm
zenn.dev
2
51
333
RAGの新記事を出しました。社内データRAGで難しいのは、文書の「古いバージョン」へ対応です。「最新版にだけ回答するRAG」なら簡単ですが、逆に、開発組織では「古い、安定版のライブラリを使っているので、旧版の文書のみをRAGのソースにしたい」ということがよくあります。そんな時、役立ちます↓
RAGは変化するドキュメントの管理が苦手です。これは、RAGが新旧のファイルを正しく認識できないためです。 今回紹介する「VersionRAG」は、ドキュメントの保管方法を工夫することで、この苦手を克服した手法となっています。 https://t.co/MbNquf96JE
#zenn
1
17
192
RAGの新記事を出しました。エンタープライズRAGの課題と解決手法を、幅広くまとめました。RAGは、立ち上げは簡単ですが、実用は大変です。「大企業向けのRAG」については、現状、僕たちが日本トップレベルの知見だと思いますが、その視点から見えているものをまとめました↓ https://t.co/XdfG16tTI7
zenn.dev
1
154
1K
LLMはReasoningの登場によって、性能を大幅に改善させましたが、同時に時間と金銭コストを増大させました。 今回紹介するRoTは、Reasoningの過程をキャッシュすることで、最大60%のコストを抑えながら、Reasoningモデルを利用できるようにしています。 https://t.co/A0CJIJG3dO
#zenn
zenn.dev
0
1
6
RAGの新記事を出しました。「145億円の採用」で話題になった、Meta社の「MSL」チームによる論文です。通常、入力文字数が多いほど、LLMからの回答は遅くなります。この手法では、独自のエンコーダで入力をベクトルに変換した上でLLMに注入するので、回答が30倍速くなります↓ https://t.co/NWpdPapKvC
zenn.dev
0
66
563
最近RAG回りを実装していて解答精度をどうやってあげられるのかなって思っていたらめちゃくちゃよいorgをみつけた https://t.co/ytdebxwi1i
zenn.dev
株式会社ナレッジセンスは、「大企業の知的活動を最速にする」をミッションに掲げ、社内データ検索ができるAIチャットボットを開発・提供しているスタートアップです。このブログでは、LLMや検索技術、RAGの実装戦略について知見を共有します。生成AIやRAG技術を使って最高品質の実装をし
0
3
28
RAGの新記事を出しました。「ベクトル検索」は万能ではありません。例えば「数値」が苦手です。「市場シェアが2%増加」と「20%増加」は、意味は全然違いますが、ベクトル検索(埋込モデル)を使うと「内容が近もの」として検索されます。RAGで精度向上するには、埋込モデルを理解することが重要です↓
LLMは昔から数値の扱いが苦手という特徴がありました。今回は、RAGも数字の扱いが得意ではないのでは?という疑問から、実態を調査した論文を紹介しています。 RAGが、どのくらい数値を認識するのが苦手かがわかる内容となっているので、ぜひご覧ください。 https://t.co/jGYu6Do7CX
#zenn
0
83
626
「RAG」活用戦略について、相談を受け付けます。 僕とお茶してくれたら、貴社でのRAG活用についてアドバイスします。 大企業からスタートアップまで、RAG活用を支援する中で、 「RAGを自社サービスに実装したいけどノウハウがない」会社が、まだまだ多い印象です。
0
3
33
RAGの新記事を出しました。RAGといえば「ベクトル検索」ですが、弱点もあります。例えば前後の文脈が消えてしまうという弱点は、常に、開発者を悩ませています。今回のPageIndexという手法では、ベクトルDBを全く使わず、LLMが「目次」をたどりながら情報収集する手法です↓ https://t.co/DHKHHWdxQ7
zenn.dev
0
124
734
RAGの新記事を出しました。RAGでもハルシネーションは起きます。その原因は大体、LLMが「もともと持っている知識」を無駄に利用してしまうことが原因です。今回提案されているLFDという手法では、もともと持っている知識を適切に活用できるようにすることで、ハルシネーションを防いでいます↓
以前から、RAGは「無関係」な文書に渡すことで性能が向上するという噂がありました。LLMの内部の値を調査すると、これら2つには実際に関係性があることを特定しました。 LLMがどういう手順で情報を処理しているかが垣間見える内容となっているので、ぜひご覧ください。 https://t.co/SEMYSFJmat
#zenn
0
15
171
AIエージェントの記事を出しました。AIエージェントを自分で実装するのは難しいです。例えば「AIが問題解決の手順を間違えてしまう」ということが多発します。しかし、この手法では、「過去の失敗を、AI自身が検索できるようにする」ことで、エージェントの精度を上げます↓ https://t.co/hhBw7YdxaL
zenn.dev
3
38
269
LLMの認識、思考を知るには内部パラメータを活用することが有効な場合があります。 「LoDIT」はLLMのトークンの出力時の内部パラメータを利用して、その出力がどの参考情報を元に回答されているかを正確に判定します。 https://t.co/yCZbaqCn7o
#zenn
zenn.dev
1
26
174
RAGの新記事を出しました。「GPT-5」開発者たちのインタビューから、今後の「RAG」の将来について考えました。OpenAI が何を考えているのか、読み解きます。「コンテキストエンジニアリング」や「Computer Use」とRAGの組合せなど、今後のトレンドを予想します↓ https://t.co/c4bdHXmoeC
zenn.dev
1
43
382
コンテキストエンジニアリングの観点から、必要十分な情報収集がRAGにも求められています。 今回は、情報収集の精度にのみ焦点を当てた GraphRAG-R1 について紹介しています。強化学習を利用して既存のRAGの性能を最大で80%向上させています。 https://t.co/v6Y4huZToJ
#zenn
zenn.dev
1
27
217
RAGの新記事を出しました。「Deep Research」は便利ですが、自分で実装するのは難しいです。ただ今回の論文では、Googleの研究者が、本家OpenAIよりも高精度な手法を提案しています。しかも内容としては「シゴデキ人間」のプロセスを、AIが模倣。という感じで、直感的です↓ https://t.co/MV7apv8KWC
zenn.dev
1
95
709
RAGの記事を出しました。「コンテキストエンジニアリング」という言葉、かなり大事なキーワードです。AIエージェントが勃興した2025年だからこそ、重要になりました。いわゆる「プロンプトエンジニアリング」と違って、もっと体系的な「知識と技術」が必要な、大きな研究分野になっていくと思います↓
コンテキストエンジニアリングが話題に上がっていますが、その背景には「エージェント」の台頭が関係しています。 コンテキストエンジニアリングが必要な背景、プロンプトエンジニアリングとの違い、そして具体的な手法について簡単に紹介しています。 https://t.co/XRHp7duwqX
#zenn
0
18
175