Quinn Leng
@quinn_leng
Followers
5,249
Following
95
Media
109
Statuses
343
LLM hacker at Databricks, CMU master. Enjoy doing research and sharing perspectives on tech industries. 喜欢做研究的工程师 不定期分享科技行业思考 Youtube Channel：不说话的白菜
California
Joined April 2022
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
England
• 221833 Tweets
#summergamefest
• 93527 Tweets
Mistrial
• 67728 Tweets
Sparking Zero
• 58692 Tweets
Terry
• 48525 Tweets
Elena
• 45852 Tweets
Southgate
• 44436 Tweets
Iceland
• 39102 Tweets
Bison
• 27635 Tweets
テリー参戦
• 26818 Tweets
MATTEUS NO SALVE O SUL
• 25309 Tweets
クロスプレイ
• 24378 Tweets
Sonic X Shadow Generations
• 24107 Tweets
Capcom
• 21117 Tweets
Fatal Fury
• 18895 Tweets
Geoff
• 17190 Tweets
#Smackdown
• 14149 Tweets
不知火舞
• 14069 Tweets
Killer Bean
• 13658 Tweets
ビッグビッグラン
• 13570 Tweets
Alan Wake 2
• 13455 Tweets
Lego Horizon
• 13273 Tweets
Michael Anderson
• 12722 Tweets
Power Rangers
• 12317 Tweets
Monster Hunter Wilds
• 10665 Tweets
Stanford 发布的 Alpaca 模型已经可以 Mac/Windows/Linux 本地运行了，7B 参数的效果比 GPT3 差一些，但是自定义潜力无法想象，LLM 的 stable diffusion 时代开始了。三个月前谁能想的到不到 $600 就能复现出来这么强大的 LLM 呢。
22
165
636
🐼推荐我和小伙伴最近半个月开发的读 PDF 文件小工具： 。通过聊天的方式一分钟读完 500 页的 PDF 文件，回答还会附带信息来源，点击之后跳转高亮到对应片段。非常适合读：1. 很长的文档；2. 外文文档； 我用它读七百页的美国 AI 国家安全报告，非常高效！
25
200
601
继 Stanford ALPACA 六百美元五个小时复现 GPT3 效果之后，现在 commercial ready 的模型已经可以三个小时几十美元复现了。最近的 LLM 进度真的可以用小时为单位。
17
114
531
上传了新视频《ChatGPT 后续：我开发了一个超级阅读器，免费分享给大家》把我们开发
@pandagpt_io
的思路和过程记录下来了。期待跟大家一起搭上这趟 AI 的列车，探索各种有意思的可能性。 Buddy:
@perseus_yang
@BuggyMissile
15
129
429
原来情绪勒索对 LLM 也是有用的，多加一句 “这件事对我的事业至关重要” 可以让语言模型的性能提升 8~15%。作者可能不好意思说出来，其实对 LLM 爆粗口有时也是有用的，一位小伙伴就经常在开发过程中使用这种技巧，哈哈哈哈哈，论文地址
19
133
445
三天用 GPT4 零基础开发 3D 游戏，就像请了一个编程水平前 30% 但是记忆力超过所有人，学费几乎为零的编程老师。
So, you think GPT-4 can't make a complex game... think again!
Here's how I used GPT-4,
@Replit
, MidJourney, Claude, assembling a team of AI assistants, to create a 3D space runner from scratch with ZERO knowledge of Javascript or 3D game programming
Follow along for a saga! 🧵
124
820
5K
5
124
421
Orca: 微软研究院上周发布的论文，打破了小模型只能模仿大模型的语言风格而不能学到推理能力的假设。通过让小模型学习 GPT-4/3.5 的五百万次推理过程，在 13 billion 参数的情况下，做到了等同甚至超过 ChatGPT 的性能。开源模型性能超过 ChatGPT 越来越近了。 。细节见评论。
5
77
285
可能很多重度用户跟我一样都感觉到 ChatGPT 最近几个月变傻了一些。还真是这样， 这篇论文最近半年对 GPT3.5 和 GPT4 的研究发现： GPT4 年初生成的代码 52% 概率可以直接执行，而现在大幅下降到 10% 。对素数的识别准确率从 97.6% 骤降到了 2.4%
26
68
278
非盈利机构 AllenAI 发布了真正完全开源 LLM “OLMo”，不止模型权重，还包含完整的训练代码、数据集和训练过程，而此前不论是 LLama 或 Mistral 都只公布部分细节。OLMo 为了打破 Nvidia GPU 的垄断，特地在 AMD 和 NVDA GPU 上都训练了一次，证明 LLM 训练是可以用 AMD 的。
6
92
278
Llama V2的影响会有多大:
开源世界里 80% 以上的模型都是 Llama 的衍生品，尤其是学术界，覆盖从聊天到向量化到多模态到机器人到分子生物。
不敢想象现在有多少研究机构在微调新版模型。多少 PhD 和工程师后面几个月没日没夜加班。
当然最有意思的是下半年会出现几百个号称拥有自主大模型的创业公司。
2
45
209
Anthropic 刚刚推出的免费 AI 文档聊天工具，支持最多 100k token 上下文，相当于 250 页 pdf 文档逐字帮你读一遍然后回答问题，效果好于绝大部分免费或者收费工具。直接可以注册 。但是使用的人有点多，会有点卡顿
6
87
191
开源核弹级更新：Meta 开源 LLama 第二代模型。
- 34 b 模型接近 ChatGPT ，70 b 超过 ChatGPT
- 全面碾压：70 b 模型在代码，推理，数学等等方面全部做到开源最优
- 上下文 2k 升级 4k
- 训练数据量从十万亿增长到二十万亿 token
模型 weights 申请之后即可使用。
6
58
184
一个月前《AI 战争》视频里担心 AI 联网之后的危害开始显现了。AutoGPT 所代表的大规模 Agent 模式，不只是用几个虚拟角色聊天，或者帮你找最好用的商品。很快会有人用它大规模研究安全漏洞，研究法律条款漏洞，或者制造谣言。如果在对立面上没有足够的投入，后果真的很恐怖。
8
43
154
OpenAI 刚发布的论文，Let's verify step by step。通过训练一个激励模型让 GPT4 进行多步推理，数学问题回答准确率陡增，几乎达到其他模型的两倍。
5
44
157
给小朋友们的 AI 课，用小学生的语言描述生成式人工智能，真的非常有趣。
比 AI 更有潜力的是孩子们的好奇心和想象力。
13
26
140
最近发布的另一篇对模型微调有深刻影响的论文 QLoRA 。通过在信息学上的优化以及对英伟达统一内存的运用，做到了在 48GB 显存的 GPU 上不到 24 小时就能微调 65 billion 参数的模型，在此之前需要用到 780GB 显存。在此基础上训练出了Guanaco模型，达到 ChatGPT 99.3% 的性能
5
35
136
经过一个月的打磨，我们开发的解梦 APP Dreamore 有了两万多个梦境，UI 全新改版了，而且我们在 product hunt launch 了，求帮忙投票 谢谢！
7
25
130
OpenAI dev day 的技术分享视频，强烈建议 LLM 开发者/爱好者收藏：如何最大化 LLM 性能
- 官方推荐的优化路径（优化 context vs 优化模型）
- 什么时候使用 fine-tuning 或者 RAG
- RAG 和 finetuning 的优势和劣势
4
37
114
上传了视频《GPT-4 升级版：Code Interpreter， AI 编程，数据处理，编辑视频，自动纠错》。通过聊天的方式已经可以直接分析和处理数据了，甚至是处理图片和视频。我还让 GPT4 生成机器学习代码预测汽车产量，如果不是执行环境限制，AI 已经可以改造自己的运行环境了。
3
33
105
这下有得玩了，斯坦福的最新开源模型，7 billion parameter ，比肩 OpenAI text-davinci-003 的效果。
4
35
88
OpenAI API 的最新重大更新:
- GPT3.5 支持 function call，比如 send_email, search，类似 chatGPT plugin 功能，可以在 API 里调用了
- GPT4 会开放给更多开发者，waitlist 在未来几周消失
- GPT3.5 支持 16k token 了
- GPT3.5 input 降价 25%
- embedding model 降价 75%
4
23
82
刚刚发布了新视频《英语老师有麻烦了，ChatGPT 会颠覆什么》，想法来源于跟
@onenewbite
的一次讨论，以及后来一次开车听 podcast 时差点热泪盈眶的经历，想到了初中时的英语支教老师。
1
16
72
刚发布的号称最强 70亿参数模型 Mistral 7B，在各项性能上全面超越更大的 Llama2-13b, 甚至可以达到 34B 参数的模型。使用了 Sliding Window Attention 达到两倍的推理速度以及 16k 上下文大小。非常自信的参数，明天就试用一下看看实际效果如何。
4
16
72
几个月之后再看一眼史上增长速度最快的 AI 项目 AutoGPT 的近况，测试通过率不到三分之一，一千次测试完整跑下来要接近五千美元。再喵了一下 AutoGPT 的小兄弟 babyagi ，项目已经两个月没有更新了。 目前阶段的 AI agent 刚好处在 demo 很酷，稳定性很差，价格很贵的尴尬阶段。潜力很大，哈哈哈哈
6
17
74
太有意思了，非常推荐大家试试！没想到我俩想到一块去了，我半年前开始也是每天对着微信文件助手自言自语。现在已经在开始开发一些自动化工具，感觉这个方向肯定会诞生独角兽公司。
0
24
68
推荐最近和小伙伴开发的一个 APP ，想法起源于自己和朋友最近一段时间的焦虑。dreamore 可以帮你解析梦境，然后把它用童话故事的方式描绘出来。在这个解析和描绘的过程中帮助大家缓解焦虑，内测期间大家就开始非常活跃地记录自己的梦境，社区目前已经有四千多个梦了
5
20
65
非常赞同，昨天刚好看到腾讯团队对比 chatGPT 和专业翻译软件的效果，chatGPT 这种通用模型的效果是比不上专业软件的。但是 chatGPT 的优势从来都不是特定任务，而是任务之间的灵活性，你很难让一个专家翻译软件在翻译的时候还能角色扮演，甚至给你解释语境。
1/3 ChatGPT翻译必用技巧: 用你喜欢的作家风格翻译。最近在读一本法语学术书，直接让ChatGPT翻译的结果很枯燥。我就想，假如是我最喜欢的作家Malcolm Gladwell 用英语写的该多好啊。Malcolm的写作风格生动有趣,易读易懂,能狠狠地抓住读者的注意力。这是ChatGPT的原始翻译:
#ChatGPT
7
162
569
1
20
66
最近用
@pandagpt_io
读文档的几个有意思瞬间。做这个工具的初衷就是帮助我们提升阅读各种有意思的文档的时候效率。当然现在还远称不上完美，Panda 还算不上懂王，只能算 L2 辅助驾驶。但这只是一个开始，大家多多反馈，我们不断优化，一起做出一系列有意思的工具❤️
5
17
57
最近在公司研究 LLM 性能评估的一些初步结果发到了公司博客 ，研究了一系列模型 (LLama2, MPT, Vicuna, GPT3.5/4, Claude) 在正确性和可读性上的表现，以及如何低成本大规模评估模型性能，同时保持和人类评估结果的对齐。后续还会公布更多研究进展，有兴趣的同学可以深入交流。
3
21
59
最近两个月大家肯定看到各家模型都号称超越 ChatGPT 性能，霸榜各大测试数据集，但实际使用效果却很一般。背后最大的原因是，学术界现有的测试方法无法完善地评价 LLM 的综合能力。这篇由 Berkeley、UCSD、CMU 联合发布的数据集 MT-bench 提出了一种更加符合人类便好的测试方式
1
19
51
LLM 落地的实际应用比好看的 demo 要复杂得多，经过一个月的反复开发、测试、修改，我们的 LLM 自动评估功能终于集成到 MLFlow 🎉，以前几周的重复人力工作现在可以被几分钟的智能助理替代，自动提升 20%正确率，降低 60% token 使用量，期待更多研究进展被推送到用户手中。
0
8
54
OpenAI dev day 的一些感受：
1. GPT-4-turbo：真正在性能、上下文大小、价格、稳定性上达到企业级要求的模型，极大缓解了开发者的价格和性能焦虑，不需要纠结如何切割文本，纠结 prompt 细节，开始关注产品效果本身。
2
6
49
刚刚给《剁手GPT》增加了"买同款"快捷方式，用起来还真不错。如果再加上 Amazon affiliate link 感觉就能带货赚钱了，哈哈哈哈哈。
6
6
48
一篇文章写的好到想骂人的程度。拖更半年的保罗格莱厄姆最近更新的博客，关于好奇心、工作、兴趣还有冒险的讨论。初入职场和工作多年的人应该都会有所收获。
3
9
46
OpenAI GPT-4 的多模态版本据说快要发布了，希望赶在谷歌的 Gemini 发布之前抢个新闻。此前四月份 GPT-4 发布会上就一直说要支持多模态，中间因为安全风险（比如被用来破解验证码）一直延期，似乎最近找到了解决办法。又会有一批有意思的应用产生了。信息来源：
8
18
44
截至 03/11 ，发布四天时间，用户量已经突破五千，问答突破三万🚀
功能持续优化更新中：
- 提升回答准确性
- 改进���件上传体验，选择文件、一步上传
- 增加每个文件的引导消息
- 增加 Stripe 支付
多谢大家的支持和关注！❤️
🐼03/11 Feature Improvements 🚀
- Improve accuracy for QA
- Instructional messages for each file
- Improved file upload experience with one-step selection and upload
- Fallback for questions that doesn't have context
- Added Stripe payment
Try it out❤️:
0
7
18
1
14
42
跟 Ray 聊天的时候说，现在的 GPT4 就像是当年的计划经济，找到路子的人总能占到优势。大家珍惜还能薅的羊毛，偷偷收藏。
1
12
42
这个 GPT 的效果确实不错，试着做一个熊猫吃西瓜的 gif，生成图片的质量非常高。唯一的缺憾是矩阵位置偏差导致动图有些错乱。看了一眼作者用到的 prompt，完全是在用英语写一个复杂程序的节奏，很值得学习。当然这种程度的自定义，GPT builder 也没法帮太多忙，主要靠手写 prompt 了。
Gif-PT
Make a gif. Uses Dalle3 to make a spritesheet, then code interpreter to slice it and animate. Includes an automatic refinement and debug mode..
Use Dalle to draw images turning the user request into:
Item assets sprites. In-game sprites
A sprite
4
21
73
2
14
41
计算机编程语言的发展让普通人离编程越来越远，而 LLM 的出现一把将编程拉近到了每个人面前。能够掌握 prompt 这门技能的人绝对能够脱颖而出。视频做得太好了❤️
7
69
241
0
7
31
NVIDIA 发布新一代顶级显卡 H200, 推理速度比 H100 再提升一倍，使用成本降低一半。显存容量达到 141GB，内存带宽提升 40%。这种发展速度，半年内 GPT-4-turbo 估计又要降价。
2
3
30
这个互动 AR 太有意思了，一边打拳击一边刷视频，刷到老铁直接给他一拳点赞，两拳收藏，以后搞不好还可以踹一脚点踩，打一巴掌刷下一个，哈哈哈哈
1
8
31
刚刚上传了新视频：
《微软的孤注一掷和谷歌的千亿美元失误<AI 战争>，ChatGPT 爆火后续》
前天晚上洗澡时的想法，今天不到十二小时就做出来了，成就感十足。
2
2
26
Meta AI 今天发布的音频领域突破，继大语言模型统一了语言类任务的最好效果之后，Meta 的 VoiceBox 用一种通用模型在多种音频任务上做到了最优效果。同一个模型可以做语音识别，风格转换，噪音去除，语音编辑等多种任务。
2
7
29
ChatGPT API 出现之后，跟已有的 subscription （20美元每月）对比，粗略估算了一下，相当于一个用户每个月要问 2500 个问题才算回本。当然 subscription 用的模型版本回复质量更高，但是对于很多人可能区别并不大。如果有人能够用 ChatGPT API 做一个自定义程度更强，功能更强大的客户端，绝对是机会
2
2
28
作为Poe 的早期用户，亲眼目睹他们一点点增加模型和功能，好不容易探索的产品形态被 OpenAI GPTs 复制然后超越。创业公司是真难啊，哈哈哈哈。但话说回来，LLM 这片创业土壤目前还是有些薄，风一吹就开始松动。
3
3
25
有幸邀请到
@tinyfool
老师一起聊一聊 ChatGPT 给开发者带来的机会，欢迎大家美西时间三月四号下午七点，北京时间周日上午十一点来捧场。嘉宾
@onenewbite
@YunfeiMaPhD
[]()
2
11
27
这是我们 chatGPT 知识工具系列的第一款，后面会完善功能以及开发更多服务知识用户的其他工具。如果觉得它好用或者有更多的想法，可以参与到我们的 discord 一起讨论：[]()
1
4
22
之所以需要监管，并不是要监管所有 AI 模型的开发，而是在极具破坏性的 AI 被训练出来之前在关键路径上增加一些管控，目前只有几家公司有实力走到这一步，而且目前所需的巨量训练数据和算力还只能被几家平台提供，目前也还没有一个神奇的算法可以显著减少预训练大模型所需的算力或者数据。
25:28 到 35:00 Chamath 真的是难得的把商业和技术在短时间里看透的天才。在 AI 是否需要监管的话题上理解深度比其他三位老哥深刻太多了，说三位兄弟是 unbelieably naive 真的是贴切到笑出眼泪。Friedberg 虽然有技术背景，对 LLM 的能力和局限性理解还是比不上 Chamath。
1
2
12
1
2
22
听 的 twitter space，刚进去就是一口熟悉的华人英语口音，创始团队 12 人里有四人都是华人。华人在 AI 领域的影响力无可限量。
0
4
19
分享一个效果很好的基于 LLaMA 模型在多模态上的应用，强烈建议试一试。通过在语言模型中添加可学习的适应提示，以及引入让语言模型学习视觉特性的策略，做到了只需要微调语言模型的千分之二的参数（12 million），一个小时就能训练出同时具备语言和视觉能力的模型
4
12
21
不敢相信，一下子冲到了第二名🥈，大家太给力了！❤️
经过一个月的打磨，我们开发的解梦 APP Dreamore 有了两万多个梦境，UI 全新改版了，而且我们在 product hunt launch 了，求帮忙投票 谢谢！
7
25
130
1
1
19
以前一直不觉得像 那样给 chatbot 套壳是个正经生意，直到最近几乎每天都遇到 GPT4 的限制之后，发现这种生意还真的是有需求。
6
3
19
柴静上周发布的纪录片，虽然讨论的是五年前的话题，作为一个调查记者，用近乎冰点的理性和人文关怀把一个陌生，抽象的概念抽丝剥茧，具象到我们面前，一下子被真实的力量震撼到。纪录片的调查方式，切入角度以及柴静跟圣战分子面对面交谈的口吻都非常值得品味。中文媒体已经很少有这种真实感和专业感了
《陌生人——柴静对话圣战分子》第二集正片发布。第一二集的导演Lily是一个我从未谋面的女孩，这个片子依靠她这样无私的帮助者完成。在看片子时我意识到剪辑的力量：它让我看到了在采访中我没来得及端详的东西。
322
323
2K
1
2
16
GPTs store 发布，trending 排行里一半是 PDF/paper reader，另一半是图像生成，过去一年了还是这些主题不免让人觉得有些无聊。期待第一匹黑马诞生打我的脸。
6
6
19
研究显示通过让 LLM 不断重复一个关键词可以从它嘴中套出训练数据，比如某位研究人员上传到互联网的邮箱和电话，甚至是几千字的文章原文（截图4）。目前这个漏洞已经被 OpenAI 屏蔽，但是当时研究人员破解过程的聊天记录还能被找到： 。论文原文：
4
8
16
赶在最近的中东新闻又看了一遍青蛙刀圣对巴以两百年纠纷的解读，是我见过讲的最通俗又深入的科普。 一边是持续两千年的流浪和复国，一边是几百年生活的故土被占领。宗教、意识形态里没有人觉得自己是错的，唯一错了的是从小就被卷进纠纷的普通人。希望世界还会和平。
2
9
19
今天跟同事开玩笑说训练模型就跟烹饪一样，食材和温度都很重要，有时还需要一些创意。今天瞄了一眼超导研究的历史，08年日本科学家发现把铁硒化合物浸泡在红酒中可以显著提高其超导性能。后来又试了试清酒，威士忌，烧酒和啤酒，发现清酒和烧酒的效果最好。这种“酒浸法”，后来帮助发现了一系列超导材料
4
5
17
开源版本的 ChatGPT，期待最终效果，即便是没法全面超过 ChatGPT 版本，在某些领域（语言、代码、翻译）做到可用也是非常有价值的。
ChatLLaMA - an open-source implementation of LLaMA based on RLHF.
Claims a 15x faster training process than ChatGPT. It allows users to fine-tune personalized ChatLLaMA assistants.
37
448
2K
1
11
18
机器人领域的深远进步：谷歌 Deepmind 团队推出基于 Transformer 架构的第二代视觉-语言-动作（VLA）模型，不仅可以从过往机器指令中学习，还可以直接基于互联网上的文本数据进行训练，机器人的教材直接成千上万倍增加。相比上一代的理解、推理、识别能力直接翻倍。
3
1
16
可能很多人跟我一样好奇为什么是“大”语言模型，为什么语言模型的参数从百万到千万到千亿，并且还在增加，依据是什么。这里是 OpenAI 三年前发布的指导性论文 Scaling Laws for Neural Language Models 完整研究了模型性能跟：参数、数据集规模、算力以及迁移能力之间的关系。
2
2
16
💥 GPT 4 发布了！
- 应试能力从倒数 10% 人类水平提升到前 10%
- 跨语言能力全面超越同类模型
- 同时具备人类基本水平的视觉识别能力：图片、表格、示意图等等
0
1
16
前段时间爆火的图像拖拽生成模型 DragGAN 昨天把代码开源了，一天增长了两万个 star，Windows Linux Mac 都能跑。修图的另一个维度，电商产品图的福音。
The eagerly-awaited source code and weights for DragGAN are now out:
(project page )
6
291
1K
0
9
16
爆火、机遇、技术限制、前景，甚至美女图片都聊到了。期待后面继续聊这个话题！多谢
@tinyfool
@onenewbite
@YunfeiMaPhD
@perseus_yang
和一起发言的朋友捧场！
有幸邀请到
@tinyfool
老师一起聊一聊 ChatGPT 给开发者带来的机会，欢迎大家美西时间三月四号下午七点，北京时间周日上午十一点来捧场。嘉宾
@onenewbite
@YunfeiMaPhD
[]()
2
11
27
1
2
15
Meta AI Research 前天发布的音乐生成模型 Audiocraft，使用简化的单步结构模型就能把文字或者文字加音乐片段转化成高质量的十二秒音乐。Huggingface 和 Colab 上直接就能试用，听了几个片段效果很不错。目前还不支持节奏的大幅变化。已经很有希望了，期待后续更新。
1
7
15
三张图看懂 NVIDIA 和 AMD 顶尖GPU的优劣
- 字面参数上 MI250 都强于 A100 ，从算力到显存到内存带宽
- 软件生态上都有对应替代
- 但是模型训练效率只有 A100 的 73%~80%
- 内核更新之后可能会到 85%~94%
一句话讲就是，能用，但是差强人意。接下来的就看供货和实际售价了。
0
5
14
随着大语言模型训练数据的陡增，针对训练数据的安全攻击也有一些新的发现。因为数据量极大，许多训练数据分散在各个网站上，这篇论文发现通过接手一些过期的域名，就能够在训练数据中“投毒”，只需要对百万分之一的训练数据做一些手脚，就能够让模型在某些任务上出现错误判断。
3
2
15
用 chatGPT 和专家系统做客服才是正解，各大科技公司把客服搬到印度完全就是敷衍用户。亚马逊 ，谷歌，stripe ，每次发 ticket 就石沉大海，真的是绝望。
3
1
15
GPT-4-turbo 128k 上下文在超过 64k 以后开始出现遗忘。当然这个测试题目很简单，把一句话插入到一篇小说的不同位置来检查回复中是否记得这句话。我猜如果是更复杂的总结归类任务，遗忘应该会更明显。但是 64k 对于绝大多数场景完全够用。 long context 真的是赚钱神器，一个 prompt 下去一美元就没了
Pressure Testing GPT-4-128K With Long Context Recall
128K tokens of context is awesome - but what's performance like?
I wanted to find out so I did a “needle in a haystack” analysis
Some expected (and unexpected) results
Here's what I found:
Findings:
* GPT-4’s recall
207
634
4K
4
3
14
聊天效果突出的开源 Vicuna 模型发布了 33 billion 参数版本。他家的聊天角斗场非常值得一试，可以看到开源模型的实际体验对比，还能盲测各种顶尖模型。
🔥Big news from Chatbot Arena: Meet our new MT-Bench leaderboard & Vicuna-33B!
We present a comprehensive, scalable, and validated leaderboard differentiating across open (Falcon, Wizard & Guanaco) and proprietary models (GPT-4, Claude & PaLM).
Blog post:
14
102
434
0
3
13
分享一篇去年发布的重要论文 Flash Attention，优化了大语言模型的几大挑战：训练速度慢，模型上下文大小限制。Transformer 架构在训练过程中存在明显的内存瓶颈。FlashAttention 利用三级内存的特性，减少低速内存的访问。在不损失任何性能的前提下，提升两倍到三倍训练速度
2
2
13
25:28 到 35:00 Chamath 真的是难���的把商业和技术在短时间里看透的天才。在 AI 是否需要监管的话题上理解深度比其他三位老哥深刻太多了，说三位兄弟是 unbelieably naive 真的是贴切到笑出眼泪。Friedberg 虽然有技术背景，对 LLM 的能力和局限性理解还是比不上 Chamath。
1
2
12
人类就是这么会偷懒：大公司依靠购买高质量数据来训练 AI，然而数据标记平台在偷偷用 AI 生成数据。最终结果就是 AI 自己训练在自己产生的数据上，质量得不到进步 🤣
2
1
11
一个英语老师怀着 “是否应该 fight the FED” 这个疑问，借助自己的探索，以及 ChatGPT 的编程能力，分析了美联储 152 年的宏观数据，做到了堪比 data scientist 的研究效果。能够认识到充满好奇心和行动力的 Ray 大哥真的是我的荣幸。视频链接
2
2
11
坐在缆车上听
@onenewbite
的 23 年回顾，听到年初 Tesla 最低点时网友的质疑还有 SPY 的 safe bet 。阳光照在身上觉得贼自在。More information doesn’t always help, it’s the knowledge, vision and belief.
3
2
12
语言模型 + 视觉的进展：李飞飞实验室刚发布的通过语言模型和视觉来生成可操作的 3d 地图。同样是借助语言模型对世界的理解，让机器人可以生成有逻辑的 3d 操作。可以让机器人帮忙布置厨房的桌子，给苹果称重等等。够聪明的家用机器人越来越近了。
“Robot, set up table for pasta”. Check out our work using language models to guide robots performing everyday tasks. 👇
1
49
253
0
7
11
当很多公司想尽一切办法做好看的官网，demo 视频，博客的时候，Mistral AI，曾经发布最强 7B 模型的公司，刚刚随性地发了一个 bittorrent 链接，里面是他们最新的 8x7b MOE 混合专家模型。社区还在评估模型的效果，应该会是个很强的模型。越来越觉得 Mistral 这家公司很有意思。
magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%%3A6969%2Fannounce&tr=http%3A%2F%%3A80%2Fannounce
RELEASE a6bbd9affe0c2725c1b7410d66833e24
547
2K
10K
1
2
10
这张效果图可以很清晰地看出 DallE3 对文字理解的能力，即使是复杂的场景风格描述，人物和人物，人物和环境的关系，以及画面的统一性都做到了非常不错的效果。以后完全可以用 DallE3 来创造场景丰富的手绘书或者剧本手稿
OpenAI’s new DALL-E 3 precision text-to-image generation has incredible adherence to prompting:
6
35
295
2
5
9
直接把 midjourney 生成的图做成视频，作者说教程几天后放出来，期待！
"Friday morning in Brooklyn, New York"🗽
Using AE and Generative Fill to transform a static Midjourney pic into an animated one (see comments)
Time spent: 16 hours 10 minutes. Complexity 9/10
Sound is a MUST 🔊
81
211
2K
0
0
11
OpenAI GPT-3.5 模型发布了微调 API，以后大家可以根据自己的格式定制 ChatGPT 模型。微调十万 token （约 13 万词）只需要 2.4 美元，还是非常吸引人的。又有一众创业公司要头痛了。
4
6
11
补充一下，测试用的数学问题来自 MATH dataset ，GPT-4 + verify step by step 达到的准确性是人类的两倍。计算机博士的测试得分是 40%，而经过优化的 GPT-4 可以做到 78.3% 几乎是计算机博士的两倍。
0
2
11
另一个我这两天一直在思考的问题是，人类在 AI 面前显得多脆弱，世界上最有前景的公司几个小时之内被三个人搞得七零八落。如果人类真的灭绝了，大概率应该是自己搞砸了，而不是因为 AGI
95% 的 OpenAI 员工选择跟随 Sam。
这么高的对齐度，让人思考一个本质的问题：
到底什么才是 OpenAI？
有这些人，加上一些钱，可以分分钟训练出另一个 GPT4。
公司名字好像也没那么重要了。
19
10
210
1
0
10
Anthropic 果然还是 OpenAI 的最强对手，Claude 2.1 版本增加到了 200k 上下文，同时增加了非常实用的使用工��的能力，以及 system prompt ，同时回答准确度也有了显著提升。模型整体水平跟 OpenAI 接近了一大步
Our new model Claude 2.1 offers an industry-leading 200K token context window, a 2x decrease in hallucination rates, system prompts, tool use, and updated pricing.
Claude 2.1 is available over API in our Console, and is powering our chat experience.
400
899
5K
1
0
10
目前开源可商用的聊天效果最好的模型昨天发布，优于 Falcon-40b，详细性能评比可以在伯克利和斯坦福联合研究的榜单上看到
Meet MPT-30B, the latest member of
@MosaicML
's family of open-source, commercially usable models. It's trained on 1T tokens with up to 8k context (even more w/ALiBi) on A100s and *H100s* with big improvements to Instruct and Chat. Take it for a spin on HF!
17
129
549
0
2
10
Twitter Space预告
话题: ChatGPT - 开发者的机会、困扰、前景
美西三月四日,周六下午七点；北京时间周日上午十一点
直播链接:
嘉宾Twitter:
@tinyfool
@onenewbite
@YunfeiMaPhD
1
6
9
OpenAI 真正的现金牛来了，福布斯五百强里超过 400家都在用 ChatGPT (个人版)，转到企业版只是时间问题。不限量的 GPT-4，更强的数据处理，以及各种企业级数据安全。当然价格也会是企业级的。
Introducing ChatGPT Enterprise: enterprise-grade security, unlimited high-speed GPT-4 access, extended context windows, and much more. We’ll be onboarding as many enterprises as possible over the next few weeks. Learn more:
383
1K
5K
2
3
10
2. Assistant API：又一次官方出场收割社区探索的成果，之前 function call 的发布让我很少用 langchain ，如今有了自动的会话管理，工具, 知识库, code interpreter, 几乎没有理由用 langchain。各类浅浅做知识库管理的创业公司要头痛了。
1
1
10
商业可用的 LLaMA 模型发布了，之前开源社区积攒的一堆优化和创意可以商业落地了
OpenLLaMA 13B Released
model:
present a permissively licensed open source reproduction of Meta AI's LLaMA large language model. We are releasing 3B, 7B and 13B models trained on 1T tokens. We provide PyTorch and JAX weights of pre-trained OpenLLaMA
19
420
2K
1
3
10
#ChatGPT
跟搜索引擎的整合会产生的有意思的影响：
- 问答会替代部分搜索行为
- 搜索引擎盈利模式的改变
- 网站的人类访问数量会降低，而机器访问次数增加，到最后大部分直接搜索都会被 AI 转述替代
- 随之而来的 SEO，曝光方式，网站排行等等都将发生深远改变。
到最后勤劳干活查资料的又是机器人🤖
2
0
8
最近 dreamore （ ）用户和梦境增长有些出乎意料，很快突破一万两千个梦了，而且登录用户的比例也在不断增加。刚刚团队加入第一位设计师，UI 升级以及一系列功能正在开发中。期待！
2
1
9
62个员工，13 亿美元，人均两千万美元的收购。上次这么贵的人均收购还是 Facebook 买 Instagram
正说着MosaicML，今天被Databricks 13亿美元收购了
Naveen这次卖Mosaic比上次Nervana卖intel 4亿美元多多了，做软件果然比做硬件赚钱多了🙄
感觉这次Naveen卖在了LLM hype的基础设施前期高点，就和16年底卖AI加速器也是卖了hype前期高点，形势判断真厉害
21年无人问津时入场，卖在23年人声鼎沸时
7
53
212
1
4
9
讲的太好了，人生这个场外游戏才是最有意思的，如果手里这点钱带来的安全感超过了这个人能力的安全边际，一个错误的决定让自己焦虑好几年，可能自己才是更值得投资的方向。
2
0
9
用嘴巴开发一款游戏，每个人都住在自己开发的游戏的时代越来越近了
1
2
9