Fascinating Jie Tang stood at the beginning of Chinese LLM explosion
They all trace back to BAAI, a nonprofit research organization led by the Beijing municipal government and jointly established with institutions such as THU, PKU, CAS, etc. The “Wudao” large model developed through collaboration with Tsinghua later evolved into GLM; the M6 multimodal large model developed through collaboration with Alibaba later evolved into Qwen
Many users praised early Chinese LLM research at Zhiyuan Institute and Tsinghua for its open-source contributions and achievements like Wudao 2.0, while others dismissed the claims as merely copying GPT models at much smaller scale.
No Digg Deeper questions have been answered for this story yet.
@turingbook 其实悟道2.0才是巅峰。1.75万亿参数，在超级计算机训练，没用cuda，全部手写算子。培养一大批硬核人才。
还是亲历者来说说历史吧。中国最早的大模型研究基本上与智源研究院有关。第一个正式发布的大模型是智源研究院支持清华刘知远团队的清源CPM（2020年11月，26亿参数） https://zhuanlan.zhihu.com/p/298138008 ，后来演变为OpenBMB，现在还是最好的端侧模型之一。然后就是智源研究院牵头，唐杰老师挂帅的悟道1.0模型系列（2021年3月），其中就包括GLM的最早期版本（GLM论文通信作者是唐杰和杨植麟）。 其他比较早期的工作，百度是Ernie 3.0（2021年7月）；阿里M6（2021年3月）是与唐杰团队合作的（林俊旸是第一作者，唐和当时在阿里的杨红霞是通信作者），后来演变为Qwen。华为盘古有两个版本，一个是华为云田奇与杨植麟团队合作，一个出自诺亚方舟实验室，但都没有持续。 可能有遗漏的，大家可以补充。
晚上刷到余承东在华为发布会上说盘古是国内第一个大模型，我还真去翻了一下时间线。
PanGu-α 论文是 2021 年 4 月 26 日发的，标题和摘要里已经写了 Large-scale Pretrained Language Models，最高 200B 参数，而百度的 ERNIE 3.0 是 2021 年 7 月 5 日，时间上确实晚了一步。
当然，放到全球看，GPT-3 早在 2020 年就已经把 175B 参数和 few-shot/in-context learning 打出来了，所以「全球都不知道大模型」更像是老余发布会惯用的夸张表达。
但如果只看国内早期中文大模型路线，盘古这波确实有资格说自己起得很早。
发布会上老余宣布 openPangu 2.0 要从 6 月 30 日起陆续开源，最高 505B 总参数、512K 上下文。
老余这次把盘古大模型又重新推到台前，真正的悬念已经变成：当年的「早」，这次能不能变成今天的「强」。
@turingbook 👆 🙌 👌 😎 💯🌻💯
@turingbook @mranti 中文大模型一开始基本是清华系。
@yao_nobond 可以看一下他们最新的MiniCPM GitHub页面 https://github.com/openbmb/MiniCPM-V
@yangyue992125 那时候能判断这是下一步大方向的人其实不多，很多老师觉得把模型做大不算科研，只是工程，另外还有很多人沉迷BERT哈哈
@turingbook CPM是我第一个用的模型，在我的电脑上吭哧吭哧跑，虽然效果一般，在没有ChatGPT的时候，让我很惊奇。
@turingbook 26亿参数那会儿听着挺唬人，其实同年6月GPT3已经是1750亿了。
差的不是早几个月晚几个月，是将近70倍的参数量。
所以与其说是中国最早的大模型，不如说是最早一批照着GPT抄作业的那拨。
那篇知乎我也翻过，技术路线基本就是GPT2那套搬到中文语料上。
@turingbook 👆 ❤️ 🤝 🙌 🎊💅
@turingbook 👆 😍 🔥 ⭐ 🔥😀
@turingbook 最好的端侧怎么定义
In China, because many prominent Chinese figures in the mid-20th century were alumni of the Whampoa Military Academy, the phrase “the Whampoa Military Academy of [an industry]” means that many of that industry’s leading figures emerged from or were trained there. And BAAI is often referred to as the Whampoa Military Academy of Chinese AI😂
@teortaxesTex Yes. He was also mentor of Kimi's Yang Zhilin when Yang was an undergrad at Tsinghua.
@turingbook 这段历史梳理得很清楚，智源和清华的开源精神确实改变了中国AI格局 🔍 老余发布会上的说法也激发了行业对历史的重新挖掘，感谢分享
@FUCK_CCTV 哈哈知情人士啊
@turingbook 大模型这条赛道不干净，因为真正的行业百草枯来了。。
@turingbook 最早时他们在捣腾那个知识图谱吧
@turingbook ChatGPT出世之后第一个复现做指令跟随的应该是国内复旦的Moss,后来颜航在浦江实验室做了InternLM系列
@turingbook 当时还记得openbmb有个网课，开上了一些
@turingbook 刘强东说的你也信，这叼毛现在说话我跟看小品一样