小红书首次开源文本大模型dots.llm1

6月10日，据小红书技术团队消息，小红书hi lab（Humane Intelligence Lab，人文智能实验室）团队首次开源文本大模型 dots.llm1。据介绍，dots.llm1是一个大规模的Mixture of Experts（MoE）语言模型，在总共1420亿参数中激活140亿参数，dots.llm1在训练11.2T token高质量数据后，达到了可与Qwen2.5-72B相媲美的性能。