亚洲财经

☰ 搜索

代季峰NaiveAI首模开源:AI参与6天跑151轮优化

代季峰创办的NaiveAI发布了naive-n0.5-flash,并开放模型权重。该模型基于小米mimo-v2.5 base改造,使用MIT协议开源。NaiveAI保留了原有的MOE架构,重点改进了注意力机制,团队将全局注意力换成滑动窗口注意力和DeepSeek稀疏注意力,并继续训练3.25万亿tokens。改造后的模型原生支持100万token上下文,能减少处理超长文本时的计算量。AI直接参与了研发,负责写代码、跑实验、分析结果和继续优化,研究员则负责定方向和做关键决定。以推理系统Naivert为例,团队在6天内进行了151轮优化实验,其中63轮被采用。官方公布的最高推理速度为2122 tok/s,但测试条件较特殊:使用8张GPU,关闭思考模式,不计算输入处理时间,且取自41次请求中表现最佳的一秒。标准模式下,官方给出的速度约为每位用户50 tok/s。