我之所以说企业的私有
化大模型时代到来了，正是因为服务器成本和运营成本会降到可以忽略不计的地步。 除了以上的优势，我们还加入了日、韩语能力测评。 以前我们做服务机器人的时候，每进到一个餐厅就得做适配，这让我们很苦恼。以前，在海外销售的服务机器人不具备多语言能力，很多可能性被钳制住了，现在有了大模型，日语、韩语可以做到很好的交流，能够进一步扩宽市场。 在评测指标上，今天发的140亿参数的猎户星空大模型是所有200亿参数以下各项评测性能最好的，但是跟GPT的全面性仍然有一定差距。不过，通过各企业应用定义好垂直场景，通过数据和应用的打磨，我们已经实践出在应用场景上超越GPT-4的可能性，这不是妄想。六、下一个里程碑 我们今天发布这个大模型之后，下一步准备怎么做？ 最近业内开始出现一个叫MoE的构架。所谓MoE构架，是用多个模型进行集体决策，完成对一件事情的判断。今天在业内发的论文里，8个百亿参数模型的联合运行，其性能 阿尔巴尼亚电话列表 的某些指标已经超过了GPT3.5。相当于很多火箭都在打造一个更大更强的发动机，SpaceX做了一个核心的发动机，绑成9个就是猎鹰9号，绑成27个就是猎鹰重型，它用一个极简的可复制的构架完成了最大载送量的火箭，而不是去从头造一个特别独一无二的发动机。猎户星空正在做同样的事情，专注在百亿参数模型的性能提优，保证通过新的构架完成基础能力的不断提升。 为了让企业更好地应用，我们独家推出微调全家桶。
https://lh7-us.googleusercontent.com/Vai1LXu5FdV1rFSz3OMlPZNVMeG7Nq72iPCKali0E6eSx_oz4Zrpmuu9YVCUt8pIkYgf3EI6aPDQ1hp1AiNnjEuhU8u0bkQdmE9dc4ls6-Gj0rUp6MZBrSXVmPkvpJ4g_fImefr0XMseob6KPq_wUrI
微调指一个基座只有技术人员可以使用，这个时候就要有一个微调方向，去解决这个问题。我们做了一个聊天的微调大概用了15万条高质量的数据，有的是发完了以后再做的微调，有的时候是自带的插件微调。 大模型要和传统的程序有一个接口，这个接口调用一个插件，我们也针对插件做微调。除此之外还有专业问答，通过微调进行大海捞针，之后生成。 这些方向基本上都是我们通过不断实践、和客户摸索出来的。微调只是相对大模型的预训练为“微调”，但是工作量并不小，而且哪个数据能够让大模型表现更好，都是一点一点打磨出来的。 在七个微调方向里，我们重点打磨的两大方向为RAG和Agent。这是今天AI大模型浪潮里非常重要的两个方向。
頁:
[1]