falcon:一个效果很好的开源模型-ag凯发k8国际

falcon是阿布扎比技术创新研究所创建的最新语言模型系列,其中falcon-40b是第一个“真正开放”的模型,其功能可与许多当前的闭源模型相媲美。falcon-7b和falcon-40b分别接受了1.5万亿和1万亿令牌的训练,主要基于refinedweb——一种基于commoncrawl的新型海量网络数据集。falcon模型的另一个有趣的特征是它们使用多查询注意力,这极大地提高了推理的可扩展性。

0225b57ba2f642dfa08ee08ca037e03a_2076989541495611392

未经允许不得转载:ag凯发k8国际 » falcon:一个效果很好的开源模型

分享到
网站地图