度小满与哈工大共同推出SmartTrim 探索人工智能发展新路径

2024-03-26 10:25:19     来源:

多模态大语言模型是近年来金融行业研究的热点技术之一,其独有的技术特色能够缓解行业诸多难题。度小满积极布局各项前沿科技,在多模态大语言模型领域展开一系列的探索与实践,近期联合哈尔滨工业大学共同推出SmartTrim技术,不断探索人工智能发展新路径,为金融行业创新发展提供科技支撑。

度小满推出SmartTrim技术,大幅提升计算效率

在视觉语言大模型(VLM)的研究和应用中,高计算成本一直是制约其广泛部署的主要障碍。近日,哈尔滨工业大学联合度小满共同研发出一种创新的自适应剪枝算法——SmartTrim。该算法针对多模态大模型的冗余计算进行有效削减,实现了显著的效率提升,相关研究成果已被国际自然语言处理领域顶级会议COLING 24接收。

据介绍,SmartTrim技术的核心在于其自适应剪枝能力,通过分析模型中每层的token表示和attention head的冗余性,智能识别并剪除不必要的计算负担。这一过程中,SmartTrim不仅考虑了token在单一模态序列中的重要性,还特别强调了跨模态交互中的关键作用。通过这种精细化的剪枝策略,SmartTrim能够在保持模型性能的同时,大幅提升计算效率。

在基于 VQA 微调的 METER 的跨模态编码器中,层内不同 token(上)和 attention head(下)表示的相似性。

SmartTrim框架的实施涉及两个关键组件:跨模态感知的Token修剪器和模态自适应的注意力头修剪器。Token修剪器利用多层感知器(MLP)结构,智能地识别并去除那些对于当前层不重要的Token。这一过程不仅考虑了Token在文本或图像序列中的独立重要性,还综合了它们在跨模态交互中的贡献。注意力头修剪器则直接集成在模型的自注意力模块中,评估并修剪那些冗余的注意力头,从而优化了模型的计算效率。

SmartTrim 框架结构图

在训练SmartTrim模型时,研究人员采用了一种结合任务相关目标和计算开销目标的双重优化策略。通过重参数化技巧,解决了不可导二值mask的问题,实现了模型的端到端训练。此外,自蒸馏和课程学习策略的引入,进一步提高了剪枝后模型的性能,确保了训练过程的稳定性。

Token 的逐步裁剪修剪过程

SmartTrim整合到轩辕大模型中,推动大模型技术发展

实验结果表明,SmartTrim在METER和BLIP两个VLM上实现了2-3倍的加速,同时将性能损失最小化。这一成果不仅在理论上具有创新性,也为实际应用中的模型优化提供了新的思路。特别是在1.5倍加速比下,SmartTrim的性能甚至超过了原始模型。在高加速比下,SmartTrim相比其他方法展现出显著优势。

SmartTrim技术的推出,标志着多模态大模型研究的一个重要里程碑。度小满表示,SmartTrim技术将在未来整合到公司的轩辕大模型中,以推动大模型技术的发展。相关研究者可以通过访问https://github.com/Duxiaoman-DI/XuanYuan,了解更多关于SmartTrim的详细信息和研究成果。

度小满在技术领域持续探索,借助先进科技破解金融行业系列技术难题,为推动多模态等创新技术在金融领域的应用落地贡献了一份力量。未来,度小满还将继续加强对前沿科技的布局,不断攻克技术难关,加速推动多模态在金融各大场景中的运用,以创新技术助推金融行业高质量发展。

 

标签:

猜你喜欢

助力把握A股修复机遇 沪深300ETF南方(159925)调降费率
助力行业发展 中国酒业协会正式发布“泸州老窖瓶储年份酒收藏价值指数”
中国发展高层论坛丨诺华首席执行官万思瀚:建设有竞争力的创新生态系统,加快推进放射配体疗法开发与应用
线下零售AI变革风起
遥感卫星大数据助力绿色发展 航宇微受益低空经济
外行也能看门道 2024重庆马拉松转播向数智化进阶
第三届金融行业数智化创新峰会在京圆满召开
3515强人盛典,耀世辉煌 强人鞋业2023年度表彰盛典暨2024品牌发展大会圆满成功
轻喜到家“服务者人气之星”出炉,打造品质化家政的新标杆
新质生产力驱动下的智能视觉革命:摇橹船科技服务高质量发展创新探索
外联出国:希腊黄金签证涨价细则来了,80万时代即将开启
华晨禾一厂区开业庆典,以科技智领未来
西南证券资本市场交流会圆满结束
华东医药全球首个卵巢癌ADC获FDA完全批准!产品再度展现卓越疗效与安全性
荣誉加冕,重庆军美整形被中整协授予“放心美 医无忧”全过程保障示范医院
拉卡拉与济南市食品安全联盟达成战略合作 助力食品安全法律法规宣传
哪座城市网友最“花痴”?每天超12万盆花送入上海
聚焦新质生产力,领杭投融新动能 | 2024第二届杭州产投融生态大会3月28日领杭开启
​FILA ICONA三里屯全新开业 打造意式运动美学零售空间
Brand Finance发布“2024年全球保险品牌价值100强”榜单 阳光保险新晋入选
百奥赛图与ABL Bio达成合作,共同开发新型双抗ADC药物
添可芙万Station Pro洗地机创新前装模式 积极推动家电家居家装“三家一体”
服务用户超80万,感谢有你!易社保升级为「小易多多」,9年品牌焕新升级!
更大优惠力度 万洲金业全新点差调整重磅来袭
“科技力+设计力”燃动深圳展,喜临门引领健康睡眠新风尚
岭南控股发布2023年年报:核心主业强劲复苏,文旅拓新增添发展动能
东莞虎门以百千万工程为统领,推进垃圾分类工作提质增效
撬动卫生巾市场“蓝海”的支点何在?从俏妃抑菌卫生巾谈起
悉成金融投资研究中心主任首席投资官张云虎:数字空间的新时代
场景化、年轻化带火嵌入式,容声冰箱AWE释放平嵌领导者实力