金融界2025年7月28日消息,国家知识产权局信息显示,深圳市迈特芯科技有限公司申请一项名为“基于TTD压缩的多头潜在注意力模型的数据处理方法、系统及终端”的专利,公开号CN120373358A,申请日期为2025年03月。
专利摘要显示,本发明公开了一种基于TTD压缩的多头潜在注意力模型的数据处理方法、系统及终端,所述方法包括:构建大语言模型,通过TTD压缩、分解的方式对大语言模型中的多个线性层进行处理,从而减少了模型中的权重数量,在硬件层面针对TTD压缩后线性层推理的数据流进行针对性优化,从而输出最后的模型推理结果。本发明通过转化为大语言模型中的多头潜在注意力结构,从而减少模型推理时对KV cache的需求,通过减少权重数量,提高模型在边缘设备上的长文本输出能力,后续采用组矢量脉动阵列的计算结构去进行推理过程中的矩阵计算,高效地利用了有限的硬件资源。
天眼查资料显示,深圳市迈特芯科技有限公司,成立于2023年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本612.2449万人民币。通过天眼查大数据分析,深圳市迈特芯科技有限公司共对外投资了2家企业,专利信息12条,此外企业还拥有行政许可9个。
来源:金融界