金融界2024年10月18日消息，国家知识产权局信息显示半岛bandao体育，，厦门蝉羽网络科技有限公司申请一项名为“动态搜索低秩适应的大模型微调方法、装置、设备及介质”的专利，公开号CN 118780155 A，申请日期为2024年6月。
专利摘要显示，本发明提供了动态搜索低秩适应的大模型微调方法、装置、设备及介质，包括当需要对所述大模型进行微调时，获取训练数据集半岛bandao体育，，基于训练数据集对大模型进行多次迭代训练处理，在每一次迭代训练过程中：随机从预设范围[rmin,rmax]中选取一个数据作为本次迭代的矩阵秩r，根据所述矩阵秩r对原始低秩矩阵A和原始低秩矩阵B进行切片处理，生成第一子低秩矩阵和第二子低秩矩阵；将所述第一子低秩矩阵与所述第二子低秩矩阵进行矩阵运算，得到维度为m×n的高阶权重矩阵W；根据所述高阶权重矩阵W得到改进的大模型，并采用训练数据集对所述改进的大模型进行训练，从而实现对大模型的微调。本发明可以避免为LoRA选择最佳秩的昂贵的搜索过程。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
实探成都拆迁区：四口之家旧房拆除后，获140平方米安置房、约30万元补偿
滨崎步上海演唱会门票不到60秒售空，感谢海外粉丝后日本网友酸了......
Counterpoint：2024 上半年 ODM/IDH 智能手机出货量同比增长 6%
三星卢泰文将出席 2024 骁龙峰会：谈骁龙 8 Gen 4 芯片价格
