首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

模型中到底什么决定了效果

编程知识
2024年09月10日 19:27

在工作过程中,我们训练模型时,到底是哪些因素影响最大?模型深度,模型宽度,head个数,head深度,输入大小,输出大小等等。

在工业界中,基于深度学习的检测模型尤其应用广泛。今年由于内部变动,接触了各种不同的项目和模型。发现一个规律,模型可以很小,但是数据量很大时,一样能提高效果。同时输入尺寸变大时,比做多少模型重构都有用,当然前提是backbone和head类似的前提下。

之前的模型臃肿的很,耗时不说,还占显存,这样其实batchsize大小也有影响。于是,我把模型的head大刀阔斧砍到很浅的程度,然后把backbone也砍掉了很多。发现耗时减少了很多,loss训练的时候并没有变化多大。然后我再部署到硬件时,增加输入尺寸为之前小尺寸的2倍,同时由于改变了模型的复杂度,数据增加了很多。于是效果比之前很大(比目前这个尺寸大了1.5倍)尺寸的效果还高了5-6个点。

这说明两个问题:1. 就是我砍了模型的backbone和head,增加了数据,模型的效果依然在提升,比输入尺寸更大的模型效果还好,那说明模型远远没有达到饱和,也就是说模型相对数据其实还是过于复杂的。2. 就是模型变小了,输入尺寸变大了,效果比之前小尺寸的模型效果好了太多,这说明相比较模型复杂度,更应该提升模型的输入尺寸以改善实际效果。

 

所以在工程上,不要追求什么模型的复杂度,说把输入尺寸减小,增加模型复杂度来提升效果。输入那么小,到模型输出时,降维到什么都没有了,哪里来的效果啊,别再做这些很外行的实验了。一句话,工程上计算量有限时就要尽量增加数据和增加输入尺寸。科研上嘛,反正也不受计算量限制,输入都不会很小,多增加数据,用强大模型。

 

From:https://www.cnblogs.com/jianyingzhou/p/18407104
本文地址: http://www.shuzixingkong.net/article/1933
0评论
提交 加载更多评论
其他文章 为什么Java已经不推荐使用Stack了?
为什么不推荐使用Stack Java已不推荐使用Stack,而是推荐使用更高效的ArrayDeque 为什么不推荐使用 性能低:是因为 Stack 继承自 Vector, 而 Vector 在每个方法中都加了锁。由于需要兼容老的项目,很难在原有的基础上进行优化,因此 Vector 就被淘汰掉了,使用
为什么Java已经不推荐使用Stack了? 为什么Java已经不推荐使用Stack了? 为什么Java已经不推荐使用Stack了?
qumu虚拟机启动后无法远程连接
通过 virsh 在启动 qemu 虚拟机,可以通过 VNC 访问虚拟机,但无法通过设置的 SSH 的外部映射端口登录。首先在宿主机上查看虚拟机(csv\tpm\name)的网络配置,可以看到端口映射情况和当前网络的网段(10.0.10.0/24)。 $ virsh edit csv_tpm_nam
qumu虚拟机启动后无法远程连接 qumu虚拟机启动后无法远程连接 qumu虚拟机启动后无法远程连接
TreeMap源码详解—彻底搞懂红黑树的平衡操作
介绍 TreeSet和TreeMap在Java里有着相同的实现,前者仅仅是对后者做了一层包装,也就是说TreeSet里面有一个TreeMap(适配器模式)。 Java TreeMap实现了SortedMap接口,也就是说会按照key的大小顺序对Map中的元素进行排序,key大小的评判可以通过其本身的
TreeMap源码详解—彻底搞懂红黑树的平衡操作 TreeMap源码详解—彻底搞懂红黑树的平衡操作 TreeMap源码详解—彻底搞懂红黑树的平衡操作
关于.NET在中国为什么工资低的分析
引言 近年来,随着软件开发行业的蓬勃发展,越来越多的编程语言和框架进入了市场,成为了不同类型软件开发项目的首选工具。然而,在中国的开发者社区中,.NET 开发人员的工资水平相比其他技术栈,如 Java、Python 和前端开发人员,往往偏低。这种现象引发了广泛的讨论和思考:为什么 .NET 作为一个
dotnet 学习 CPF 框架笔记 了解 X11 里如何获取触摸信息
本文记录我学习 CPF 框架的笔记,本文记录我阅读 CPF 框架,学习到了如何在 dotnet C# 里面获取到 X11 的触摸信息,获取到多指触摸以及触摸点的面积和触摸点压感等信息的方法 开始之前,先感谢小红帽开源的 CPF 框架,这是一个纯 C# dotnet 实现的跨平台 UI 框架,支持Wi
代码整洁之道--读书笔记(8)
代码整洁之道 简介: 本书是编程大师“Bob 大叔”40余年编程生涯的心得体会的总结,讲解要成为真正专业的程序员需要具备什么样的态度,需要遵循什么样的原则,需要采取什么样的行动。作者以自己以及身边的同事走过的弯路、犯过的错误为例,意在为后来者引路,助其职业生涯迈上更高台阶。 本书适合所有程序员阅读,
代码整洁之道--读书笔记(8) 代码整洁之道--读书笔记(8) 代码整洁之道--读书笔记(8)
代码整洁之道--读书笔记(7)
代码整洁之道 简介: 本书是编程大师“Bob 大叔”40余年编程生涯的心得体会的总结,讲解要成为真正专业的程序员需要具备什么样的态度,需要遵循什么样的原则,需要采取什么样的行动。作者以自己以及身边的同事走过的弯路、犯过的错误为例,意在为后来者引路,助其职业生涯迈上更高台阶。 本书适合所有程序员阅读,
代码整洁之道--读书笔记(7) 代码整洁之道--读书笔记(7)
Redis 入门 - 五大基础类型及其指令学习
学习Redis基础类型:字符串、集合、有序集合、列表、哈希,每种类型有各自的特点和常用指令。掌握这些基础是熟练使用Redis的关键。更多指令需自行尝试。
Redis 入门 - 五大基础类型及其指令学习 Redis 入门 - 五大基础类型及其指令学习 Redis 入门 - 五大基础类型及其指令学习