天天滚动:因为内存溢出,我差点被优化
作为一个技术博主,了不起不是在创作就是在创作的路上(当然偶尔也会有点恰饭文~还指望大家多多支持),我们都知道,在写代码的过程中,业务逻辑很大程度上决定了你对业务的理解,但是解决问题,却是你提升比较关键的地方,而了不起,却差点因为这个内存溢出,把自己给干优化掉。
什么是内存溢出百度百科是这么解释的:
内存溢出(Out Of Memory,简称OOM)是指应用系统中存在无法回收的内存或使用的内存过多,最终使得程序运行要用到的内存大于能提供的最大内存。此时程序就运行不了,系统会提示内存溢出,有时候会自动关闭软件,重启电脑或者软件后释放掉一部分内存又可以正常运行该软件,而由系统配置、数据流、用户代码等原因而导致的内存溢出错误,即使用户重新执行任务依然无法避免
(资料图片仅供参考)
其实很简单,在Java中,那就是Out Of Memory,导致了不合理的GC,那么如何去定位这个内存溢出的呢?实际上如果是大公司,那么会有专业的运维人员去定位哪些程序导致了内存溢出,但是如果要是没有专业的运维人员,那么你自己就得学会怎么去定位这个内存溢出了。
如何定位内存溢出一、定位占用CPU最高的服务 1、先找到cpu占用比较高的进程:top-c进去后按Shift+P键
一般异常的进程cpu的占用会很高,记录下这进程的PID
2、查看指定进程cpu情况:top -cp PID
查看此进程占用cpu最高的线程,记录下线程的ppid也可以将相关信息保存下来:top -Hp PID -o %CPU -n 1 >cpu.txt到此,我们就找到的最占用cpu的进程以及相关线程。
3.如果你已经知道是你们的Java程序导致了内存溢出,那么我们就得学会分析日志,一般在Out Of Memory的上方,我们都会有各种日志的输出,来标志现在这个时间点,我们的程序执行了什么操作,导致了我们的这个内存溢出,分析到这里,就轮到看代码了。
检查的内容大致都有哪些地方呢?
在一个项目中,使用两个数据库连接,其中专用于发送短信的数据库连接使用DBCP连接池管理,用户为不将短信发出,有意将数据库连接用户名改错,使得日志中有许多数据库连接异常的日志,一段时间后,就出现OutOfMemory错误。经分析,这是由于DBCP连接池BUG引起的,数据库连接不上后,没有将连接释放,最终使得DBCP报OutOfMemory错误。
上面这是一个简单的例子,比如还有其他的,代码中是否有死循环或递归调用。是否有大循环重复产生新对象实体。检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。
比如我们这次内存溢出,就是因为一个很简答的导入功能,因为服务器给服务拆分的内存只有2G,而程序也没有专门的去处理,实施导入数据的时候,直接把100w的空数据从Excel中直接导入了,结果,直接导致了内存溢出。那么我们应该怎么去处理这个呢?
其实我们的比较简单,就是直接限定了文件的大小,因为Excel虽然很大,但是有数据量的就那么几百行,100w行,都是空行数据,还都识别了,所以处理方式就那么几种,限制文件大小,限制读取数据的时候不读空行,因为毕竟内存大小是已经不允许我们做修改了,只能通过这个代码业务层面来处理这个了。
如何解决内存溢出呢?内存溢出的解决方案:
第一步,修改JVM启动参数,直接增加内存。(-Xms,-Xmx参数一定不要忘记加。)
第二步,检查错误日志,查看OutOfMemory错误前是否有其它异常或错误。
第三步,对代码进行走查和分析,找出可能发生内存溢出的位置。
重点排查以下几点:
1.检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
2.检查代码中是否有死循环或递归调用。
3.检查是否有大循环重复产生新对象实体。
4.检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。
第四步,使用内存查看工具动态查看内存使用情况
一般的,使用的工具有很多,MAT(Memory Analyzer Tool) 这个工具是一个比较好用的分析内存的工具,还有jmeter这个压力测试工具,可对特定接口进行压测,分析tps、响应时间、CPU、内存等性能指标。
JConsole、JVisualVMjdk 自带可视化工具,可监控CPU、内存、线程等状况。
标签:
推荐文章
- 深圳2021年棚户区改造累计开工6530套 获得督查激励
- 研究人员最新发现 单个细胞可同时处理成百上千个信号
- 长期暴露在光照下性能退化 科学家发现钙钛矿太阳能电池最大缺陷
- 陆军第73集团军某旅 创新升级模拟训练器材
- 陆军炮兵防空兵学院 毕业学员综合战术演习现地备课工作圆满完成
- 宁夏启动双百科技支撑行动 构建高水平产业创新体系
- 区域特色产业转型升级 四川屏山以“3+”模式推进科技创新工作
- 国内首颗以茶叶冠名遥感卫星 安溪铁观音一号发射成功
- 激发创新动能促进产业发展 无锡滨湖走出产业转型“绿色”路
- 走近网瘾少年们:他们沉迷网络的病根何在?
- 节后第一天北京白天晴或多云利于出行 夜间起秋雨或再上线
- 走访抗美援朝纪念馆:长津湖的寒冷,与战斗一样残酷
- 绥化全域低风险!黑龙江绥化北林区一地调整为低风险
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- 中国故事丨“沉浸式”盘点今年的教育好声音!
- 升旗、巡岛、护航标、写日志,他们一生守护一座岛
- 他从一窍不通的“门外汉”,到重装空投“兵专家”
- 获2021年诺奖的蛋白,结构由中国学者率先解析
- “双减”后首个长假:亲子游、研学游需求集中释放
- 天山脚下,触摸丝路发展新脉动
- 且看新疆展新颜
- 《山海情》里“凌教授”的巨菌草丰收啦
- “双减”出台两个月,组合拳如何直击减负难点?
- IP类城市缘何吸引力强?玩法创新带动游客年轻化
- 面对婚姻,“互联网世代”的年轻人在忧虑什么?
- 沙害是自然界的恶魔,而他是荒沙碱滩的征服者
- “辱华车贴”商家及客服被行拘,处罚要不放过每一环
- 网游新政下,未成年人防沉迷的“主战场”在哪?
- 160万骑手疑似“被个体户”?平台不能当甩手掌柜
- 报告显示:这个国庆假期,粤川浙桂赣旅游热度最高
- 陈毅元帅长子忆父亲叮嘱:你们自己学习要好,就可以做很多事儿
- 北京国庆7天接待游客超861万人次 冬奥线路受青睐
- 从1.3万元降到700元,起诉书揭秘心脏支架“玄机”
- 都市小资还是潮流乐享?花草茶市场呈爆发性增长
- 国庆主题花坛持续展摆至重阳节
- 警方查处故宫周边各类违法人员12人
- 云南保山:170公里边境线,4000余人日夜值守
- 线上教学模式被盯上,网络付费刷课形成灰色产业链
- 全国模范法官周淑琴:为乡村群众点燃法治明灯
- 嘉陵江出现有记录以来最强秋汛
- 中国科技人才大数据:广东总量第一,“北上”这类人才多
- 神经科学“罗塞塔石碑”来了:迄今为止最完整的大脑细胞图谱
- 多地网友投诉遭遇旅游消费骗局,呼吁有关部门严查乱象
- 受南海热带低压影响 海南海口三港预计停运将持续到10日白天
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- 广州10月8日至20日对所有从省外来(返)穗人员实施核酸检测
- 辽宁省工信厅发布10月8日电力缺口橙色预警
- 受琼州海峡封航影响 10月7日、8日进出海南岛旅客列车停运
- 这场红色故事“云比拼”,穿越时空为我们指引方向
- 陕西支援14省份采暖季保供用煤3900万吨
- 汾河新绛段发生决口
- 看,生机勃勃的中国
- 百闻不如一见——北京大学留学生参访新疆
- 新疆霍尔果斯市2例无症状感染者新冠病毒均为德尔塔变异株
- 哈尔滨市南岗区爱达88小区将调整为低风险地区
- 国庆假期全国道路交通总体安全平稳有序
- 假期怎么过得这么快?国庆5.15亿人次出游,你咋过的?
- 国庆假期北京接待游客861.1万人次
- 山西平遥消防4天29次救援:拖着腿走路也要完成任务
- 新疆兵团可克达拉市:195名密接者已全部隔离医学观察
- 国庆假期中国预计发送旅客4.03亿人次
- 公安部交管局:国庆假期日均出动警力18万余人次,5位交警辅警牺牲
- 国庆假期中国国内旅游出游5.15亿人次
- 新疆哈密市巴里坤县发生4.3级地震 震源深度9千米
- 冷空气自西向东影响中国大部地区 气温将下降4℃至6℃
- 2021年MAGIC3上海市青少年三对三超级篮球赛落幕
- 国庆假期广西累计接待游客逾3611万人次 实现旅游消费272.41亿元
- 新疆伊犁州:妥善做好滞留旅客安置返回工作
- 新疆霍尔果斯无症状感染者新冠病毒属德尔塔变异株 未发现高度同源的基因组序列
- “数说”杭州无障碍改造:触摸城市“爱的厚度”
- 受南海热带低压影响广东将暂别高温天气
- 浙南沿海村村发展有妙招 搭乘共富快车打造“海上花园”
- 世界第一埋深高速公路隧道大峡谷隧道出口端斜井掘进完成
- 直径2米“面气球”亮相 山西首届“寿阳味道”美食大赛启幕
- 厦门同安区四区域调整为低风险 全市无中高风险地区
- 哥伦比亚遇上广州:洋茶人“云上”喫茶 传播中国茶“味道”
- 新疆兵团第四师可克达拉市1名无症状感染者为餐饮从业人员
- 中国国庆假期出行热:数字改变“关键小事”
- 添加陌生人为好友 内蒙古两女子被骗126万
- 南沙港铁路国庆假期不停工 力争今年年底开通
- 新疆霍尔果斯两例无症状感染者新冠病毒均属德尔塔变异株
- 哈尔滨一地风险等级调整为低风险
- 哈尔滨市学校有序恢复线下教学
- 受热带低压影响 琼州海峡北岸等待过海车辆排长龙
- 铁路迎返程高峰 西安局集团公司加开79趟高铁列车
- 铁路人国庆雨中巡查排险记:一身雨衣、一把铁锹保安全畅通
- 水能载物亦能“生金” 浙江遂昌山村以水为媒奔共富
- 科学拦峰错峰削峰 嘉陵江洪水过境重庆中心城区“有惊无险”
- 山西解除持续近90小时的暴雨四级应急响应
- 安徽黄山国庆假期迎客12万余人 旅游市场稳步复苏
- 从进“培训班”到看《长津湖》
- 厦门中高风险地区清零 撤除离厦通道查验点
- 济南趵突泉地下水位创1966年以来最高纪录
- 杭州“十一”假期后初中取消统一早读