一次主机被黑导致的系统负载高问题排查记录

马谦马谦马谦 Linux评论240字数 847阅读2分49秒阅读模式

一、问题描述

某天,在QQ空间看到大学同学发了一个求助帖:

一次主机被黑导致的系统负载高问题排查记录-图片1

求助安装一个ffmpeg软件((linux平台下开源的音视频转码工具),本着助人为乐的想法准备提供一下帮助,了解之后才发现她想做的根本不是安装ffmpeg,而是已经装好了发现命令执行太卡,以为自己装错了,想找个熟人重装一下。再次深入了解才发现最终的问题是这样的:她们用的腾讯云学生机(1C1G配置),平常在上面用ffmpeg做音视频转码的实验,一个10M左右的视频转码需要十几分钟,觉得时间太长了,并且看到的日志显示他们转码并没有消耗CPU资源。

最后排查下来发现系统是被黑客入侵了,排查相当顺利(比起我们公司设备的排查简直容易一百倍),记录下排查过程。

二、排查过程

了解具体问题之后发现了两个不寻常的地方:

  1. 10M的视频转码要10分钟以上-----单核CPU应该也不至于此。
  2. 她们看到的日志显示没有占用CPU资源-----没有GPU,视频转码不耗CPU不太可能。

首先登陆上设备,看CPU占用:发现设备上以ftpuser运行了一个bash64的进程,常年占用CPU在97%以上。

一次主机被黑导致的系统负载高问题排查记录-图片2

第一眼看上去就很奇怪,为什么ftpuser会运行bash64?而且一般的bash也不叫bash64,为什么CPU占用会这么高?一种不妙的感觉顿时涌上心头,当时感觉就可能是被黑了。

尝试关闭进程,果然,根本关不掉,关了又起来。ps查看文件所在位置之后删除也不行,删除后还会自动创建,进程也还是会起来。

一次主机被黑导致的系统负载高问题排查记录-图片3

再仔细一看,发现进程执行的程序是放在ftpuser主目录下的一个隐藏文件夹下,同时还有个配置参数,cat这个文件竟然是一串ssh密钥。这明显就是一个挖矿进程了。

。。。于是乎,排查结束!

三、解决方案

结论

系统被黑客入侵,植入了挖矿程序,一直占用CPU导致其他程序无法得到CPU资源,出现了ffmpeg转码卡慢的问题。

解决方案

因为工作太忙(当时已经是晚上快十点了还在公司加班。。。)没有深入分析下去,直接建议重装系统了。

事后发现

腾讯云早已发送告警短信到她手机,她熟视无睹:

一次主机被黑导致的系统负载高问题排查记录-图片4

 最后更新:2020-4-12
马谦马谦马谦
  • 本文由 马谦马谦马谦 发表于 2019年7月3日17:57:14
  • 转载请务必保留本文链接:https://www.dyxmq.cn/linux/%e4%b8%80%e6%ac%a1%e4%b8%bb%e6%9c%ba%e8%a2%ab%e9%bb%91%e5%af%bc%e8%87%b4%e7%9a%84%e7%b3%bb%e7%bb%9f%e8%b4%9f%e8%bd%bd%e9%ab%98%e9%97%ae%e9%a2%98%e6%8e%92%e6%9f%a5%e8%ae%b0%e5%bd%95.html
system和popen返回ENOMEM问题 程序员

system和popen返回ENOMEM问题

一、我为什么不喜欢system和popen 要说到我为什么不喜欢system和popen这两个函数,这个说来就话长了。最开始,我还是很喜欢用这两个函数的,直到后来发现了太多因为滥用导致的程序异常后,它...
匿名

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
确定

拖动滑块以完成验证