1、当时的出现的情况是：执行 top、w、netstat命令的时候，会出现卡住的情况，无法正常使用

image-20220729101651020

2、我们上传新的top命令之后，只是看到CPU使用率比较高，但是看不到占用CPU的异常进程

image-20220728183555942

3、我们通过perf生成火焰图，发现存在很多异常进程占用CPU资源，这里基本上可以判定是中病毒了

image-20220728171038660

4、但是我们定位不到异常的进程是什么，我们通过tcpdump抓取网络流量，看看通过网络层面有没有存在异常

image-20220728171348668

5、我们通过bing搜索了 www.xmr-monero.top 和 www.fullskystar.top ，第一个跳出来的就是交易比特币的网站，第二个直接就跳出了被挖矿入侵的相关案例

image-20220728171740063

6、通过搜索出来的CSDN的文章，我们根据他排查的步骤来进行：查看ldd /usr/bin/ls，对比了正常的服务器和异常的服务器

image-20220728183919578

我们可以发现像文章中说的一样，我们的命令也被加入了 /lib/libcurl.so.2.17.0 动态库

7、但是我们搜索不到这个动态库文件，我们按照文章上面的操作步骤下载 busybox进行操作，busybox可以理解为一个干净的Linux系统，因为我们原来的系统已经被攻陷了，很多命令都被篡改了，所以要使用busybox

$ wget https://busybox.net/downloads/binaries/1.28.1-defconfig-multiarch/busybox-x86_64  --no-check-certificat
$ mv busybox-x86_64 busybox
$ chmod +x busybox
$ ./busybox ls -al /etc/ld.so.preload
-rw-r--r--    1 root     root            22 Jul 24 21:53 /etc/ld.so.preload
$ ./busybox cat /etc/ld.so.preload
/lib/libcurl.so.2.17.0
$ ./busybox ls -al /lib/libcurl.so.2.17.0
-rwxr-xr-x    1 root     root         31336 Jul 24 21:53 /lib/libcurl.so.2.17.0
$ ./busybox sh
$ ./busybox chattr -i /lib/libcurl.so.2.17.0; ./busybox mv /lib/libcurl.so.2.17.0 /lib/libcurl.so.2.17.0.old
exit

8、通过上面的步骤，我们可以看到病毒是通过 /etc/ld.so.preload 里面配置/lib/libcurl.so.2.17.0 进行进程隐藏的，我们可以通过 grep libcurl /proc/*/maps 查看到底有多少异常进程在运行

image-20220728191421823

9、我们把上面grep 出来的异常进程kill掉之后，把/etc/ld.so.preload配置修改过来

$ chattr -i /etc/ld.so.preload 
$ echo -n > /etc/ld.so.preload

10、我们把异常的依赖库去掉之后，可以通过top正常的查看是否存在异常进程

image-20220728192326631

11、经过搜索出来的CSDN的文章，可以进行相关的处理，我们在查看此文章的时候，发现在安全领域有HIDS（基于主机的入侵检测系统），我们通过搜索引擎查看到有很多HIDS方案供我们使用

image-20220728172419270

通过比较，我们可以发现: OSSEC/Wazuh 相对来说功能支持的是最全面的，但是CentOS和Ubuntu的原生的软件仓库是不支持安装的，而unhide CentOS和Ubuntu原生支持，并且unhide支持查看隐藏的进程，所以我们可以直接使用unhide进行隐藏进程排查。

Found HIDDEN PID: 64630
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 64639
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95529
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95555
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95556
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95557
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95558
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95559
        Cmdline: "/usr/bin/bioset"
        Executable: "/usr/bin/bioset"
        Command: "bioset"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95820
        Cmdline: "/usr/bin/kthreadd"
        Executable: "/usr/bin/kthreadd"
        Command: "kthreadd"
        $USER=root
        $PWD=/

Found HIDDEN PID: 95821
        Cmdline: "/usr/bin/kthreadd"
        Executable: "/usr/bin/kthreadd"
        Command: "kthreadd"
        $USER=root
        $PWD=/

我们通过unhide 查到的进程跟我们在top命令里面看到的异常进程是一样的，跟CSDN里面的描述也是对得上的。

12、总结：我们通过命令行异常，最终定位到服务器是被挖矿了，整个链路还是有点长的，当然我们是在不清楚具体问题的情况下，如果知道直接去进行针对性的排查应该会更快，主要是这种挖矿病毒相对来说比较隐蔽。

引用1: https://blog.csdn.net/weixin_43767046/article/details/113306011

引用2: https://en.wikipedia.org/wiki/Host-based_intrusion_detection_system_comparison