Java使用Groovy执行脚本的使用，GroovyShell Matespace内存溢出解决

阿里云国内75折回扣微信号：monov8

阿里云国际，腾讯云国际，低至75折。AWS 93折免费开户实名账号代冲值优惠多多微信号：monov8 飞机：@monov6

业务场景

使用了工具Groovy

遇到Metaspace内存溢出的问题

解决方案

业务场景

类似工作流的场景需要判断参数是否满足流转条件。

随便举个例子:

新增商品资料。如果是普通商品状态为"待审核" 如果为虚拟商品状态直接为"已发布"

Init ---"prodType == 1 && optType = ‘新增商品’"--> unAudit

Init ---"prodType == 2 && XXX"--> released

script:"prodType == 1 && optType = XXX "

params.put("prodType ",prod.getProdType());

params.put("optType ","新增商品");

Boolean b = ScriptUtil.eval(script,params);//获取 true or false

使用了工具Groovy

代码如下

maven依赖

<!-- 脚本引擎依赖 groovy start -->
<dependency>
    <groupId>org.codehaus.groovy</groupId>
    <artifactId>groovy-all</artifactId>
    <version>2.1.9</version>
</dependency>

<dependency>
    <groupId>org.codehaus.groovy</groupId>
    <artifactId>groovy-jsr223</artifactId>
    <version>2.1.9</version>
</dependency>
<!-- 脚本引擎依赖 groovy end -->

java工具类

    public static Boolean executeScript1(String script, Map<String, Object> params)
    {
        ScriptEngine engine = new ScriptEngineManager().getEngineByName("groovy");

        // 创建 bindings 对象将输入参数添加为变量
        Bindings bindings = engine.createBindings();
        if(params != null)
        {
            params.forEach(bindings::put);
        }

        // 执行脚本并返回输出结果
        try
        {
            return (Boolean) engine.eval(script, bindings);
        }
        catch (ScriptException e)
        {
            LOGGER.warn(String.format(" GroovyScriptEngineUtil 执行脚本出错script[%s],params[%s]  msg[%s] ", script, params.toString(),
                    e.getMessage()));
            return false;
        }
    }

遇到Metaspace内存溢出的问题

执行几万次甚至几十万次发现线上服务直接重启。查看日志主要错误为OutofMemoryError:Metaspace

查看Prometheus监控平台Metaspace持续增加不回收。

解决方案

临时解决当然是临时增加了Metaspce空间由256M增加了512M. 指标不治本仅仅暂时缓解重启次数。

大致参数如下

-XX:+UseG1GC -XX:MaxMetaspaceSize=512M -XX:MetaspaceSize=256M -Xms2048M -Xss380K -Xmx2048M -XX:MaxGCPauseMillis=1000 -XX:+HeapDumpOnOutOfMemoryError

搜索相关博客后和自己debug调试得知根本原因如下

因为每次都new ScriptEngine导致缓存script转化的Class的classMap每次也都是新的。

即每次都load 新的class进入Metaspace Metaspace class的卸载条件又比较苛刻导致了内存溢出的问题。

解决

附上代码需要的同学可以拿走~

import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

import javax.script.Bindings;
import javax.script.ScriptEngine;
import javax.script.ScriptEngineManager;
import javax.script.ScriptException;

import com.google.common.hash.Hashing;

/**
 * 有缓存避免内存溢出
 */
public class GroovyScriptEngineUtil
{
    
    private static final ScriptEngineManager ENGINE_MANAGER = new ScriptEngineManager();
    
    private static final Map<String, ScriptEngine> CACHE = new ConcurrentHashMap<>();
    
    /**
     * 运行 Groovy 脚本
     *
     * @param script Groovy 脚本
     * @param params 输入参数
     * @return 布尔类型输出结果
     * @throws ScriptException 如果脚本执行出错
     */
    public static Boolean executeScript(String script, Map<String, Object> params)
    {
        // 使用 MD5 将脚本名称作为缓存键
        String key = Hashing.md5().hashString(script, StandardCharsets.UTF_8).toString();
        ScriptEngine engine = CACHE.computeIfAbsent(key, s -> ENGINE_MANAGER.getEngineByName("groovy"));
        
        // 创建 bindings 对象将输入参数添加为变量
        Bindings bindings = engine.createBindings();
        if(params != null)
        {
            params.forEach(bindings::put);
        }
        
        // 执行脚本并返回输出结果
        try
        {
            return (Boolean) engine.eval(script, bindings);
        }
        catch (ScriptException e)
        {
            //这里按需打印如果需要打印stack信息LOGGG.warn("xxx",e)即可。
            LOGGER.warn(String.format(" GroovyScriptEngineUtil 执行脚本出错script[%s],params[%s]  msg[%s] ", script, params.toString(),
                    e.getMessage()));
            return false;
        }
    }

    public static void main(String[] args)
    {
//        -XX:+UseG1GC -XX:MaxMetaspaceSize=20M -XX:MetaspaceSize=10M -Xms512M -Xss380K -Xmx512M -XX:MaxGCPauseMillis=1000 -XX:+HeapDumpOnOutOfMemoryError
        String script = "prodType  in  [1,2]  &&  status  in  [4,8,9,5] && optType == '新增商品' ";
        Map<String, Object> params = new HashMap<>();
        params.put("prodType", 1);
        params.put("optType", "新增商品");
        params.put("status", 4);
        System.out.println(GroovyScriptEngineUtil.executeScript(script, params));// true
    }
}

再次执行查看Metaspace情况。增加几M后内存趋于稳定