跨平台Excel导表工具(Excel=>protobuf/msgpack/lua/javascript/json/xml)
MIT License
文档: https://xresloader.atframe.work
本工程只是转表引擎工具,批处理(批量转表)工具的请参见:
由于 v2.11.0-rc3 版本变更了默认的索引器,导致对Excel一些内置的数据类型处理和先前有一些差异。比如对于日期时间类型、百分率等。
现在会先转出原始的文本,再根据protocol的目标类型做转换。如果需要回退到老的POI索引,可以使用 --enable-excel-formular
选项切换到老的索引器。
新版本开始使用JDK 11打包,如果仍然需要 JDK1.8打包请自行下载源码并修改 pom.xml
内 maven-compiler-plugin
的 source
和 target
后使用 mvn package
命令打包。
使用步骤
- sample目录下有所有功能的示例excel、配置、协议和对sample数据的几种读取方式代码
执行方式 java -jar xresloader.jar [参数...]
生成源和结果在sample目录下, xresloader的路径为 ../target/xresloader-1.4.1.jar
推荐使用--stdin批量输入+多个-m参数指定转表参数的模式,如:
echo "
-t lua -p protobuf -f proto_v3/kind.pb --pretty 2 -m \"DataSource=资源转换示例.xlsx|arr_in_arr|3,1\" -m \"MacroSource=资源转换示例.xlsx|macro|2,1\" -m \"ProtoName=arr_in_arr_cfg\" -m \"OutputFile=arr_in_arr_cfg.lua\" -m \"KeyRow=2\" -o proto_v3
-t bin -p protobuf -f proto_v3/kind.pb -m \"DataSource=资源转换示例.xlsx|arr_in_arr|3,1\" -m \"MacroSource=资源转换示例.xlsx|macro|2,1\" -m \"ProtoName=arr_in_arr_cfg\" -m \"OutputFile=arr_in_arr_cfg.bin\" -m \"KeyRow=2\" -o proto_v3
" | java -Dfile.encoding=UTF-8 -client -jar ../target/xresloader-1.3.3.0.jar --stdin
其他调用形式见sample
参数选项 | 描述 | 说明 |
---|---|---|
-h --help | 帮助信息 | 显示帮助和支持的参数列表 |
-t --output-type | 输出类型 | bin(默认值),lua,msgpack,json,xml,javascript,js,ue-csv,ue-json |
-p --proto | 协议描述类型 | protobuf(默认值),capnproto(暂未实现),flatbuffer(暂未实现) |
-f --proto-file | 协议描述文件 | |
-o --output-dir | 输出目录 | 默认为当前目录 |
-d --data-src-dir | 数据源根目录 | 默认为当前目录 |
-s --src-file | 数据源描述文件 | 后缀可以是 .xls, .xlsx, .cvs, .xlsm, .ods, .ini, .cfg, .conf, .json |
-m --src-meta | 数据源描述表 | 可多个 |
--enable-string-macro | 设置Macro表也对字符串类型生效 | 可以通过全局开启此选项,特定表使用 --disable-string-macro 来实现默认开启字符串文本替换,特定表不替换 |
--disable-string-macro | 设置Macro表也对字符串类型不生效 | (默认) |
-v --version | 打印版本号 | |
-n --rename | 重命名输出文件名 | 正则表达式 (如:/(?i)\.bin$/\.lua/) |
--require-mapping-all | 开启所有字段映射检查 | 开启所有字段映射检查后,转出结构中所有的字段都必须配置映射关系,数组字段至少要有一个元素 |
--enable-alias-mapping | 开启别名匹配 | 映射Excel列到目标数据结构,允许使用别名(<2.18.0版本时默认值) |
--disable-alias-mapping | 关闭别名匹配 | 映射Excel列到目标数据结构,不允许使用别名(>=2.18.0版本) |
-c --const-print | 输出协议描述中的常量 | 参数为字符串,表示输出的文件名 |
-i --option-print | 输出协议描述中的选项 | 参数为字符串,表示输出的文件名 |
-r --descriptor-print | 输出完整协议描述信息 | 参数为字符串,表示输出的文件名 |
-a --data-version | 设置数据版本号 | 参数为字符串,表示输出的数据的data_ver字段。如果不设置将按执行时间自动生成一个 |
--pretty | 格式化输出 | 参数为整数,0代表关闭美化输出功能,大于0表示格式化时的缩进量 |
--enable-excel-formular | 开启Excel公式实时计算 | 开启公式实时计算会减慢转表速度(2.11-RC3版本后默认关闭) |
--disable-excel-formular | 关闭Excel公式实时计算 | 关闭公式实时计算,会使用新的流式索引器,大幅加快转表速度,降低内存开销。(注: 也会关闭对日期格式的探测) |
--disable-empty-list | 移除数组空项 | (废弃),请使用 --list-strip-all-empty
|
--enable-empty-list | 保留全部数组空项 | (废弃),请使用 --list-keep-empty
|
--list-strip-all-empty | 移除数组空项 | (默认) 移除数组空项,自动删除Excel中的未填充数据,不会转出到输出文件中 |
--list-keep-empty | 保留全部数组空项 | 保留全部数组空项,未填充数据将使用默认的空值来填充,并转出到输出文件中 |
--list-strip-empty-tail | 移除数组尾部空项 | 移除数组尾部空项,自动删除尾部的未填充数据,其他的未填充数据将使用默认的空值,并转出到输出文件中 |
--stdin | 通过标准输入批量转表 | 通过标准输入批量转表,参数可上面的一样,每行一项,字符串参数可以用单引号或双引号包裹,但是都不支持转义 |
--lua-global | lua输出写到全局表 | 输出协议描述中的常量到Lua脚本时,同时导入符号到全局表_G中(仅对常量导出有效) |
--lua-module | lua输出使用module写出 | 输出Lua脚本时,使用 module(模块名, package.seeall) 导出到全局 |
--xml-root | xml输出的根节点tag | 输出格式为xml时的根节点的TagName |
--javascript-export | 导出javascript数据的模式 | 可选项(nodejs: 使用兼容nodejs的exports, amd: 使用兼容amd的define, 其他: 写入全局(window或global)) |
--javascript-global | 导出javascript全局空间 | 导出数据到全局时,可以指定写入的名字空间 |
--ignore-unknown-dependency | 忽略未知的依赖项 | 忽略未知的输入协议的依赖项(>=2.9.0版本) |
--validator-rules | 指定自定义验证器配置文件路径 | 指定自定义验证器配置文件路径 |
--disable-data-validator | 允许忽略数据验证错误 | (>=2.17.0版本) |
--data-source-lru-cache-rows | 数据源的LRU Cache行数 | 仅缓存流式索引 |
--tolerate-max-empty-rows | 连续空行检测的行数 | 设置连续空行检测的行数(>=2.14.1版本) ,大量的连续空行通常是误操作 |
--ignore-field-tags | 字段Tag | 忽略指定tag的字段转出(>=2.19.0版本) |
--data-source-mapping-file | 数据源映射输出文件 | (>=2.19.1版本) |
--data-source-mapping-mode | 数据源映射输出模式 |
none , md5 , sha1 , sha256 (>=2.19.1版本) |
--data-source-mapping-seed | 数据源映射输出Hash Seed | (>=2.19.1版本) |
数据源描述文件后缀 | 数据源描述表 | 说明 |
---|---|---|
.xls,.xlsx | 视作Excel文件,数据源描述表为Excel内的Sheet名称 | 已实现, 非微软格式尚未测试 |
.ini,.conf,.cfg | 视作ini文件,数据源描述表为ini内的Section名称 | 已实现(不支持自动合表) |
.json | 视作json文件,数据源描述表为json内的第一层子节点名称 | 已实现(必须是UTF-8编码,不支持自动合表) |
.xml | 视作xml文件,数据源描述表为xml内的根节点下的子节点TagName,并且只取第一个 | (暂未支持) |
字段 | 简介 | 主配置 | 次配置 | 补充配置 | 说明 |
---|---|---|---|---|---|
DataSource | 配置数据源(主配置:文件路径,次配置:表名,补充配置:起始行号,列号) | ./资源转换示例.xlsx | kind | 3,1 | 必须,可多个。多个则表示把多个Excel表数据合并再生成配置输出,这意味着这多个Excel表的描述Key的顺序和个数必须相同 |
MacroSource | 元数据数据源(主配置:文件路径,次配置:表名,补充配置:起始行号,列号) | ./资源转换示例.xlsx | macro | 2,1 | 可选 |
编程接口配置 | |||||
ProtoName | 协议描述名称 | role_cfg | 必须, 这个名字可以直接是类型名称[MessageName],也可以是[PackageName].[MessageName] | ||
OutputFile | 输出文件 | role_cfg.bin | 必须 | ||
KeyRow | 字段名描述行 | 2 | 必须 | ||
KeyCase | 字段名大小写 | 小写 | 大写/小写/不变(大小写转换,如果不需要则留空或小写) | ||
KeyWordSplit | 字段名分词字符 | _ | 可选,字段名映射时单词之间填充的字符串,不需要请留空 | ||
KeyPrefix | 字段名固定前缀 | 可选,字段名映射时附加的前缀,不需要请留空 | |||
KeySuffix | 字段名固定后缀 | 可选,字段名映射时附加的后缀,不需要请留空 | |||
KeyWordRegex | 分词规则(判断规则,移除分词符号规则,前缀过滤规则) | [A-Z_\$ \t\r\n] |
[_\$ \t\r\n] |
[a-zA-Z_\$] |
(可选),字段名映射时单词的分词规则,正则表达式,不需要请留空 |
Encoding | 编码转换 | UTF-8 | 注:Google的protobuf库的代码里写死了UTF-8,故而该选项对Protobuf的二进制输出无效 | ||
JsonCfg-LargeNumberAsString | 是否把大数字转换成字符串 | true | 控制是否把大数字转换成字符串(Json和Javascript,2.16.0版本开始支持) | ||
UeCfg-UProperty | UnrealEngine配置支持的字段属性 | 字段分组 | 蓝图权限 | 编辑权限 | 可选,默认值: XResConfig|BlueprintReadOnly|EditAnywhere |
UeCfg-CaseConvert | 是否开启驼峰命名转换(默认开启) | true/false |
可选,开启后将使用首字母大写的驼峰命名法生成字段名和类名 | ||
UeCfg-CodeOutput | 代码输出目录 | 代码输出根目录 | Publich目录前缀 | Private目录前缀 | 可选 |
UeCfg-DestinationPath | 资源输出目录(uassert目录,默认会根据代码输出目录猜测) | 左包裹字符 | 右包裹字符 | 可选 | |
UeCfg-CsvObjectWrapper | 指定 Ue-Csv 模式输出时,map和array的包裹字符 |
资源输出目录 | 可选 | ||
UeCfg-EnableDefaultLoader | 是否启用UE默认的Loader | true/false |
可选,默认值: true
|
||
UeCfg-IncludeHeader | UE代码额外的自定义包含头文件 | 头文件路径 | 头文件路径 | 头文件路径 | 可选,三个路径都可选,此选项可以多次出现 |
CallbackScript | 使用Javascript脚本处理输出的数据 | Javascript脚本路径 | 可选, (2.13.0版本开始支持) |
比如在资源转换示例.xlsx中:
- 主配置(分词匹配符):
[A-Z_\$ \t\r\n]
是指,碰到大写字母、下划线、$符号、空格和打印符、换行符都认为是新单词- 次配置(过滤匹配符):
[_\$ \t\r\n]
是指,碰到分词符号后下划线、$符号、空格和打印符、换行符时都要移除- 补充配置(起始匹配符):
[a-zA-Z_\$]
是指,第一次碰到字母、下划线、$符号后才开始认为是字段名,前面的都视为无效字符
gOurInstance
访问数据源接口( DataSrcImpl.getOurInstance()
)gSchemeConf
访问数据转换配置接口( SchemeConf.getInstance()
)function initDataSource()
函数,将在切换数据源时触发(文件名或sheet名)。function currentMessageCallback(originMsg, typeDesc)
函数,将在切换数据源时触发(文件名或sheet名)。
originMsg
为原始数据结构的 HashMap
结构typeDesc
为数据类型描述信息, org.xresloader.core.data.dst.DataDstWriterNode.DataDstTypeDescriptor
结构上面的配置中,数据从第3行读取,Key从第2行读取。那么第一行可以用来写一些说明或描述性数据。
以上6-10是都为了兼容某些情况下的名称和规范的适配问题。
比如:资源转换示例.xlsx的kind表中,0CostType这一项
如果不需要字段名转换,直接把KeyWordRegex的配置全部配成空即可。(注意这样大小写转换也不会执行)
输出格式参数 | 输出格式说明 | 说明 |
---|---|---|
bin | 基于协议的二进制文件,不同的协议类型(-p参数)输出的二进制不一样,一般是header+body,body中有转出的数据列表, 协议格式见header文件夹 | 示例见 sample (protobuf) |
lua | 转出为的lua代码文件(可选是否要pretty格式化), 一般格式为 return {[1] = 转表头信息, [协议结构名称] = {数据列表} }
|
示例见sample |
msgpack | 转出为使用MsgPack打包的二进制文件,内含的第一个message是转表头信息,后面紧跟数据,可以用任何支持得客户端解包 | 示例见sample |
json | 转出为json文件,一般格式为 [ {转表头信息}, {协议结构名称 : [ 转出的数据 ] } ]
|
示例见sample |
xml | 转出为xml文件,一般格式为<root><header>转表头信息</header><body><协议结构名称>数据内容</协议结构名称></body></root> | 示例见sample |
js | 转出为js代码文件(可选是否要pretty格式化) | 示例见sample |
注意: Xml输出格式中,列表元素的结构是<配置名称 for="0">数据1</配置名称><配置名称 for="1">数据2...</配置名称> 属性字段for表示数组索引,目的是方便通过xpath查找。
转出的数据都采用header+data_block的形式。本工具并不规定怎么读取转表导出的数据,开发者可以按照转出的数据规则自由操作。
建议项目中使用导出的协议二进制或者msgpack。协议二进制可以用任意语言加载protobuf或者其他类似工具(如:pbc 或 upb )加载。
而其他导出类型可以用于一些外部工具的集成,比如基于Web的GM工具,基于Lua的远程调试工具等等。
但是为了使用方便,在loader-binding里提供了几种基本的读表方式。
protobuf的协议数据解包主要流程:
- 二进制文件使用third_party/xresloader-protocol/core/pb_header.proto 中的
xresloader_datablocks
结构解包- xresloader_datablocks.data_block内保存的二进制使用指定的配置协议解包
- xresloader_datablocks.data_block的个数就是Excel转出的数据行数,注意包含空行
如果你使用官方的protobuf或protobuf-lite,可以使用loader-binding/cxx来加载配置
sample 参见: sample/cxx/read_kind_sample.cpp
如果你使用云风的pbc,可以使用loader-binding/pbc来加载配置
这个加载器会依赖 https://github.com/owent-utils/lua/tree/master/src 里的部分内容。
需要使用pbc先加载header/pb_header.pb文件。
proto v3请注意: pbc 不支持[packed=true]属性。在proto v3中,所有的repeated整数都默认是[packed=true],要使用pbc解码请注意这些field要显示申明为[packed=false]
或者使用我修改过的pbc的proto_v3分支
pbc_config_manager:load_buffer_kv(协议名, 二进制, function(序号, 转出的lua table) return key的值 end) -- 读取key-value型数据接口
pbc_config_manager:load_buffer_kl(协议名, 二进制, function(序号, 转出的lua table) return key的值 end) -- 读取key-list型数据接口
如果你使用protobuf的 upb和 upb 的Lua binding加载配置,可以使用 xres-code-generator 子项目 来生成加载配置的代码
UE支持:
Ue-Csv
或者 Ue-Json
格式,同时也会输出对应结构的代码和导入设置。template/UE*
的UE模板来生成蓝图支持的Wrapper接口。通过这种方式加载数据支持多版本并存和支持复杂的多级索引和多个索引。注意:所有导出非二进制的数据都是不带包名的(package),但是使用-c --const-print选项导出协议常量除外。因为数据加载一般有manager统一管理,而协议常量一般直接用于代码中。
导出的常量都很简单易懂,直接看生成的文件很容易理解,这里不再额外作说明了。
这个加载器会依赖 https://github.com/owent-utils/lua/tree/master/src 里的部分内容。
conf_manager:load_kv(require的路径, function(序号, 转出的lua table) return key的值 end) -- 读取key-value型数据接口
conf_manager:load_kl(require的路径, function(序号, 转出的lua table) return key的值 end) -- 读取key-list型数据接口
Excel里的Key使用@后缀的字段名,@后面的部分都属于验证器。或者也可以通过协议插件来设置验证器,如果一个字段使用了验证器,验证器可以使用以下值:
InText("文件名"[, 第几个字段[, \"字段分隔正则表达式\"]])
: 从文本文件(UTF-8编码),可以指定读第几个字段和用于字段分隔的正则表达式InTableColumn("文件名", "Sheet名", 从第几行开始, 从第几列开始)
: 从Excel数据列读取可用值,指定数据行和数据列InTableColumn("文件名", "Sheet名", 从第几行开始, KeyRow, KeyValue)
: 从Excel数据列读取可用值,指定数据行并通过某一行的的值获取数据列Regex("正则表达式")
: 验证匹配正则表达式(>=2.17.0版本)--validator-rules
加载)A-B
(比如 0-1234
)或 >=A
(比如 >=1234
)或 <=A
(比如 <=1234
)或 >A
(比如 >1234
)或 <A
(比如 <1234
)自定义验证器的配置格式(YAML):
validator:
- name: "validator name"
description: "(可选)描述"
rules:
- validator_rule1
- validator_rule2
- ...
详见 sample/资源转换示例.xlsx 的upgrade_10001和upgrade_10002表
项目中可以导入 header/extensions 目录, 然后通过导入 header/v2 或 header/v2 中的相应proto文件来支持额外的插件扩展支持。
插件名称 | 插件功能 |
---|---|
org.xresloader.msg_description | 消息体描述信息,会写入输出的header中和代码中 |
org.xresloader.msg_require_mapping_all | 设置message的所有字段必须被全部映射 |
org.xresloader.msg_separator | Plain模式字段分隔符,可指定多个,用于在一个单元格内配置复杂格式时的分隔符列表,默认值: `,;、 |
org.xresloader.ue.helper | 生成UE Utility代码的类名后缀 |
org.xresloader.ue.not_data_table | 不是DataTable,helper类里不生成加载代码 |
org.xresloader.ue.default_loader | Message是否开启默认Loader(EN_LOADER_MODE_DEFAULT,EN_LOADER_MODE_ENABLE,EN_LOADER_MODE_DISABLE ) |
org.xresloader.ue.include_header | Message输出的代码额外包含头文件,可多个 |
插件名称 | 插件功能 |
---|---|
org.xresloader.validator | 验证器,可填范围(log-high),message名,enum名。多个由 | 分隔。任意验证器通过检查则认为数据有效 |
org.xresloader.field_unique_tag | 设置唯一性检测Tag,多个相同tag的字段将合并并在转出数据时检测唯一性(可多个) |
org.xresloader.field_not_null | 如果配置了字段映射且某个数据行对应的oneof数据为空,则忽略此行 |
org.xresloader.map_key_validator | 用于Map类型Key的验证器,可填范围(low-high),message名,enum名。多个由 | 分隔。任意验证器通过检查则认为数据有效 |
org.xresloader.map_value_validator | 用于Map类型Value的验证器,可填范围(low-high),message名,enum名。多个由 | 分隔。任意验证器通过检查则认为数据有效 |
org.xresloader.field_description | 字段描述信息,会写入输出的header中和代码中 |
org.xresloader.field_alias | 字段别名,配合 验证器 功能,允许在数据源中直接填写别名来配置数据 |
org.xresloader.field_ratio | 字段放大,用于比如配置百分率为 0.12,当 org.xresloader.field_ratio=100时转出的数据为12 |
org.xresloader.field_separator | Plain模式分隔符,可指定多个,用于在一个单元格内配置复杂格式时的分隔符列表,默认值: ,;|
|
org.xresloader.field_required | 设置字段为 required ,用于向proto3提供,proto2的 required 约束 |
org.xresloader.field_origin_value | 写出原始数据到指定字段( Timestamp 和 Duration 类型) |
org.xresloader.field_allow_missing_in_plain_mode | Plain模式下设置此字段可选,如果未设置则使用默认值(版本 2.16.0 版本开始支持) |
org.xresloader.field_list_strip_option | 给单个字段设置数组裁剪,可选值( LIST_STRIP_DEFAULT|LIST_STRIP_NOTHING|LIST_STRIP_TAIL|LIST_STRIP_ALL )(版本 2.18.0 版本开始支持) |
+ LIST_STRIP_DEFAULT : 默认值,使用 --list-strip-all-empty/--list-keep-empty/--list-strip-empty-tail 控制,未设置则是裁剪全部空值 ) |
|
+ LIST_STRIP_NOTHING : 不裁剪数据,相当于 --list-keep-empty
|
|
+ LIST_STRIP_TAIL : 裁剪尾部空值,相当于 --list-strip-empty-tail
|
|
+ LIST_STRIP_ALL : 裁剪全部空值,相当于 --list-strip-all-empty
|
|
org.xresloader.field_list_min_size | 给单个字段设置数组最小长度,输入字符串:"<N>|枚举名" (版本 2.18.0 版本开始支持) |
org.xresloader.field_list_max_size | 给单个字段设置数组最大长度,输入字符串:"<N>|枚举名" (版本 2.18.0 版本开始支持) |
org.xresloader.field_list_strict_size | 设置单个字段设置数组严格长度要求,即不自动补全最小长度,而是报错。:false|true (默认值: false ,版本 2.18.0 版本开始支持) |
org.xresloader.field_tag | 设置字段Tag,配合 --ignore-field-tags 选项可用于跳过某些数据。(版本 2.19.0 版本开始支持) |
org.xresloader.ue.key_tag | 生成UE代码时,如果需要支持多个Key组合成一个Name,用这个字段指定系数(必须大于0) |
org.xresloader.ue.ue_type_name | 生成UE代码时,如果指定了这个字段,那么生成的字段类型将是 TSoftObjectPtr<ue_type_name> , 并且支持蓝图中直接引用 |
org.xresloader.ue.ue_type_is_class | 生成UE代码时,如果指定了这个字段,那么生成的字段类型将是 TSoftClassPtr<ue_type_name> , 并且支持蓝图中直接引用 |
org.xresloader.ue.ue_origin_type_name | 生成UE代码时,如果指定了这个字段,那么生成的字段类型将使用这个类型,需要用户自己确保类型有效且对应的proto类型可以隐式转换到该类型 |
org.xresloader.ue.ue_origin_type_default_value | 生成UE代码时,如果指定了这个字段,那么生成的字段的Reset代码将使用这个表达式,需要用户自己确保表达式有效且对应的proto类型可以隐式转换到该类型 |
插件名称 | 插件功能 |
---|---|
org.xresloader.enumv_description | 枚举值描述信息,可能会写入输出的header中和代码中 |
org.xresloader.enum_alias | 枚举值别名,配合 验证器 功能,允许在数据源中直接填写别名来配置数据 |
插件名称 | 插件功能 |
---|---|
org.xresloader.oneof_description | oneof描述信息,可能会写入输出的header中和代码中 |
org.xresloader.oneof_separator | Plain模式类型和值字段的分隔符,可指定多个,用于在一个单元格内配置复杂格式时的分隔符列表,默认值: ,;|
|
org.xresloader.oneof_not_null | 如果配置了字段映射且某个数据行对应的oneof数据为空,则忽略此行 |
org.xresloader.oneof_allow_missing_in_plain_mode | Plain模式下设置此字段可选,如果未设置则使用默认值(版本 2.16.0 版本开始支持) |
org.xresloader.oneof_tag | 设置字段Tag,配合 --ignore-field-tags 选项可用于跳过某些数据。(版本 2.19.0 版本开始支持) |
用于把转表生成的二进制导出为Human-Readable的文本,方便调试。可以直接从 https://github.com/xresloader/xresloader-dump-bin/releases 下载对应平台的可执行程序
# 编译
mvn compile
# 打包
mvn package
以上命令会自动下载依赖文件、包和插件。
编译完成后,输出的结果默认会放在 target 目录下。
编译和打包见 安装说明
Ans: Excel里编辑过的单元格即便删除了也会留下不可见的样式配置,这时候会导致转出的数据有空行。可以通过在Excel里删除行解决
Ans: Excel里的日期时间类型转成协议里整数时会转为Unix时间戳,但是Excel的时间是以1900年1月0号为基准的,这意味着如果时间格式是hh:mm:dd的话,49:30:01会被转为1900-1-2 1:31:01。时间戳会是一个很大的负数
介于这个原因,不建议在Excel中使用时间类型
Ans: 这个问题涉及的几个Exception是
ERROR StatusLogger Unable to inject fields into builder class for plugin type class org.apache.logging.log4j.core.appender.ConsoleAppender, element Console.
java.nio.charset.UnsupportedCharsetException: cp65001
at java.nio.charset.Charset.forName(Unknown Source)
at org.apache.logging.log4j.util.PropertiesUtil.getCharsetProperty(PropertiesUtil.java:146)
at org.apache.logging.log4j.util.PropertiesUtil.getCharsetProperty(PropertiesUtil.java:134)
...
和
ERROR StatusLogger Unable to invoke factory method in class class org.apache.logging.log4j.core.appender.ConsoleAppender for element Console.
java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.ConsoleAppender
at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.findFactoryMethod(PluginBuilder.java:224)
at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:130)
at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:952)
...
这是因为在Windows控制台中,如果编码是UTF-8,java获取编码时会获取到cp65001,而这个编码java本身是不识别的。这种情况可以按下面的方法解决:
Ans: 因为有一些语言是没有无符号(unsigned)类型的,为了统一数据类型,我们统一转换为有符号类型,转换方式和protobuf的java版SDK保持一致。如果需要使用大于int32最大值的uint32类型,请用int64代替。
UE-Csv
和 UE-Json
输出的代码会多一个 Name
字段?Ans: 因为对 UE-Json
输出中, Name
是一个特殊字段,也用于UE中内置的接口的查找索引。所以为了统一输出的数据结构( 这样无论是 UE-Csv
还是 UE-Json
都可以用相同的代码结构来导入 ),我们对 UE-Csv
和 UE-Json
统一自动生成 Name
字段。但是如果用户自定义了 Name
字段, 我们会使用用户自定义的 Name
字段。
Can not reserve enough space for XXX objecct heap
Ans: 在转换很大的Excel文件时(上万行数据),会需要很高的内存(>=1GB)。所以为了方便我们在批量转表sample的xml中配置了 <java_option desc="java选项-最大内存限制2GB">-Xmx2048m</java_option>
。
如果出现这个提示可能是32位jre无法分配这么多地址空间导致的,可以在xml里删除这个配置。但是还是建议使用64位jre。
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
Ans: 这个提示通常是堆内存不足, xresloader 默认使用的POI的内置缓存机制会消耗大量内存。碰到这种情况,可以和上面的解决方法一样加一个类似 -Xmx8192m
来增大最大内存限制。
在 xresloader 2.10.0 及以上的版本,可以使用 --disable-excel-formular
选项关闭实时公式计算(仅仅时关闭公式实时计算,还是会读Excel里已经缓存的计算结果的)。这时候 xresloader 会使用流式读取并使用 xresloader 内部实现的缓存机制,同时关闭文件级缓存和表级缓存,能大幅降低内存消耗。
Ans: 可以通过环境变量 TZ
或者java运行时属性 user.timezone
设置时区。
TZ
: export TZ=UTC
user.timezone
: java -Duser.timezone=UTC -jar <jar file>
可用的区域示例(+HH:mm
,-HH:mm
,别名,完整时区名): +08:00
, UTC
, GMT
, Asia/Shanghai
, America/Los_Angeles
, Asia/Singapore
.
See https://en.wikipedia.org/wiki/List_of_tz_database_time_zones and https://www.iana.org/time-zones for details.