bert4torch

【新功能】增加deepseek系列、MiniCPM、MiniCPMV、llama3.2、Qwen2.5；支持device_map=auto
【修复】修复batch_generate和n>1的bug

【新功能】

• 增加llama3.1/Yi1.5
• 自动选择从hfmirror下载
• 支持命令行参数bert4torch-llm-server

新功能

• chatglm/qwen系列支持function call调用
• 增加internlm2系列；

小优化

• 简化pipeline中chat demo的调用
• generate的终止token元素允许为列表
• 统一rope_scaling参数名，增加rope衍生类；

bug修复

• flash_attn2的推理bug
• 修复bart, t5之前的tie_word_embedding的bug

新增

• 增加Qwen1.5, Qwen2, glm4;
• 增加SWA/convert_lm_logits_dtype；

bug修复

• 调整各个trainer(重点DPOTrainer)
• generation中segment_ids
• repetition_penalty需带query
• RMSNorm中转类型bug

bug修复

• 修复chatglm3的bug
• 修复save_pretrained时多文件的bug
• 修改Text2Vec的bug

新增小功能

• 增加CausalLMLoss
• 修改deepspeed的传参逻辑
• 完善openai client
• 增加get_weight_decay_optim_groups

bug修复

• 修改repetition_penalty的bug

功能优化

• attention中允许is_causal
• 把baichuan从llama中剥离

新增功能

• 增加get_weight_decay_optim_groups函数,
• torch4keras-v0.2.1更新特性

1. 🔥build_transformer_model允许从hf下载
2. fastapi发布服务允许闲时offload到cpu
3. 添加FillMask的pipeline
4. 添加SequenceClassificationTrainer

1. 修改save_pretrained用于保存文件夹
2. 增加GenerateSpeed用于统计token生成速度
3. 修复t5在use_states=True时候的错误
4. 修改层次编码的bug
5. 增加deepseek_moe模型
6. 修复generation并发错误，优化大模型耗时

• bug修复
• 增加save_pretrained用于保存transformer格式的权重,
• 增加部分embedding模型

• training时候不生成past_key_values
• 增加streamlit的example
• 修复句向量max时的bug
• batch_generate合并到generate
• 修改generation的默认参数名(兼容过去的参数名)
• 多轮对话中可保留past_key_values
• 把attention中的mask补齐逻辑移到apply_embedding中
• 增加uie的pipeline
• 增加PtuningV2Trainer

1. 新增pipelines模块，把chat整理进去
2. 并新增Text2Vec模块用于向量生成
3. 新增snapshot_download用于hf模型下载

在chat中增加常见chat模型, 简化大模型调用的代码逻辑

1. 参数checkpoint_path支持传入文件夹地址
2. 增加chat模块用于快速发布demo/api
3. 支持加载.safetensors
4. meta的device提示报错

1. 增加longlora
2. 增加test模块
3. 适配torch4keras==0.1.6(监控fit过程，有报错则发送邮件提醒; 解决torch2.0的compile冲突问题; 修复clip_grad_norm的bug)

1. 修复flash_attn的bug
2. stream_generate支持仅输出last_token

1. 修复random_sample采样n>1
2. 新增Yi-6B
3. 支持flash_attn

支持chatglm 32k的rope_ratio，config中可以指定mapping, 增加m3e和bge

1. 大部分模型文件无需convert
2. 修复multi_query_group_num在int4/int8下bug
3. 简化build_transformer_model中配置到config中

增加falcon，layernorm支持torch自带，进度条显示已消耗时间

1. 修复generation（既可初始化传参，也可以generate传参）
2. decoder架构、encoder-decoder架构的增加generate系列方法直接推理
3. 增加internlm/baichuan2模型
4. 训练时会默认自动把dataloader转移到model.device上
5. 增加xformers