Intelligent SoftwarE Technology (ISET) Group @ NJU

{ Home | Research | People | Album | Publications }

一 . 大语言模型和自然语言处理

基于引导和任务向量的大语言模型可控生成

负责人 : 程紫峰 (博士) ;
参与人 : 干金玮 (博士生) , 孙长辉 (硕士生)

通过构造引导向量或任务向量来更好地引导大语言模型进行可控生成，如可信生成，去毒等。涉及激活引导、任务向量、参数和激活定位、模型编辑等技术。

大模型句子嵌入抽取

负责人 : 程紫峰 (博士) , 符宇辰 (博士生) ;
参与人 : 王忠辉 (硕士生)，孙长辉 (硕士生)，钱凌云 (硕士生);

通过模型干预, 推断时引导，提示工程，可解释性等技术从大语言模型以及混合专家模型中抽取出更好的句子嵌入.

嵌入即服务的大语言模型安全

负责人 : 杨书璠 (博士生) , 程紫峰 (博士) ;

设计有效的攻击和防御手段来更有效地偷窃和保护大语言模型以及提供嵌入服务的大语言模型，设计水印清洗、水印盗用以及模型水印等技术。

对话系统

负责人 : 罗翔 (博士生) ;

主要针对任务型对话系统的优化，包括用户模拟器构建、零样本对话状态追踪，旨在提升对话系统的跨领域适应能力和生成能力。

大语言模型幻觉检测和缓解

负责人 : 程紫峰 (博士) ;
参与人 : 干金玮 (博士生)

利用大语言模型的内生性 (如多轮回复的一致性) 或者外源性 (如利用知识图谱进行检测) 的幻觉检测以及基于对比解码等技术的幻觉缓解技术.

面向健壮性神经网络的动态数据择方法

负责人 : 周翱 (博士生) ;

传统训练方法对全量数据平等处理, 导致模型易受冗余样本干扰, 收敛效率低, 且对噪声或分布偏移敏感, 通过设计基于梯度稀疏性的样本重要性评分机制和动态阈值过滤策略, 实现高效且健壮的数据选择, 从而提升模型训练效率和泛化性能.

大语言模型的高效解码

负责人 : 程紫峰 (博士) ;

通过大小模型协同、投机解码等实现大语言模型的高效解码来降低大语言模型的部署开销。

大语言模型剪枝、融合、合并

负责人 : 程紫峰 (博士) ;

通过模型剪枝在大语言模型的轻量和有效之间权衡；通过模型融合和模型合并来提升大语言模型在特定方面的能力。

二 . 多模态学习与生成

手语视频生成

负责人 : 王聪 (博士生) ;
参与人 : 邓泽轩 (硕士生)

基于预训练扩散模型, 结合细粒度多条件控制和离散 tokenization, 生成高质量, 高时序一致性和高语义准确性的手语视频.

语音驱动的肖像视频生成

负责人 : 王聪 (博士生) ;

通过分解视频为内容表示 (Content Latents) 和运动表示 (Motion Latents) 实现快速的语音驱动的肖像视频生成. 在生成过程中, 一个微调的图像扩散模型生成 Content Latents, 一个从零训练的 DiT 模型生成 Motion Latents.

全景图生成

负责人 : 王聪 (博士生) ;

通过结构约束注入扩散模型实现无畸变的基于 cube 表示的全景图生成. 目标为实现高生成质量, 模型架构泛化 (如: SD2, SDXL, SD3, FLUX 等), 灵活的条件扩展 (任意数量文本, 图像的组合控制), 模块即插即用, 高效的训练和推理.

统一理解与生成大模型研究

负责人 : 符宇辰 (博士生) ;
参与人 : 王锦国 (硕士生)

基于自回归或扩散架构的统一模型研究，弥合理解模型与生成模型的表示差异，集成自回归与扩散各自的优势，同时实现在文本，图像，视频等多个模态上的理解与生成任务。涉及的子领域包括但不限于多模态统一表征学习，模型融合，可解释性研究，参数高效微调等.

多模态大语言模型的标签语义增强