Intelligent SoftwarE Technology (ISET) Group @ NJU

{ Home | Research | People | Album | Publications }

一 . 大语言模型和自然语言处理

大语言模型引导

负责人 : 程紫峰 (博士生) ; 参与人 : 干金玮 (博士生) , 孙长辉 (硕士生)

通过对大语言模型的层输出或者注意力输出进行定位并且提取激活向量以更好地引导大语言模型进行可控生成, 如可信生成, 去毒等.

大模型句子嵌入抽取

负责人 : 程紫峰 (博士生) , 符宇辰 (博士生) ; 参与人 : 王忠辉 (硕士生)

通过模型干预, 推断时引导以及提示工程等技术从大语言模型中抽取出更好的句子嵌入.

嵌入即服务的大语言模型安全

负责人 : 程紫峰 (博士生) , 杨书璠 (博士生)

设计有效的攻击和防御手段来更有效地偷窃和保护提供嵌入服务的大语言模型.

对话系统

负责人 : 罗翔 (博士生)

任务型对话系统中的对话状态追踪以及用户模拟通过策略优化的方式提高大语言模型在对话系统中的推理能力和迁移能力.

大语言模型编辑

负责人 : 程紫峰 (博士生) , 干金玮 (博士生) ; 参与人 : 孙长辉 (硕士生)

通过对大语言模型进行参数定位和编辑以更好地更新模型的知识或者服务下游应用.

大语言模型幻觉检测和缓解

负责人 : 程紫峰 (博士生) ; 参与人 : 干金玮 (博士生)

利用大语言模型的内生性 (如多轮回复的一致性) 或者外源性 (如利用知识图谱进行检测) 的幻觉检测以及基于对比解码等技术的幻觉缓解技术.

面向健壮性神经网络的动态数据择方法

负责人 : 周翱 (博士生)

传统训练方法对全量数据平等处理, 导致模型易受冗余样本干扰, 收敛效率低, 且对噪声或分布偏移敏感, 通过设计基于梯度稀疏性的样本重要性评分机制和动态阈值过滤策略, 实现高效且健壮的数据选择, 从而提升模型训练效率和泛化性能.

二 . 多模态学习与生成

手语视频生成

负责人 : 王聪 (博士生) ; 参与人 : 邓泽轩 (硕士生)

基于预训练扩散模型, 结合细粒度多条件控制和离散 tokenization, 生成高质量, 高时序一致性和高语义准确性的手语视频.

语音驱动的肖像视频生成

负责人 : 王聪 (博士生)

通过分解视频为内容表示 (Content Latents) 和运动表示 (Motion Latents) 实现快速的语音驱动的肖像视频生成. 在生成过程中, 一个微调的图像扩散模型生成 Content Latents, 一个从零训练的 DiT 模型生成 Motion Latents.

全景图生成