Intelligent SoftwarE Technology (ISET) Group @ NJU
{ Home | Research | People | Album | Publications }
一 . 大 语 言 模 型 和 自 然 语 言 处 理
基于可解释性和引导的大语言模型可控生成
负责人 :
程紫峰 (博士) ;
参与人 : 张俊杰 (博士生) , 孙长辉 (硕士生)
参与人 : 张俊杰 (博士生) , 孙长辉 (硕士生)
通过构造引导向量、任务向量等方式来更好地引导大语言模型进行可控生成，如可信生成，去毒等。涉及激活引导、任务向量、可解释性、参数和激活定位、模型编辑等技术。
大模型句子嵌入抽取
负责人 :
程紫峰 (博士) ,
符宇辰 (博士生) ;
参与人 : 吴文翔 (博士生) , 王忠辉 (硕士生)， 孙长辉 (硕士生)， 钱凌云 (硕士生);
参与人 : 吴文翔 (博士生) , 王忠辉 (硕士生)， 孙长辉 (硕士生)， 钱凌云 (硕士生);
通过模型干预, 推断时引导，提示工程，可解释性等技术从大语言模型以及混合专家模型中抽取出更好的以及更符合要求的句子嵌入。
扩散大语言模型
负责人 :
程紫峰 (博士) ,
干金玮 (博士) ;
参与人 : 倪建乔 (硕士生), 王皓 (硕士生);
参与人 : 倪建乔 (硕士生), 王皓 (硕士生);
在扩散大语言模型的并行解码和双向注意力等机制下，实现可控生成、高效推断、reasoning等。
大语言模型安全
负责人 :
杨书璠 (博士生) ,
程紫峰 (博士) ;
设计有效的攻击和防御手段来更有效地偷窃和保护大语言模型、扩散大语言模型以及嵌入即服务的大语言模型，涉及水印清洗、水印盗用、模型水印等技术。
对话系统
负责人 :
罗翔 (博士生) ;
参与人 : 徐思恬 (博士生)
参与人 : 徐思恬 (博士生)
主要针对任务型对话系统的优化，包括用户模拟器构建、零样本对话状态追踪，旨在提升对话系统的跨领域适应能力和生成能力。
面向健壮性神经网络的动态数据择方法
负责人 :
周翱 (博士生) ;
传统训练方法对全量数据平等处理, 导致模型易受冗余样本干扰, 收敛效率低, 且对噪声或分布偏移敏感,
通过设计基于梯度稀疏性的样本重要性评分机制和动态阈值过滤策略, 实现高效且健壮的数据选择, 从而提升模型训练效率和泛化性能.
二 . 多 模 态 学 习 与 生 成
手语视频生成
负责人 :
王聪 (博士生) ;
参与人 : 邓泽轩 (硕士生)
参与人 : 邓泽轩 (硕士生)
基于预训练扩散模型 (DDIM, FlowMatching 等), 结合细粒度多条件控制和离散 tokenization, 生成高质量, 高时序一致性和高语义准确性的手语视频.
自回归图像生成模型的概念擦除
负责人 :
王聪 (博士生) ;
参与人 : 吴海宇 (硕士生)
参与人 : 吴海宇 (硕士生)
面向自回归图像生成模型 (Infinity 等), 本项目致力于研究模型中概念擦除的理论与实践方法.
我们希望在保持模型整体生成能力的基础上, 有针对性地去除模型对特定语义概念 (如某类物体, 风格或属性) 的识别与生成能力.
全景图生成
负责人 :
王聪 (博士生) ;
通过结构约束注入扩散模型实现无畸变的基于 cube 表示的全景图生成. 目标为实现高生成质量, 模型架构泛化 (如: SD2, SDXL, SD3, FLUX 等), 灵活的条件扩展
(任意数量文本, 图像的组合控制), 模块即插即用, 高效的训练和推理.
基于数据投毒的扩散模型版权保护与攻击
负责人 :
王聪 (博士生) ;
参与人 : 王慧怡 (博士生)
参与人 : 王慧怡 (博士生)
通过对训练或微调数据进行投毒攻击, 实现利用特定提示词诱发扩散模型生成受版权保护的内容, 并同时研究相应的防御策略.
大容量比特信息的扩散模型水印技术
负责人 :
王聪 (博士生) ;
本项目旨在扩散模型中引入支持高容量比特信息的水印机制, 在无需微调基础模型的前提下,
实现更多水印信息的嵌入, 同时保持模型的生成能力不受影响.
基于扩散模型扩展的 AI 生成内容检测
负责人 :
王聪 (博士生) ;
本项目旨在直接扩展扩散模型作为 AI 生成内容检测器, 仅通过少量参数微调或 Adapter 训练的方式,
高效地赋予扩散模型检测 AI 生成内容的能力.
统一理解与生成大模型研究
负责人 :
符宇辰 (博士生) ;
参与人 : 王锦国 (硕士生)
参与人 : 王锦国 (硕士生)
基于自回归或扩散架构的统一模型研究，弥合理解模型与生成模型的表示差异，集成自回归与扩散各自的优势，同时实现在文本，图像，
视频等多个模态上的理解与生成任务。涉及的子领域包括但不限于多模态统一表征学习，模型融合，可解释性研究，参数高效微调等.
多模态大语言模型的标签语义增强
负责人 :
周翱 (博士生) ;
通过融合视觉特征与文本标签的跨模态对齐, 优化MLLM对多标签任务中复杂语义关系的建模能力, 解决标签共现, 长尾分布等问题.