一、团队概况
图1 科研团队人员
鲁棒视觉感知与智能检测创新团队依托陕西省服装智能化设计重点实验室及新型网络智能信息服务国家地方联合工程研究中心,现有教授1人、副教授4人,含陕西省青年科技新星1人、西安市高校科协青年托举人才1人。团队学缘结构合理、创新活力突出,在复杂环境下视觉感知协同增强理论与方法方向形成了一支高水平研究队伍。
团队长期围绕复杂场景下的鲁棒视觉感知与智能检测开展应用基础研究,在国家自然科学基金面上项目、陕西省重点产业链、军民融合专项及博士后基金等项目支持下,形成了以“协同增强”为核心的视觉智能技术体系,重点研究视觉增强与智能检测、轻量化模型、多源知识协同学习、视觉质量评价及多模态生成等方向,并面向智能制造、智能无人系统和纺织服装数智化设计等领域开展关键技术攻关。近年来,团队在IEEE T-IP、IEEE T-NNLS、IEEE T-CSVT、IEEE T-MM、Pattern Recognition、CVPR、AAAI等国际高水平期刊与会议发表论文100余篇,Google Scholar引用4200余次,ESI高被引论文5篇,形成了从基础理论、核心算法到行业应用的完整创新链,为巡检机器人、无人机、智能印花及服装创意设计等领域提供了重要技术支撑。
团队为研究生配置1080TI/2080/3080/4090/5090全系列的GUP工作站、巡检机器人、无人机和各类视觉检测装置,为研究生开展科学研究、学科竞赛和产学研提供强力保障。
图2 团队科研设备
二、特色研究方向
1.复杂退化场景下的图像恢复与增强
团队围绕自然图像、人脸图像、文本图像超分辨及弱光图像增强四类任务,构建差异化技术路径。自然图像超分辨方面,建立“全局校准、局部精修”的多维协同网络与长短程门控融合策略,提升高频细节重建精度;人脸超分辨方面,引入多层次关键点先验与特征微调模块,优化五官精细调制,保障高倍重建保真度;文本图像超分辨方面,融合文字结构与语义先验,为服装识别、OCR、智能驾驶等任务提供高质量可识别输入;弱光增强方面,针对全局与局部动态平衡难题,构建多尺度多分支渐进增强框架,结合端到端映射与多重损失优化,实现亮度、色彩与噪声协同增强。相关研究成果发表IEEE-TIP,IEEE TMM, Neural Network, Pattern Recognition, Signal Processing等国际知名期刊上。
图3 自然图像超分辨
图4 自然场景文本图像超分辨
图5 人脸图像超分辨
图6 弱光图像增强
2.弱小目标检测与密集场景人群密度估计
针对复杂场景下强杂波干扰及候选区域生成缺乏内容自适应性的问题,团队提出渐进式注意力驱动的自适应区域建议模型,揭示目标空间分布与区域建议网络的内在耦合关系,实现像素到语义层面的逐级聚焦与增强。针对密集人群估计中透视失真、背景杂乱、遮挡及分布不均等因素制约,团队发现局部语义分层聚合与跨层交互对密度估计的显著协同效应,提出了多尺度上下文驱动的精细化感知方法,有效提升密集人群计数的鲁棒性与准确性。相关研究成果发表IEEE-TCSVT, ESWA, K-BS, Applied Soft Computing等国际知名期刊上。
图7 面向无人机航拍场景的弱小目标检测
图8 面向弱光场景的弱小目标检测
图9 密集人群估计
3.多模态驱动的纺织印花与时尚服装图像可控生成
围绕纺织服装数智化设计中的图像生成与智能创意需求,重点研究多模态语义建模、可控内容生成、纹理与结构一致性保持、虚拟试穿及安全可信生成等关键技术,构建文本、图像等多模态协同驱动的生成框架,实现纺织印花图案、时尚服装图像及数字内容的高质量、可控生成,为智能设计、数字时尚和纺织产业智能制造提供核心技术支撑。相关研究成果发表IEEE-TMM,Pattern Recognition,Signal Processing,《纺织学报》,PRCV等国际知名期刊和学术会议上。
图10 服装印花图像可控生成
图11 多模态时尚服装图像可控生成
4.感知特征建模与视觉质量评价
团队围绕图像与视频感知质量评价开展系统研究,聚焦感知特征建模、深度语义表示学习及无参考视觉质量评价等关键问题,重点研究频域与空间域协同建模、多尺度Transformer、注意力机制、多任务学习及语义类别感知等核心技术,构建面向超分辨重建图像、用户生成内容(UGC)图像与视频的高精度视觉质量评价模型。针对复杂失真条件下主观感知一致性建模难题,提出了基于频率感知、语义先验和多任务协同学习的系列评价方法,实现了感知质量预测精度与泛化能力的显著提升,为图像增强、超分辨重建、视觉生成及视频处理等任务提供可靠的质量评价理论与技术支撑,相关成果发表于IEEE SPL、IEEE TBC、Applied Soft Computing、PRCV等国际高水平期刊和学术会议上。
图12 视频质量评价框架
5.具身智能系统
团队在机器人与无人机具身智能系统方向已有研究积累。早期围绕复杂环境下的鲁棒视觉感知开展研究,通过弱光图像增强、小目标检测和跨域目标检测等方法,提升机器人与无人机在夜间、逆光、遮挡和复杂背景条件下的环境感知能力。随后,面向复杂环境巡检任务,引入视觉-激光雷达融合SLAM、ROS导航控制、路径规划与自主避障等技术,构建移动机器人感知与执行系统。近年来,围绕机器人巡检和无人机低空感知开展系列研究:针对变电站、居民小区等场景,承担复杂环境巡检机器人关键技术研究及示范应用项目,形成了集仪表读数识别、红外测温、区域监控和5G边缘部署于一体的机器人自主巡检系统。
图13 云-边-端协同一体化校园电动车管控平台
图14 移动机器人巡检系统
图15 面向复杂场景的道路养护智能体