人工智能人物访谈篇之十六
宋士吉教授长期致力于机器学习(强化学习、深度学习等)理论方法及其应用、生产制造复杂工艺过程的建模优化与智能调度、水下机器人路径规划控制及智能探测、深海空间信息处理技术等方向研究。目前已在国内外重要学术期刊会议发表论文240余篇,其中IEEE Transactions 系列期刊长文、国际著名期刊SCI检索论文120余篇。
获奖人物介绍
宋士吉,男,1965年5月生,黑龙江省富锦市人,现任清华大学自动化系教授、博士生导师。2000年起,在清华大学自动化系及国家CIMS工程技术研究中心从事教学与科研工作。1986年获得哈尔滨师范大学数学专业学士学位,1989年获得哈尔滨工业大学基础数学专业硕士学位,1996年获得哈尔滨工业大学基础数学专业博士学位。1996至2000年,在中国海洋大学物理海洋专业和东南大学控制理论与应用专业先后两次完成博士后研究。2006年以来,先后获得江苏省自然科学一等奖、教育部高等学校自然科学二等奖、黑龙江省自然科学二等奖等奖励。2009年访问英国Queen's University Belfast, 获得英国皇家工程授予的 “Distinguished Visiting Fellowship”奖。2018年,凭借“不确定非线性系统建模理论与智能学习方法”项目成果荣获第八届吴文俊人工智能自然科学奖一等奖。
宋士吉教授长期致力于机器学习(强化学习、深度学习等)理论方法及其应用、生产制造复杂工艺过程的建模优化与智能调度、水下机器人路径规划控制及智能探测、深海空间信息处理技术等方向研究。目前已在国内外重要学术期刊会议发表论文240余篇,其中IEEE Transactions 系列期刊长文、国际著名期刊SCI检索论文120余篇。
担任《IEEE Transactions on Systems, Man, and Cybernetics:Systems》编委,《The Scientific World Journal–Operations Research》编委,《Artificial Intelligence and Robotics Research》副主编,《Mathematics Review》评论员;曾任《中国科学-信息科学》与《自动化学报》等期刊编委;自2007年以来,担任中国大洋协会信息系统领域责任专家,中国仪器仪表学会嵌入式仪表及系统技术分委员会常务理事,中国运筹学学会智能工业数据解析与优化分委员会常务理事,中国能源环保高新技术产业协会常务理事。
主持国家自然科学基金重大科学仪器研制项目“深海可控式可视采样器关键技术研究与样机研制”和国家自然科学基金钢铁联合基金重点项目“钢铁生产线的多工序实时智能优化调度理论、方法及应用”。先后主持完成国家自然科学基金面上项目、科技部863项目、中国大洋矿产资源研究开发协会专项课题、与企业合作的横向课题累计40余项。
人工智能人物:“不确定非线性系统建模理论与智能学习方法”研究成果取得了哪些有较大影响的关键技术突破?
宋士吉:不确定非线性系统模型通常由含有不确定参数/不确定性变量的动力学方程及不确定外部干扰构成,非线性系统变量之间具有较强的耦合性,建模与精确求解一般具有很大的理论难度和挑战性。
1992年,美国控制论专家L.A.Zadeh教授指出:人工神经网络、模糊逻辑、遗传算法、蚁群算法与传统计算模式的区别,在于它们与人脑对应,具有在不确定及不精确环境中进行推理和学习的智能计算能力。除此之外,粗糙集方法、机器学习方法以及各种随机搜索技术等也被纳入到人工智能的统一框架中,人工智能技术已在众多应用领域取得了极大的成功。
本项目研究团队长期致力于人工智能技术和系统工程应用技术等领域研究,在不确定非线性系统建模理论与智能学习方法研究方面取得了一些关键性突破。
第一,全蕴涵模糊推理机制与模糊规则的启发式生成方法研究
我们知道,模糊控制系统的核心技术是模糊控制器的设计, 模糊控制器的主要组成部分是模糊推理机和模糊规则库。70 年代 L.A.Zadeh 教授提出的“复合蕴涵规则”方法虽得以广泛应用,但模糊推理的基本形式FMP问题的合成推理方法求解使用的合成运算缺乏严格的逻辑依据,模糊推理逻辑基础问题一直受到了科学家和工程师的极大关注,同时也已取得了一系列有价值的研究成果。其中以我国前辈数学家王国俊教授提出的“全蕴涵模糊推理机制与推理方法”受到了最为广泛的关注。该推理方法在模糊推理的每一步运算过程都使用了蕴涵运算,通过蕴涵算子给出模糊推理最优解的解析形式。在此工作基础上,基于不同的蕴涵方式,我们提出了反向模糊推理机制与模糊推理算法,给出了模糊取式和模糊拒取式最优解的解析计算公式。
第二,模糊知识约简/模糊决策树生成模糊规则的启发式方法研究
1982年Z.Pawlak教授提出的粗糙集理论在处理不完整、不一致和不精确数据的问题中取得成功,目前已经发展成为一种较为成熟的定量分析数学工具,在机器学习、数据挖掘、模式识别、故障诊断等领域有着广泛的应用。其主要思想是将模糊相似关系代替粗糙集的等价关系,引入模糊上、下近似概念,并提出模糊约简与模糊核的定义,提出了一种启发式算法能够从初始模糊数据中学习模糊规则,该算法从真正意义上实现了从模糊数据抽取模糊规则。项目进一步开展了模糊决策树归纳学习研究,提出了一种产生模糊决策树的启发式算法,将粗集核学习与决策树归纳进行结合,可生成高性能加权模糊规则。
第三,基于极限学习机或随机机会约束模型的智能学习方法研究
为了提高神经网络高准确率/高泛化能力,并尽可能少的人工干预和实时学习,一种新兴的机器学习方法——极限学习机应运而生,该方法具有结构简单、求解效率高、泛化能力强等特点。极限学习机方法的前期工作仅适用于解决有监督的机器学习问题,不能处理标签数据存在缺失的情形。针对数据标签有缺失且带有分布流形特性的数据,基于Laplacian矩阵的流形正则化思想学习数据的流形特性,构造了两步骤学习的统一框架, 将有监督、无监督和半监督极限学习算法纳入其中。进而项目研究了基于机会约束模型的有监督学习方法与半监督学习方法。首先建立了基于随机机会约束的鲁棒支持向量非线性回归模型,将随机约束优化问题转化为二次锥规划问题,由内点法可实现高效求解,解决了回归分析中输入数据和输出数据同时受到噪声干扰的问题。项目突破了基于机会约束模型的半监督学习方法,建立了基于机会约束的直推式最小最大概率机模型,将其转化为混合整数规划模型,提出了一种贪婪近似算法实现高效求解。
此外,项目在模糊微分系统解的适定性与渐近性理论、取值于实数值和缺失值和集值数据集的特征选择方法方面均取得了一些关键技术突破和创新性成果,这里不再详述了。
人工智能人物:“不确定非线性系统建模理论与智能学习方法”研究成果目前主要应用于哪些地方?对人工智能技术应用有何实际推动?
宋士吉:人工智能技术具有从数据或经验中进行学习的能力、知识表示与逻辑推理的能力以及不确定性问题的建模与处理能力。作为推动科技进步的核心技术之一,应用该技术能够实现提高生产作业效率、提高生产作业的精准性、提高产品质量,同时人工智能技术能够为大型设备及系统的健康管理提供可靠技术支撑。本项目“不确定非线性系统建模理论与智能学习方法”研究成果可广泛应用于工业生产和设备健康管理等领域。
首先,本项目“全蕴涵模糊推理机制与模糊规则的启发式生成方法”研究成果,建立在大量的历史数据和经验基础上,解决复杂不确定系统的建模、优化与运行控制等问题。项目成果已成功应用于中央空调系统的优化运行及智能控制,在湖北洪广大酒店的实际应用验证结果表明:中央空调的综合节能率不低于30%,由省级专业机构给出了技术鉴定报告。
其次,本项目“取实值、缺失值与集值数据集的特征选择方法”研究成果考虑了数据集中特征与决策标签不一致性的情形,针对取实值、缺失值和集值的数据集,建立了特征选择的理论方法,该方法具有直观、可解释性。基于电力系统的负荷预测和大型燃煤机组的节能预测的历史数据进行了大量仿真试验,验证了方法的有效性。
进而,本项目“基于极限学习机的智能学习方法”研究成果,首先将极限学习机方法推广到处理无监督和半监督机器学习问题,构造了两步骤学习的统一框架,将有监督、无监督和半监督极限学习算法纳入在统一框架内。该成果在已成功用于解决大型风电机组及其关键零部件的健康管理问题,诊断及预测的准确度不低于90%。
最后,本项目进而又详细梳理了对极限学习机研究的起源、发展现状和趋势,对极限学习机的理论基础、性能分析、泛化能力,极限学习机在半监督、无监督、鲁棒性、稳定性、时序性等方面的研究工作进行了全面的分析和总结,给出极限学习机解决机器学习领域各类应用问题的应用案例。
人工智能人物:您对人工智能技术应用和产业化有何见解?
宋士吉:人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。自提出到现在已与经历60多年的演化和发展,在移动互联网、大数据、超级计算、传感网、脑科学等新理论和新技术驱动以及经济社会发展需求牵引下,呈现出强劲和加速发展的势头,以强化学习、深度学习及宽度学习等为代表的先进学习方法得到了迅猛发展,在解决大数据驱动知识学习、跨媒体协同处理、人机物协同增强智能、群体集成智能、自主智能系统等领域关键技术问题中发挥了非常关键性的作用;与此同时,类脑智能的研究与开发工作也同样受到国内外相关研究机构和学者的高度关注及重视,为人工智能的深入快速发展迎来了机遇和挑战。
以下仅从人机物三元协同控制与决策优化的角度简述人工智能的产业化应用前景。
人机物智能技术就是综合应用物联网、移动互联网、通信、大数据计算、人工智能等技术使物与物之间、人与物之间实现互联和互通,并通过协同仿真、分布计算、跨平台管控等智能处理技术实现人与万物的协同工作。利用人机物三元协同的智能技术,使人类社会、虚拟空间、自然空间、机器物理空间实现联通互动、数字双生、虚实交融,形成以人为中心人机物三元融合的协同工作场景。人机物共融将推进生产方式向智能技术领域演化,同时也体现了智能制造的标志性特征。将人的联想、推理、反馈、学习、理解等能力与机器的搜索、作业、推理、学习等能力相融合,解决人机物三元分布式协同控制与决策优化问题。在复杂制造系统的生产计划、质量管控、设备维护和制造执行等企业的各个应用管理层面均体现了人机物三元协同与融合技术的普适性。
目前我国已有不少高技术企业抓住了人工智能可带动相关行业发展的有利契机,瞄准本行业领域发展的核心技术瓶颈问题,开展了人工智能等领域的关键技术研究与攻关,取得了一批有影响的研究成果并且逐步实施产业化应用。本项目“不确定非线性系统建模理论与智能学习方法”成果也已取得了一些成功的应用,比如在中央空调系统优化运行与智能控制、风电机组故障智能预测与诊断等领域的成功应用等。这些成果在产业化转化方面可继续发挥行业引领与示范的作用。
人工智能人物:能介绍一下您的实验室和研究团队吗?
宋士吉:我们实验室长期从事复杂系统建模、优化与控制研究,隶属于清华大学自动化系和国家CIMS工程技术研究中心。实验室现有4名教师和30余名博士生及研究生。在4名教师中包括中国工程院院士清华大学吴澄教授、宋士吉教授、游科友副教授和黄高助理教授。
目前该团队主要研究方向:(1)复杂生产制造过程建模、优化与智能调度方法;(2)深度学习与强化学习方法及其应用;(3)水下机器人智能规划控制与探测识别;(4)网络控制与分布式优化方法及应用。
近五年来,实验室正在承担的主要科研项目包括:国家自然科学基金重大科学仪器研制项目、国家自然科学基金钢铁联合基金项目、国家自然科学基金面上项目、科技部重点专项子课题、中国大洋矿产资源研究开发协会信息系统专项、与国内大型国企和民企等单位的横向联合研发项目等共计20余项。
本研究团队包括五名成员,包括清华大学宋士吉教授、清华大学黄高助理教授、华北电力大学陈德刚教授、深圳大学王熙照教授和清华大学吴澄院士。我本人的基本情况前面已经介绍过了,现在介绍团队其他四位主要成员的基本情况:
黄高,清华大学自动化系助理教授,2009年本科毕业于北京航空航天大学,2015年获清华大学控制科学与工程博士学位。2015年至2018年在美国康奈尔大学计算机科学系从事博士后研究工作。其主要研究领域为机器学习与深度学习,包括深度神经网络、鲁棒学习、半监督学习,以及相关算法在计算机视觉与自然语言理解中的应用。其学位论文“基于机会约束的机器学习方法及其应用”获中国自动化学会优秀博士学位论文奖以及清华大学优秀博士学位论文一等奖。目前已发表学术论文20余篇,以第一作者身份发表的会议论文“Densely connected convolutional networks”获得计算机视觉顶级会议CVPR的最佳论文奖以及世界人工智能大会最高奖之一的SAIL先锋奖。提出的DenseNet已经成为当前主流的深度学习算法,被广泛应用于医疗影像处理、人脸识别、文本翻译、语音识别等诸多人工智能应用场景。
陈德刚, 男,1969年4月生,吉林省通化市人,华北电力大学数理学院教授、博士生导师。2000年于哈尔滨工业大学数学系获理学博士学位,2000至2004年,分别在西安交通大学理学院和清华大学自动化系两次完成博士后研究工作。主要从事机器学习、数据挖掘等理论方法及应用研究。已在国内外重要学术期刊会议发表论文150余篇,其中《IEEE Trans. on Fuzzy Systems》、《IEEE Trans. on Knowledge and Data Engineering》、《Pattern Recognition》、《Information Science》、《Fuzzy Sets and Systems》、《中国科学》和《Knowledge-Based systems》等SCI检索论文70余篇,其中多篇论文被收入Scupos高被引论文;出版专著2部。获得2011河北省自然科学奖二等奖1项。
王熙照,深圳大学计算机与软件学院教授、博士生导师,IEEE Fellow, CAAI Fellow;主要从事不确定性问题建模和面向大数据的机器学习方法研究,即通过表示大数据中的不确定性信息,挖掘大数据的结构分布,设计并实现适用于不同类型大数据的分类和聚类算法、机器学习理论及关键技术研究。在1996攻读博士期间首次提出了“模糊示例学习”的概念,并将这一概念扩展到基于不确定性理论的机器学习框架下,相关研究工作持续至今。在机器学习与不确定性理论研究领域发表杂志和会议论文200余篇,Google Scholar搜索显示论文累计引用次数超过6360次,单篇最高引用超过600次,已出版学术专著3部,教材2部。担任Springer出版的杂志Machine Learning and Cybernetics主编,中国人工智能学会知识工程专委会主任委员、机器学习专委会副主任委员。曾获河北省自然科学一等奖1项,获得全国模范教师、深圳市海外高层次人才、深圳大学领军学者等荣誉称号。
吴澄,清华大学自动化系教授,博士生导师,1995年当选为中国工程院院士。担任国家CIMS工程技术研究中心主任,清华大学智能无人系统研究中心主任,中国制造2025咨询专家组主要成员,中国新一代人工智能战略咨询委员会成员。曾任国家973项目“复杂生产制造过程实时智能控制与优化理论方法”首席科学家,国家863计划自动化领域首席科学家。自1986年起,参与并领导了国家高技术研究与开发计划(863计划)自动化领域及CIMS主题的发展战略规划和组织实施工作,曾任CIMS主题专家组组长,主持建成我国第一个CIMS实验工程,获国家教委科技进步一等奖,国家科技进步二等奖2项,美国制造工程师学会(SME)的颁发的“大学领先奖”。 主要研究领域包括复杂生产系统的优化调度、复杂工业自动化系统的建模、设计、优化及实现等。在国内外重要学术期刊会议发表论文280余篇。
其中黄高博士2014年从课题毕业获得博士学位,是吴老师的博士生;陈德刚教授2004年从清华自动化系博士后出站,是吴澄院士的博士后;王熙照教授和我本人早年在哈工大数学系读博士学位期间,在导师吴从炘教授的研究团队里共同从事模糊微分方程、模糊机器学习等相关研究工作,与我们课题组长期保持合作。本项目研究团队长期致力于不确定非线性系统建模理论与智能学习方法研究,经二十余年的理论探索与技术攻关,突破了一些技术瓶颈并取得了一些创新性成果。
人工智能人物:您在培养科研团队及人才方面有哪些经验做法?您对高校杰出人才培育有什么看法?
宋士吉:我们的课题组在科研团队及人才培养方面,并无太多经验可借鉴,但我们的一些做法也许能为大家提供点参考素材。
课题组的基本管理思路大概可以归纳为20个字:总体规划、分层管理、分工明确、责任到位、狠抓落实。
在科研管理及技术攻关方面,我们充分发挥了青年教师的带头作用和高年级博士生的积极作用。按照不同研究方向进行编队分组,在青年教师带领下,发挥高年级博士生的积极性作用,带领研究小组在项目关键技术研发、高水平论文研讨与撰写等方面已形成不定期的例会制度,同时引导博士生、研究生在技术研讨过程中自觉性和主动性,即激发他们的科研志向和热情,发挥他们的主观能动性。研讨会上,瞄准理论或关键技术难题,大家做到了集思广益、踊跃发言、深入探讨,实现关键技术联合攻关、突破和协同创新。
在研究生的研究方向选择方面,在研究生入学之前就向他们全面介绍课题组的主要研究方向和每个方向的特点,同时鼓励他们尽早参与到课题组的科研活动中,比如参与科研项目并承担一部分力所能及的工作,跟大家一起研讨,进行论文训练和写作,准备其本人的毕业设计等。这样做的优点,一是可以让学生尽早了解课题组的研究方向及其研究进展,有助于他们尽早找到自己感兴趣方向;二是让他们感受到实验室科研的学习环境、条件及氛围,逐步培养他们联合攻关的团队意识、健康向上的拼搏精神、团结合作的科研模式。
在高校杰出人才培养方面,我们提出以下几个方面的建议供参考。
第一,通过科研项目研发、理论方法与关键技术攻关、高质量科技论文研读与写作等环节的实际训练,深化学生的专业基础知识、基本技能、基本方法,进而夯实学生的数学基本功和其他专业知识功底。
第二,通过学术交流与技术研讨,使得每位学生都能够发挥自己的特长,勇敢表达自己的思想,解决各自的疑惑,并激发他们的学习兴趣,锻炼他们的意志力,培养他们的专注力,建立良好学术环境和研讨氛围。
第三,通过思想上引导和行为上规范,使每位学生在不断的专业研讨和环境熏陶中,逐步树立正确的世界观、人生观、价值观,学会并掌握提出问题、分析问题并解决问题的思路和解决方法。不断开展为人、为事、为学的行为标准和规范的学习讨论,检查并反思学生的思想和实际行为。按照党和国家对杰出人才的培养标准,竭力培养出我国高品德、高素质、高水平的杰出人才。
人工智能人物:您的获奖感言是什么?
宋士吉:科学研究的道路通常会遍布各种荆棘和挑战,成功与失败之间很可能差之毫厘,经历失败才能酝酿成功;科学研究过程才能体现研究成果的技术难度和创新性。坚持坦然淡定的治学态度和持之以恒的拼搏精神,且不为名利所动,才有可能在科研道路上克服困难且趋于成功!
获奖项目成果
不确定非线性系统模型通常由含有不确定参数/不确定性变量的动力学方程及不确定外部干扰构成,非线性系统变量之间具有较强的耦合性,建模与精确求解一般具有很大的理论难度和挑战性。
利用复杂系统模型的数学分析方法/分解协调技术/逐次逼近技术等,可实现对不确定性非线性系统模型的精确或近似求解,但是对于不确定非线性系统模型的分析求解技术,很难有一般性规律可循。
二十余年来,本项目研究团队宋士吉教授、黄高博士、陈德刚教授、王熙照教授及吴澄院士等,长期致力于人工智能技术和系统工程应用技术等领域研究,在不确定非线性系统建模理论与智能学习方法研究方面获得了一些关键性突破,重要科学发现如下:
1、模糊微分系统解的适定性与渐近性理论:提出了模糊集值函数微分方程研究的系统性方法,建立了模糊集值函数的微分方程理论,证明了模糊微分方程Cauchy 问题和全局问题解的适定性及渐近行为等一系列结论。在国际上率先攻克了模糊集值函数微分方程理论分析与求解的瓶颈技术问题。
2、全蕴涵模糊推理机制与模糊规则的启发式生成方法:提出了反向全蕴涵模糊推理机制,提出了在正(反)向两种推理机制下的模糊取式(FMP)和模糊拒取式(FMT)最优解的数学解析表式。提出模糊上(下)近似和模糊知识约简的概念,设计了一种从初始模糊数据中学习模糊规则的启发式算法。提出了一种类似于粗集核产生决策树的启发式算法,提出了生成加权模糊规则的高精度分类算法。
3、取值于实数值、缺失值和集值数据集的特征选择方法:考虑到数据集中特征与决策标签的不一致性,针对取实值、缺失值和集值的数据集,建立了特征选择的理论方法,具有直观可解释性,通过构造辨识矩阵设计了快速收敛的特征选择方法。
4、基于极限学习机或随机机会约束模型的智能学习方法:提出基于流形正则化的无监督极限学习机算法和半监督极限学习机算法;从半监督学习的多聚类特性出发,提出了基于随机机会约束模型的高效半监督学习算法;同时提出了基于机会约束模型的监督学习算法。较之已有的无监督学习、半监督和监督学习算法,本项目提出的算法或提升了计算精度及效率,或拓展了能够解决的机器学习问题类型。
上述成果已成功用于解决工业系统的智能优化控制与设备健康管理问题。
项目的8篇代表性论文中,SCI他引802次,其中2篇为ESI高被引论文,单篇最高SCI他引222次,最高影响因子为8.29,Google学术他引1888次;项目的20篇主要论文中,SCI他引1089次,最高影响因子为12.29,Google学术他引2595次。
近年来,项目团队各主要完成人先后获得了英国皇家工程院授予的杰出访问会士奖(2009)、国际计算机视觉顶级会议(IEEE CVPR)最佳论文奖(2017)、2016和2017两个年度Elsevier学术论文高被引中国学者、全国百篇最具国际影响力学术论文(2015)等荣誉。
宋士吉:人工智能技术具有从数据或经验中进行识别的学习能力、知识表示与逻辑推理能力、不确定性问题处理能力,特别是能够从与环境的不断交互试错中学习经验,逐渐矫正系统行为的能力。作为推动科技进步的核心技术之一,它是实现人、机、物三元协同与融合的灵魂,将推动人类社会的生产和生活方式发生深刻变革。