10月30日上午,应我院邀请,浙江大学王志波教授、清华大学任炬副教授到校,分别作题为《迈向高效可信的端侧智能:端侧大模型高效推理与安全风险评估》《OmniInfer—新一代端智能推理引擎》的学术报告。报告会由我院副院长(主持工作)彭玺教授主持,学校相关专业师生参会交流。

报告中,王志波教授结合团队最新研究成果,从视觉语言模型的轻量化Token压缩和端侧大模型的越狱风险评估两方面展开,探讨了如何迈向高效且可信的端侧智能。

随后,任炬副教授系统介绍了团队研发的新一代端智能推训一体化引擎—OmniInfer。他指出,端侧智能的发展方兴未艾,OmniInfer从计算侧、存储侧、记忆侧三个维度进行了深度系统优化与技术创新,相较于传统端侧推理引擎,在内存占用、吞吐量、解码速度等多方面有了大幅性能提升,并已在众多商业化产品中部署应用。
互动交流环节,现场师生围绕端侧模型轻量化、推理引擎优化、大模型安全风险评估等问题与两位专家展开充分交流探讨。两位专家对大家提出的问题逐一细致解答,并分享了宝贵的科研经验与独到的学术见解,现场学术氛围热烈浓厚。
主讲人简介
王志波,浙江大学教授,网络空间安全学院副院长,国家级领军人才。现为CCF杰出会员、ACM/IEEE/电子学会高级会员、网络空间安全学会青工委副主任、电子学会网络空间安全专家委员会副秘书长、CCF网络与系统安全专委会常委、CCF物联网专委会常委、人工智能学会智能信息网络专委会常委。研究方向包括智能物联网、人工智能安全、数据安全与隐私保护,发表CCF A类论文90余篇,多篇论文荣获最佳论文奖和最佳学生论文奖,连续多年入选全球前2%顶尖科学家榜单和爱思唯尔中国高被引学者榜单。主持多项国家级项目,研究成果服务于华为、阿里、蚂蚁、新华三、海康威视、杭州城市大脑等企业。荣获电子学会自然科学一等奖、浙江省自然科学一等奖、湖北省自然科学一等奖、浙江省科技进步一等奖和IEEE可扩展技术专委会职业中期研究成就奖等多个奖项。
任炬,清华大学计算机系长聘副教授、人机交互与媒体集成所所长,国家级领军人才,湖南省杰出青年基金获得者。研究领域包括端智能、边缘计算与隐私计算。发表CCF A类论文100余篇,出版教材/专著4部,主持国家级项目10余项。曾获中国电子学会自然科学一等奖、北京市科技进步一等奖、达摩院青橙奖、IEEE通信学会亚太区最佳青年学者奖等荣誉,成果入选“中国物联网十大科技进展”,连续多年入选全球高被引科学家。现任中国电子学会理事,全国数标委数据治理标准工作组副组长。多项国家发明专利实现产业转化,研究成果广泛应用于我国国防、通信、互联网等众多领域。