Home

【成果纵览】中心近期喜添多项研究成果


  • 2020-02-26 16:33:00
编者按

新年伊始,上海交通大学约翰·霍普克罗夫特计算机科学中心(以下简称“中心”)多位老师带领其学生在各自科研领域展露头角,多篇论文获国际顶级会议录用

 

 
 
冷静文课题组在DAC会议发表最新研究成果
 
 

日前,由我中心长聘教轨副教授冷静文(通讯作者)指导的上海交通大学电子信息与电气工程学院2020级博士研究生郭聪,作为第一作者发表题为“Balancing Efficiency and Flexibility for DNN Acceleration via Temporal GPU-Systolic Array Integration”的学术论文,该论文被Design Automation Conference 2020录用。

 

关于DAC会议

 
 

每年举行一届的DAC国际会议是集成电路芯片设计与辅助工具研究领域国际上最具影响力的学术会议,迄今已有超过50年的历史,每年的大会均有数千人参加,受到世界范围内该研究领域专家学者的广泛重视。DAC会议涵盖了包括,自动化设计,电子自动化设计,电子系统和软件,IoT,IP,机器学习/人工智能,信息安全等各个领域。

 

 

 
 

论文简介

 
 

Balancing Efficiency and Flexibility for DNN Acceleration via Temporal GPU-Systolic Array Integration

Authors:Cong Guo,Yangjie Zhou,Jingwen Leng,Yuhao Zhu,Zidong Du,Quan Chen,Chao Li,Bin Yao,Minyi Guo

 

 

The research interest in specialized hardware accel erators for deep neural networks (DNN) spiked recently owing to their superior performance and effificiency. However, today’s DNN accelerators primarily focus on accelerating specifific “kernels” such as convolution and matrix multiplication, which are vital but only part of an end-to-end DNN-enabled application. Meaningful speedups over the entire application often require supporting computations that are, while massively parallel, ill-suited to DNN accelerators. Integrating a general-purpose processor such as a CPU or a GPU incurs signifificant data movement overhead and leads to resource under-utilization on the DNN accelerators.

 

We propose Simultaneous Multi-mode Architecture (SMA), a novel architecture design and execution model that offers general-purpose programmability on DNN accelerators in order to accelerate end-to-end applications. The key to SMA is the temporal integration of the systolic execution model with the GPU-like SIMD execution model. The SMA exploits the common components shared between the systolic-array accelerator and the GPU, and provides lightweight reconfifiguration capability to switch between the two modes in-situ. The SMA achieves up to 63% performance improvement while consuming 23% less energy than the baseline Volta architecture with TensorCore.

 

论文相关链接https://www.dac.com/content/2020-dac-accepted-papers

 
作者简介
 
 
 
 

通讯作者

 
 

冷静文.jpg

冷静文,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授。主要研究方向包括异构计算系统的并行化和性能、能效、可靠性方面的优化,以及针对深度学习应用进行大规模并行化和新型加速芯片设计。他于2016年12月毕业于德州大学奥斯汀分校电子与计算机工程系并获得博士学位,2010年7月毕业于上海交通大学,获得学士学位。其在博士期间主攻方向为GPU处理器的体系结构优化,目前主持一项自然科学基金青年基金(2017年)和多项合作课题,他也入选了2018年微软亚洲研究院青年学者铸星计划。

 

 
 

第一作者

 
 

郭聪.png

郭聪,上海交通大学电子信息与电气工程学院2020级博士研究生。主要研究方向包括新型人工智能芯片的设计和优化,针对深度学习应用大规模并行化和稀疏化。2020年毕业于上海交通大学并获得硕士学位,2016年毕业于深圳大学,获得学士学位。

 

 
 
张拳石课题组在CVPR会议发表重要研究成果
 
 

 

近日,中心长聘教轨副教授张拳石为通讯作者、程煦为第一作者,共同发表的题为“Explaining Knowledge Distillation by Quantifying the Knowledge”的学术论文被CVPR 2020收录。

 

 
 

关于CVPR会议

 
 

国际计算机视觉与模式识别会议(CVPR)是IEEE一年一度的学术性会议,会议的主要内容是计算机视觉与模式识别技术。根据官方统计数据,今年投稿6656篇,最终录用1470篇,录用率仅22%!

 
 

论文简介

 
 

Explaining Knowledge Distillation by Quantifying the Knowledge

Authors:Xu Cheng,Yilan Chen,Zhefan Rao,Quanshi Zhang

 

CVPR!!!!!!!!!!.png

本文提出了一种通过量化分析神经网络中层特征中与任务无关/相关的视觉概念的方法去解释蒸馏。更具体而言,我们提出三种假设:1.知识蒸馏能够促使深度神经网络学习到更多的“知识量”;2.知识蒸馏促使蒸馏网络同时学到不同视觉概念,而直接从数据训练的神经网络(数据网络)是逐渐学到不同的视觉概念;3.知识蒸馏使得蒸馏网络的优化方向更加稳定可靠。相应地,我们提出三种数学指标评测DNN的特征表达。在实验中,对于不同的网络,以上假设得到验证。

 

作者简介
 
 
 
 

通讯作者

 
 

 

张拳石.jpg

张拳石,上海交通大学约翰·霍普克罗夫特计算机科学中心长聘教轨副教授。他于2014年获东京大学博士学位,于2014-2018年在加州大学洛杉矶分校 ( UCLA ) 从事博士后研究,主要研究方向包括计算机视觉、机器学习、机器人和数据挖掘。其研究工作主要发表在计算机视觉、人工智能、数据挖掘和机器人等不同领域的顶级期刊和会议上(包括T-PAMI, CVPR, ICCV, AAAI, KDD, ICRA等)。尤其近3年来,申请人论述了关于学习中层特征表达可解释性神经网络,以及基于网络可解释性的“中层对端”的模型学习等若干问题。

目前,张拳石正领导一个团队进行可解释性人工智能方向的研究。其研究工作重点是学习中层特征可解释的神经网络,以及在理论上构建神经网络模型与传统图模型的内在统一表达,实现从神经网络模型向图模型和因果逻辑模型的转化。相关研究课题包括中层表达可解释性的卷积神经网络、可解释性生成网络、无监督对已训练神经网络的解构与解释、无监督或弱监督地学习神经网络。

 
 

第一作者

 
 

程煦.png

程煦,上海交通大学电子信息与电气工程学院计算机系2018级博士研究生。主要研究方向:人工智能可解释性。

 

 
 
丁家昕学术论文被INFOCOM2020会议录用
 
 

 

近日,中心助理教授丁家昕在物联网研究领域取得积极进展,题为“Differentially Private Range Counting in Planar Graphs for Spatial Sensing”的研究成果,被INFOCOM 2020录用。

 

 
 

关于INFOCOM会议

 
 

INFOCOM(IEEE International Conference on Computer Communications)是计算机网络领域三大顶级国际会议之一(CCF认定为A类会议),具有极高的影响力。本次INFOCOM 2020将于2020年4月在中国北京召开,会议投稿总数为1354篇,最终录用268篇,录用率仅为19.8%

 

 
 

论文简介

 
 

Differentially Private Range Counting in Planar Graphs for Spatial Sensing

Authors:Abhirup Ghosh, Jiaxin Ding, Rik Sarkar, Jie Gao

 

丁家昕!!!!!!!!.png

在物联网的无线传感器网络中,大量传感器分布在空间中,感知记录其所在区域特定事件发生的数量,并将数据传输给中心服务器,中心服务器提供用户关于任意区域发生事件数的查询服务。在单个传感器数据隐私需要保护的场景下,中心服务器在应答区域事件数查询时需要加入高斯噪声,以满足差分隐私。最常用的办法是在所有传感器读数都加入噪声或在查询结果中加入噪声,使用这些方法,虽然隐私得到了保证,但是查询结果存在极大误差。本论文首先使用几何方法中平面分割算法将整个查询区域分割成不重叠的组成部分,应用提出的随机算法选取存储跨越不同组成部分的路径与区域的查询结果并加入适当噪声,然后递归对所有分割得出的组成部分继续进行上述过程,从而得到一个层级的数据结构,应用此数据结构,可以对任意的查询在保证同等差分隐私的情况下,将误差值从之前结果的关于n的多项式级别降低到对数多项式级别,实现了隐私与精度的双重保障。

 

作者简介
 
 

丁家昕!!!.jpg

丁家昕,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授,主要研究方向为物联网,时空数据挖掘,隐私保护以及强化学习。丁家昕于2018年在纽约州立大学石溪分校获得博士学位。他受邀担任DCOSS程序委员会委员;担任顶级会议INFOCOM,Mobihoc,IPSN等学术会议审稿人。

 

中心快报

近日,中心助理教授张驰豪与南京大学教授尹一通,博士生冯伟明,爱丁堡大学讲师郭珩合著的题为“Fast sampling and counting k-SAT solutions in the local lemma regime”研究成果被计算机科学领域顶级国际会议——ACM计算理论年会(STOC 2020,52th Annual Symposium on the Theory of Computing)接收。

 

论文链接:https://arxiv.org/abs/1911.0131

 
 
 
© John Hopcroft Center for Computer Science, Shanghai Jiao Tong University
分享到

地址:上海市东川路800号上海交通大学软件大楼专家楼
邮箱:jhc@sjtu.edu.cn 电话:021-54740299
邮编:200240