Machine Learning Compilation

课程简介

随着人工智能应用在我们的日常生活中变得越来越普遍，目前存在的挑战是如何在不同的生产环境中部署最新的人工智能模型。模型和部署环境的组合爆炸给训练和推理部署带来了巨大的挑战。此外，目前落地的模型也提出了更多的要求，例如减少软件依赖、全面的模型覆盖、利用新硬件进行加速、减少内存占用，以及更强的可扩展性。

这些模型训练和推理问题，涉及机器学习编程范式、基于学习的搜索算法、编译优化以及计算运行时。这些话题的组合生成了一个全新主题——机器学习编译，并且该方向正在不断持续发展。在本课程中，我们讲按照其中的关键元素，系统地研究这一新兴领域的关键要素。我们将学习一些核心的概念，用以表示机器学习程序、自动优化技术，以及在端到端机器学习部署中优化环境依赖、内存和性能的方法。

课程受众和背景要求

本课程针对在从事机器学习工作的广泛用户。实际应用中机器学习是一个广泛的课题，涉及包括机器学习科学家、机器学习工程师和硬件供应商等多个群体之间的协作。

该课程需要的数据科学和机器学习方面的背景知识：

• 熟悉 Python 语言和 Numpy 的使用；
• 一定的深度学习框架背景知识（例如 PyTorch, TensorFlow, JAX）；
• 有系统层面的编程经验更佳（例如 C/CUDA）。

相关链接

• 课程安排
• 课程习题: 即将发布在课程安排中
• 中文论坛
• 英文论坛
• English Version

讲者

主讲人 陈天奇

助教 冯思远

助教 金弘义

助教 赖睿航

日程

课程安排暂定如下，课程视频会在对应时间公开。

Date	Plan		Note
06/18 CST	课程 1: 机器学习编译概述 [ slides | video | notes (中文) | notes (English) ]
06/25 CST	课程 2: 张量程序抽象 [ slides | video | notes (中文) | notes (English) ]
07/02 CST	课程 3: 张量程序抽象案例研究: TensorIR [ ipynb | video | notes (中文) | notes (English) | exercise ]
07/09 CST	课程 4: 端到端模型整合 [ ipynb | video | notes (中文) | notes (English) | assignment ]
07/16 CST	课程 5: 自动化程序优化 [ ipynb | video | notes (中文) | notes (English) ]
07/23 CST	本周无课程
07/30 CST	课程 6: 与机器学习框架的整合 [ ipynb | video | notes (中文) | notes (English) ]
08/06 CST	课程 7: GPU 硬件加速 1 [ ipynb | video | notes (中文) | notes (English) ]
08/13 CST	课程 8: GPU 硬件加速 2 [ ipynb | video | notes (中文) | notes (English) | tutorial ]
08/20 CST	课程 9: 计算图优化：算子融合和内存优化 [ ipynb | video | notes (中文) | notes (English) ]
08/27 CST	本周无课程
09/03 CST	课程 10: 课程总结和未来展望 [ slides | video ]