# MLSys技术内幕系列 - MLSys概述与学习资料

- URL: https://www.yidoo.xyz/mlsys-overview
- 作者: 核动力蜗牛
- 发布时间: 2024-06-05
- 更新时间: 2024-06-05
- 分类: MLSys技术内幕
- 标签: mlsys

# 什么是 MLSys？

所谓 MLSys，顾名思义就是 Systems 和 Machine Learning 的交叉领域。最早这个说法出自于论文[MLSys: The New Frontier of Machine Learning Systems](https://arxiv.org/abs/1904.03257)（论文解读详见： [《MLSys The New Frontier of Machine Learning Systems》论文精读](https://www.yidoo.xyz/MLSys-The-New-Frontier-of-Machine-Learning-Systems-Alexander)
）。

目前 MLSys 已经成为 Machine Learning 和 System 方面的顶级会议之一。

![a4f3ee5bd9e39b15b64f798e9279e9c2.png](https://www.yidoo.xyz/images/a4f3ee5bd9e39b15b64f798e9279e9c2.png)

# MLSys 关键研究方向

在机器学习系统（MLsys）的领域中，研究可以分为几个主要方向，每个方向都致力于提高系统的性能、效率和可用性。下面是 MLsys 的一些关键研究方向的：

1. **系统架构与硬件优化**：

    - 研究如何设计和优化硬件来更好地支持机器学习算法，包括 GPU、TPU 以及专用的 AI 加速器。
    - 研究如何在不同的硬件平台（如边缘设备、移动设备和大规模数据中心）上有效地部署和执行机器学习模型。

2. **数据管理与处理**：

    - 研究高效的数据存储、访问和处理技术，以支持大规模的机器学习训练和推理。
    - 包括特征存储、数据标注、数据清洗和数据增强等技术。

3. **模型训练与优化**：

    - 研究如何提高训练过程的效率，例如通过分布式训练、模型并行化和算法加速等方式。
    - 研究如何优化机器学习模型的结构，以减少计算资源的需求，包括模型压缩和知识蒸馏技术。

4. **推理与部署**：

    - 研究如何优化机器学习模型的推理过程，特别是在资源受限的环境中。
    - 包括模型量化、推理加速和模型轻量化技术。

5. **系统自动化与自适应**：

    - 研究如何使机器学习系统具有更好的自适应性和鲁棒性，以应对动态变化的环境和数据。
    - 包括自动机器学习（AutoML）、自适应资源分配和自动化模型维护。

6. **用 ML 优化传统的 system 问题**：

    - 研究如何使用 ML 优化数据查询等等。

# MLSys 学习资料

下面是我从互联网上找到的比较高质量的 MLSys 学习资料：

## Courses

- [UC Berkeley CS294: Machine Learning Systems](https://ucbrise.github.io/cs294-ai-sys-sp22/)
- [Dive into Deep Learning Compiler](https://tvm.d2l.ai/)
- [Deep Learning Systems - Algorithms and Implementation](https://dlsyscourse.org/)
- [System for AI](https://github.com/microsoft/AI-System)
- [Machine Learning Compilation](https://mlc.ai/summer22-zh/)

## Books

- [机器学习系统:设计和实现](https://openmlsys.github.io/)
- [AI System](https://github.com/chenzomi12/AISystem)

## Videos

- [Stanford MLSys Seminar](https://www.youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq)

# 参考资料

- [MLsys 各方向综述 - 知乎](https://zhuanlan.zhihu.com/p/104444471)
- [ML system 入坑指南 | 摸黑干活](https://fazzie-key.cool/2023/02/21/MLsys/)
- [机器学习系统 MLSys 中有哪些比较有前途的研究方向？ - 知乎](https://www.zhihu.com/question/494190733)
- [AISystem/01Introduction/01present.md at main · chenzomi12/AISystem · GitHub](https://github.com/chenzomi12/AISystem/blob/main/01Introduction/01present.md)
