参考资源

官方资源#

文档#

• PyTorch 官方文档 - 完整的 API 文档和教程
• PyTorch Tutorials - 官方教程合集
• PyTorch C++ API 文档 - C++ Frontend 文档
• PyTorch Mobile 文档 - 移动端部署文档

源码与开发#

• PyTorch GitHub - 主仓库
• PyTorch 贡献指南 - 如何参与贡献
• PyTorch RFC - 功能提案和设计文档
• PyTorch Dev Discussions - 开发者论坛

博客与公告#

• PyTorch Blog - 官方博客
• PyTorch Medium - PyTorch Medium 专栏
• PyTorch 2.0 Release - PyTorch 2.0 发布公告

深度技术解析#

Edward Yang 的 PyTorch Internals 系列#

Edward Yang（PyTorch 核心开发者）撰写的深度技术博客：

• PyTorch Internals Part 1 - Tensor 和 Storage
• Let’s talk about the PyTorch dispatcher - 算子分发系统详解
• PyTorch’s tracing vs scripting - JIT 追踪与脚本化
• How to call a C++ function from Python - Python/C++ 互操作

PyTorch 2.0 编译器栈#

• TorchDynamo Design Doc - TorchDynamo 设计文档
• TorchInductor Architecture - TorchInductor 架构说明
• Getting Started with FX - FX 入门指南
• Torch.compile FAQ - torch.compile 常见问题

Autograd 与微分#

• Automatic differentiation in PyTorch - Autograd 教程
• PyTorch Autograd Explained - Autograd 原理解析
• Extending PyTorch Autograd - 扩展 Autograd

分布式训练#

• DDP Tutorial - DDP 官方教程
• FSDP Documentation - FSDP 官方文档
• Getting Started with Distributed Training - 分布式训练入门

性能优化#

• PyTorch Performance Tuning Guide - 性能调优指南
• CUDA Best Practices - CUDA 最佳实践
• Automatic Mixed Precision (AMP) - 混合精度文档
• Memory Management and CUDA Caching Allocator - CUDA 内存管理

社区资源#

视频课程#

• Stanford CS231n - 计算机视觉与深度学习（使用 PyTorch）
• Fast.ai Practical Deep Learning - 实用深度学习课程
• PyTorch Official YouTube Channel - PyTorch 官方视频

书籍#

• 《Deep Learning with PyTorch》 by Eli Stevens, Luca Antiga, Thomas Viehmann
  • 在线版本
• 《Programming PyTorch for Deep Learning》 by Ian Pointer
• 《PyTorch Recipes》 by Pradeepta Mishra

论文#

PyTorch 核心论文#

• PyTorch: An Imperative Style, High-Performance Deep Learning Library (NeurIPS 2019)
• PyTorch Distributed: Experiences on Accelerating Data Parallel Training (VLDB 2020)

编译器栈相关#

• TorchDynamo: Dynamic Tracing for PyTorch (MLSys 2023)
• Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations

Autograd 与微分#

• Automatic Differentiation in Machine Learning: a Survey

工具与生态#

调试与性能分析#

• PyTorch Profiler - 性能分析工具
• TensorBoard with PyTorch - TensorBoard 集成
• torch.autograd.profiler - Autograd 性能分析器

模型部署#

• TorchScript - 模型序列化和部署
• ONNX - 开放神经网络交换格式
• TorchServe - PyTorch 模型服务化工具

扩展库#

• torchvision - 计算机视觉工具包
• torchaudio - 音频处理工具包
• torchtext - 自然语言处理工具包
• PyTorch Lightning - 高级训练框架
• Hugging Face Transformers - Transformer 模型库

社区与交流#

论坛与问答#

• PyTorch Forums - 官方论坛
• Stack Overflow - PyTorch Tag - Stack Overflow 问答
• Reddit r/pytorch - Reddit 社区

会议与活动#

• PyTorch Conference - PyTorch 年度会议
• PyTorch DevCon - 开发者大会

社交媒体#

• PyTorch Twitter - 官方 Twitter
• PyTorch LinkedIn - 官方 LinkedIn

竞品与替代方案#

其他深度学习框架#

• TensorFlow - Google 开发的深度学习框架
• JAX - Google 的可微分编程框架
• MXNet - Apache 基金会的深度学习框架
• PaddlePaddle - 百度开发的深度学习平台

PyTorch 生态系统对比#

本文档贡献者#

本 PyTorch 源码分析文档由以下贡献者整理和维护：

• 主要维护者：SuperMarioYL
• 文档仓库：inference-cookbook

参与贡献#

欢迎通过以下方式参与贡献：

1. GitHub Issues：报告错误或提出改进建议

   • 提交 Issue

2. Pull Requests：提交文档修正或新增内容

   • 提交 PR

3. 讨论与反馈：参与技术讨论

   • GitHub Discussions

许可证#

本文档内容基于 MIT License 开源。

最后更新：2025-01-13

文档版本：v2.0（章节重组版）