Skip to content
Hugging Face

欢迎来到本课程！

屏幕前的同学，

欢迎来到本课！我们将为你介绍Transformer模型在音频领域的应用。Transformer模型已经多次证明了自己是最强大、多功能的深度学习模型之一，并在自然语言处理（Natural Language Processing, NLP）、机器视觉（Computer Vision, CV）、和最近的音频处理等等任务上取得了最佳成绩。

在本课中，我们会学习如何将Trasnfromer结构应用到音频数据上。你会学到如何使用Transformer解决各种各样与音频有关的任务。无论你是对自动语音识别（Automatic Speech Recognition, ASR）、音频分类（Audio CLassification）、或是由文字生成语音（Text-to-Speech synthesis， TTS）感兴趣，本课和Transformer都会成为你的得力助手。

让我们直观地感受一下这些模型的威力吧！在下面的demo里随便说些什么，然后看看我们的模型是如何实时地将语音记录成文字的（仅支持英语）：

在本课中，你会学习到针对音频数据的特殊处理方法、各种不同的Transformer架构、以及使用强大的预训练模型来训练你自己的音频Transformer。

本课是为有一定深度学习基础，并对Transformer有一些初步了解的同学而设计。你不需要对音频数据处理有任何经验。如果你需要加强自己对Transformer结构的基础了解，请参考我们的自然语言处理课程。这门课程包含了Transformer结构的基础知识和更多细节。

关于作者

Sanchit Gandhi, Hugging Face机器学习科研工程师

嗨! 我是Sanchit，来自Hugging Face🤗开源组的的音频机器学习研发工程师。我的主要方向是自动语音识别和（automatic speech recognition,ASR）和自动语音翻译。我现在的工作方向是构建更快、更轻、更易用的语音模型。

Matthijs Hollemans, Hugging Face机器学习工程师

我是Matthijs, Hugging Face开源组的音频机器学习工程师。我也是《how to write sound synthesizers》（如何编写音频合成器）一书的作者。我喜欢在业余时间编写音频插件。

Maria Khalusova, Hugging Face文档和课程经理

我是Maria，我的主要工作是制作教学内容和文档，使我们的Transformers库和其他开源工具更加易用。我会解构复杂的技术概念，并且帮助大家从零开始理解最前沿的技术。

Vaibhav Srivastav, Hugging Face机器学习开发者大使

我是Vaibhav (VB)，Hugging Face开源组的开发者大使（Developer Advocate）。我的研究方向是低资源TTS以及尖端语音研究的大众化推进。

课程结构

本课程被分为多个单元，涵盖了众多方向的深度议题：

  • 第1单元：学习音频数据的特殊性，包括音频信号处理技巧和数据预处理。
  • 第2单元：了解音频机器学习的应用，使用🤗Transformers pipelines实现不同任务，包括音频分类（Audio classification）和语音识别（speech recognition）。
  • 第3单元：探索各种音频Transformer架构，了解他们的区别和各自的优势任务。
  • 第4单元：学习如何构建你自己的音乐风格分类器（music genre classifier）
  • 第5单元：深入学习语音识别（speech recognition），搭建一个会议转录模型。
  • 第6单元：学习如何从文字生成语音。
  • 第7单元：学习利用Transformer进行音频到音频转换（audio to audio）。

每个单元都包含了理论部分，对模型背后的概念和技巧做了深入的极少。本课程的各个章节都包含了课后习题，用来测试和强化你的学习成果。部分单元还包含了实战练习。

完成本课程的学习后，你会在Transformer和音频数据上拥有一个扎实的基础，并且会学习到针对多种音频相关任务的工具，帮助你快速开发应用。

本课程的各个单元会按照如下的时间表发布：（译注：此表为英文版课程发布时间）

单元发布日期
第0、1、2单元2023年6月14日
第3、4单元2023年6月21日
第5单元2023年6月28日
第6单元2023年7月5日
第7、8单元2023年7月12日

学习方法和证书

你可以用任何方式来利用这门课程。本课程的所有内容均为100%免费、公开且开源。你可以按照自己喜欢的节奏来学习本课程，不过我们建议按照顺序来阅读各个单元。

如果你想要获取结课证明，我们提供两种不同的选项：

证书类别要求
结课证书在2023年7月底前，根据指引完成80%的实战练习内容。
荣誉证书在2023年7月底前，根据指引完成100%的实战练习内容。

每个单元的实战练习内容均有各自的完成标准。当你完成了任意类别的证书要求后，请按照最后一个单元的指引来获取你的结课证明。祝你好运！

注册本课程

本课程的不同单元会在数周内逐渐更新。我们建议你注册课程更新通知，以防错过新内容的更新。注册课程的同学还能第一时间了解到我们举办的特殊活动。

注册链接（仅英文）

祝你学习愉快！