自动语音识别

诚信评分:100
水平:普通
本教程将向您展示如何在 MInDS-14 数据集上对 Wav2Vec2 进行微调,将音频转录为文本。

Notebook 预览
自动语音识别
In [1]:
#  transformers 安装
! pip install transformers datasets accelerate evaluate jiwer --user
# 要从源代码而不是上一个版本安装,请对上面的命令进行注释,并取消对下面命令的注释。
# ! pip install git+https://github.com/huggingface/transformers.git
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: transformers in /root/.local/lib/python3.8/site-packages (4.31.0)
Requirement already satisfied: datasets in /root/.local/lib/python3.8/site-packages (2.14.2)
Requirement already satisfied: accelerate in /root/.local/lib/python3.8/site-packages (0.21.0)
Requirement already satisfied: evaluate in /root/.local/lib/python3.8/site-packages (0.4.0)
Requirement already satisfied: jiwer in /root/.local/lib/python3.8/site-packages (3.0.2)
Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.8/site-packages (from transformers) (23.0)
Requirement already satisfied: requests in /usr/local/lib/python3.8/site-packages (from transformers) (2.28.1)
Requirement already satisfied: regex!=2019.12.17 in /root/.local/lib/python3.8/site-packages (from transformers) (2023.6.3)
Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.8/site-packages (from transformers) (6.0)
Requirement already satisfied: filelock in /root/.local/lib/python3.8/site-packages (from transformers) (3.12.2)
Requirement already satisfied: safetensors>=0.3.1 in /root/.local/lib/python3.8/site-packages (from transformers) (0.3.1)
Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.8/site-packages (from transformers) (4.64.1)
Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.8/site-packages (from transformers) (1.23.5)
Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /root/.local/lib/python3.8/site-packages (from transformers) (0.13.3)
Requirement already satisfied: huggingface-hub<1.0,>=0.14.1 in /root/.local/lib/python3.8/site-packages (from transformers) (0.16.4)
Requirement already satisfied: multiprocess in /root/.local/lib/python3.8/site-packages (from datasets) (0.70.15)
Requirement already satisfied: aiohttp in /root/.local/lib/python3.8/site-packages (from datasets) (3.8.5)
Requirement already satisfied: dill<0.3.8,>=0.3.0 in /root/.local/lib/python3.8/site-packages (from datasets) (0.3.7)
Requirement already satisfied: pandas in /usr/local/lib/python3.8/site-packages (from datasets) (1.5.3)
Requirement already satisfied: fsspec[http]>=2021.11.1 in /root/.local/lib/python3.8/site-packages (from datasets) (2023.6.0)
Requirement already satisfied: xxhash in /root/.local/lib/python3.8/site-packages (from datasets) (3.3.0)
Requirement already satisfied: pyarrow>=8.0.0 in /root/.local/lib/python3.8/site-packages (from datasets) (12.0.1)
Requirement already satisfied: psutil in /usr/local/lib/python3.8/site-packages (from accelerate) (5.9.4)
Requirement already satisfied: torch>=1.10.0 in /usr/local/lib/python3.8/site-packages (from accelerate) (1.13.1+cu117)
Requirement already satisfied: responses<0.19 in /root/.local/lib/python3.8/site-packages (from evaluate) (0.18.0)
Requirement already satisfied: click<9.0.0,>=8.1.3 in /usr/local/lib/python3.8/site-packages (from jiwer) (8.1.3)
Requirement already satisfied: rapidfuzz==2.13.7 in /root/.local/lib/python3.8/site-packages (from jiwer) (2.13.7)
Requirement already satisfied: aiosignal>=1.1.2 in /root/.local/lib/python3.8/site-packages (from aiohttp->datasets) (1.3.1)
Requirement already satisfied: charset-normalizer<4.0,>=2.0 in /usr/local/lib/python3.8/site-packages (from aiohttp->datasets) (2.0.4)
Requirement already satisfied: attrs>=17.3.0 in /usr/local/lib/python3.8/site-packages (from aiohttp->datasets) (22.2.0)
Requirement already satisfied: frozenlist>=1.1.1 in /root/.local/lib/python3.8/site-packages (from aiohttp->datasets) (1.4.0)
Requirement already satisfied: yarl<2.0,>=1.0 in /root/.local/lib/python3.8/site-packages (from aiohttp->datasets) (1.9.2)
Requirement already satisfied: multidict<7.0,>=4.5 in /root/.local/lib/python3.8/site-packages (from aiohttp->datasets) (6.0.4)
Requirement already satisfied: async-timeout<5.0,>=4.0.0a3 in /root/.local/lib/python3.8/site-packages (from aiohttp->datasets) (4.0.2)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.8/site-packages (from huggingface-hub<1.0,>=0.14.1->transformers) (4.5.0)
Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.8/site-packages (from requests->transformers) (3.4)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/lib/python3.8/site-packages (from requests->transformers) (1.26.14)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.8/site-packages (from requests->transformers) (2022.12.7)
Requirement already satisfied: pytz>=2020.1 in /usr/local/lib/python3.8/site-packages (from pandas->datasets) (2022.7.1)
Requirement already satisfied: python-dateutil>=2.8.1 in /usr/local/lib/python3.8/site-packages (from pandas->datasets) (2.8.2)
Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.8/site-packages (from python-dateutil>=2.8.1->pandas->datasets) (1.16.0)
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv