Transformers

 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。

Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。

Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

下图是一张来自于官网的Transformers发展谱系图，短短3，4年就发展出了庞大家族。

为什么要用 transformers？

1. 便于使用的先进模型：

   • NLU 和 NLG 上表现优越
   • 对教学和实践友好且低门槛
   • 高级抽象，只需了解三个类
   • 对所有模型统一的API

2. 更低计算开销，更少的碳排放：

   • 研究人员可以分享已训练的模型而非每次从头开始训练
   • 工程师可以减少计算用时和生产环境开销
   • 数十种模型架构、两千多个预训练模型、100多种语言支持

3. 对于模型生命周期的每一个部分都面面俱到：

   • 训练先进的模型，只需 3 行代码
   • 模型在不同深度学习框架间任意转移，随你心意
   • 为训练、评估和生产选择最适合的框架，衔接无缝

4. 为你的需求轻松定制专属模型和用例：

   • 我们为每种模型架构提供了多个用例来复现原论文结果
   • 模型内部结构保持透明一致
   • 模型文件可单独使用，方便魔改和快速实验

什么情况下我不该用 transformers？

• 本库并不是模块化的神经网络工具箱。模型文件中的代码特意呈若璞玉，未经额外抽象封装，以便研究人员快速迭代魔改而不致溺于抽象和文件跳转之中。
• Trainer API 并非兼容任何模型，只为本库之模型优化。若是在寻找适用于通用机器学习的训练循环实现，请另觅他库。
• 尽管我们已尽力而为，examples 目录中的脚本也仅为用例而已。对于你的特定问题，它们并不一定开箱即用，可能需要改几行代码以适之。

Transformers开发背后的故事：

Hugging face 起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来。目前已经共享了超100,000个预训练模型，10,000个数据集，变成了机器学习界的github。

其之所以能够获得如此巨大的成功，一方面是让我们这些甲方企业的小白，尤其是入门者也能快速用得上科研大牛们训练出的超牛模型。另一方面是，这种特别开放的文化和态度，以及利他利己的精神特别吸引人。huggingface上面很多业界大牛也在使用和提交新模型，这样我们就是站在大牛们的肩膀上工作，而不是从头开始，当然我们也没有大牛那么多的计算资源和数据集。

在国内huggingface也是应用非常广泛，一些开源框架本质上就是调用transfomer上的模型进行微调（当然也有很多大牛在默默提供模型和数据集）。很多nlp工程师招聘的条目上也明摆着要求熟悉huggingface transformer库的使用。简单介绍了他们多么牛逼之后，我们看看huggingface怎么玩吧。因为他既提供了数据集，又提供了模型让你随便调用下载，因此入门非常简单。你甚至不需要知道什么是GPT，BERT就可以用他的模型了（当然看看我写的BERT简介还是十分有必要的）。下面初步介绍下huggingface里面都有什么，以及怎么调用BERT模型做个简单的任务。