不会算法 也能微调一个NLP预训练模型
本文为来自 教育-智能学习-前端团队 成员的文章，已授权 ELab 发布。智能学习前端团队 自创立以来，团队专注于打破大众对教育的刻板印象，突破固有的教学思维，攻破各类教学屏障。旨在为每一位学生制定最合适的学习方案，予以因材施教，使优质教育随 "触" 可达。前言
学习nlp的过程，就像升级打怪，每一个阶段都是一个坎，要想出新手村，需要跨过这几个坎
[*]level 1、了解nlp的概念 和 能做的边界
[*]level 2、会用一个已有的模型
[*]level 3、学会微调一个自己业务专属的模型
[*]level 4、定义一个全新的模型
之前有分享过 前端工程师如何快速使用一个NLP模型 ，本文是该文的一个小进阶
[*]初探level3
本文预计需要30min，通过本文主要获得几个知识点：
[*]回顾 NLP的一些概念
[*]学会微调一个 中文bert模型 完形填空任务
nlp介绍
发展历史
NLP任务的发展有两个明显的阶段，我们以bert模型为区分点，前半段是基础的神经网络阶段（bert模型之前的阶段），后半段是BertTology阶段（bert模型之后的阶段）
参考 https://zhuanlan.zhihu.com/p/148007742
[*] 1950-1970 - 采用基于规则的方法
[*]人们定义了大量语言规则，但因规则的局限性，只能解决一些简单问题
[*] 1970-20世纪初 - 采用基于统计的方法
[*]随着技术发展 和 语料库丰富，基于统计的方案逐渐代替了基于规则的方法，开始走向实际应用
[*] 2008-2018 - 引入深度学习的RNN、LSTM、GRU
[*]在图像识别和语音识别领域的成果激励下，人们也逐渐开始引入深度学习来做自然语言处理研究，由最初的词向量到2013年的word2vec，将深度学习与自然语言处理的结合推向了高潮，并在机器翻译、问答系统、阅读理解等领域取得了一定成功
[*] 现今
[*]2017年谷歌提出了Transformer架构模型，2018年底，基于Transformer架构，谷歌推出了bert模型，bert模型一诞生，便在各大11项NLP基础任务中展现出了卓越的性能（https://gluebenchmark.com/leaderboard） ，现在很多模型都是基于或参考Bert模型进行改造
bert 大家族
目前研究方向
方向分为两个方向
https://zhuanlan.zhihu.com/p/56802149
[*]自然语言理解 NLU
[*]自然语言生成 NLG
下图是huggingface上提供的nlp任务类别
学习nlp绕不开的一个知识概念
神经网络基本原理
这是个有点大的概念，本文为了避免冗余繁琐，主要强调两个地方，方便有个大体认知神经元
单个神经元是神经网络的基础，就像生物界的神经元（树突决定输入、输出；轴突完成信号传递）
数学表示如下： Output=f(∑n(x*w)+θ)
可以看出一个神经元可以接受多个参数（x1、x2、...、xn），每个参数会配置一个对应的权重w1、w2、wn，经过加权求和之后，加上一个偏置值 θj ，经过一个激活函数 f 处理得到输出。
激活函数作用：加入非线性因素，解决线性模型表达能力的不足，拟合更多的情况其中 w、θ 的值由 模型训练 得到，一个神经网络训练过程就是让每个神经元模型的权重值调整到最佳，以使整体的预测效果最好
神经网络工作基本流程
image.png
损失函数：计算 输出值、目标值 之间的误差
反向传播：把误差传递给权重，让权重做适当的调整，最终让正向传播的输出结果与标签间误差最小
学习率：反向传播中步长大小，控制调节幅度，在精度和速度之间找到一个平衡
优化器：一般需要反复迭代才能找到适合的权重，比较耗时，所以我们通过 一套策略（优化器）利用算法从而更快、更好的将参数调整到位but，在代码编写过程中，我们并不需要手写一个损失函数，手写一个优化器，Pytorch 会帮你封装成了一个个api；而在大部分场景甚至都不需要再去手写神经网络 或者 训练别人写好的神经网络，因为我们可以直接使用预训练模型，开箱即用
预训练模型
前面有提到 bert模型，bert模型就是一个预训练模型，下面简单说下预训练模型
具体可以回顾下：前端工程师如何快速使用一个NLP模型概念：什么是预训练模型
第三方（主要是三方机构）用数据集已经训练好的模型，通常情况下，我们可以拿来即用
一些预训练模型的训练成本
如何使用预训练模型
很多开源的预训练模型大家会提交到 github 或者发布到 huggingface中
国内也有类似 hugginface平台- 百度paddle，但还是 huggingface使用人最多huggingface主要用两种方式：
方式1、借助 huggingface 封装好的 pipeline，一行代码调用
方式2、借助huggingface transformers提供的原子化 api （model、tokenizer）等完成
原子化 api使用三个步骤：
[*]分词：句子拆成词，词映射为一个可用于数学计算的向量序号
[*]预测：调用模型推理的过程
[*]解词：推理得到的向量，反查映射表，转换为词，最后成句
预训练模型优缺点
优点：
[*]工程角度：开箱即用；节约训练成本；减少训练时长，加速生产
[*]模型泛化能力强：预训练模型经过海量数据训练，更好地学到了数据中的普遍特征，相比从头开始训练参数，预训练模型具有会有更好的泛化效果
存在的问题：
预训练模型就像一个 六边形战士，学到了海量数据中的特征，从而各项能力指标都不错，但在特定场景下，无法侧重学习特定业务的某些特征，从而不能像一把尖刀精准要害
那么该如何解决呢？
答案是 微调预训练模型 （fine-tuning）：让预训练模型学习到 特定业务场景下数据集的特征，从而在特定领域效果更佳。
微调 bert模型
在bert模型基础上，微调一个中文完形填空任务
之所以选择 这个任务，是因为微调中文模型的文章比较少，而微调完形填空的就基本没有找到..什么是Bert模型
BERT是通过 预测屏蔽子词 来进行训练的模型，这种方式在语句级的语义分析中取得了极好的效果。
屏蔽子词：先将句子中的部分词语屏蔽，再令模型去预测被屏蔽的词语掩码例子
原句： 我爱中国
掩码后： 我爱国
Bert 将训练文本15%的词进行掩码操作的，其中对于15% 需要掩码的词 如何掩盖也有特殊规则：
[*]有80%的概率用 标记来替换
[*]有10%的概率用随机采样的一个单词来替换
[*]有10%的概率不做替换
正常效果
微调目标
可以看到模型推理的结果还不错，能推理出来常见的人名
但我们的目标是： "魔改历史"，让模型 预测出来 "三国人物诸葛涛" ，实现穿越，那么该如何做呢？
微调具体操作
在线操作地址：
https://colab.research.google.com/drive/12SCpFa4gtgufiJ4JepLMuItjkWb6yfck?usp=sharing
step1、准备自定义语料
train.json
加载语料代码
step2、定义训练器
定义训练集和测试集
step3、模型训练
训练代码
训练日志
训练结束
验证结果
成功把 “诸葛涛” 加入到预测中
总结
学完本篇课程，算是初探 level3 成功了！
两个flag完成了吗？
[*]回顾 NLP的一些概念
[*]学会微调一个 中文bert模型 完形填空任务
预训练模型是普通用户的福音，而通过微调预训练模型，每个人都可以收集构造自己的语料，打造一个自己专属的nlp模型，或许人人皆是调参工程师
参考学习
Huggingface course课程
[*]https://huggingface.co/course/chapter7/3?fw=pt
[*]https://huggingface.co/course/en/chapter5/5?fw=pt
《基于Bert模型的自然语言处理实战》
谢谢支持
以上便是本次分享的全部内容，希望对你有所帮助^_^
喜欢的话别忘了 分享、点赞、收藏 三连哦~。
欢迎关注公众号 ELab团队 收货大厂一手好文章~
智能学习前端团队 自创立以来，团队专注于打破大众对教育的刻板印象，突破固有的教学思维，攻破各类教学屏障。旨在为每一位学生制定最合适的学习方案，予以因材施教，使优质教育随 "触" 可达。字节跳动校/社招内推码: C4QC2V7
投递链接: https://job.toutiao.com/s/2jML178
页:
[1]