Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解

温馨提示：这篇文章已超过436天没有更新，请注意相关的内容是否还可用！

摘要：本论文利用BERT模型进行中间任务迁移学习，以实现对讽刺话语的检测。通过使用预训练的BERT模型，结合中间任务迁移学习的策略，模型能够更好地捕捉语境信息，提高讽刺话语检测的准确性。该论文解析了如何利用BERT模型进行讽刺话语检测的具体方法和步骤，为相关领域的研究提供了有价值的参考。

论文地址

论文地址：[论文链接](https://www.mdpi.com/2227-7390/10/5/844#/)。

GitHub地址：[edosavini/TransferBertSarcasm](https://github.com/edosavini/TransferBertSarcasm)。

论文概览

论文首页：点击[此处](https://img-blog.csdnimg.cn/direct/b7091ed1a8d045faba9e3fc9b91e2927.png)查看论文首页图片。

笔记框架：点击[此处](https://img-blog.csdnimg.cn/direct/4fc38f86ad7041a78f476cf7fe7b6417.png)查看笔记框架。

使用BERT进行中间任务迁移学习的讽刺检测

出版年份：2022年

出版期刊：Mathematics，影响因子：2.4。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第1张

文章作者：Savini Edoardo 和 Caragea Cornelia。

期刊分区：Number: 5 Publisher: Multidisciplinary Digital Publishing Institute，JCR分区：Q1，中科院分区升级版：数学3区；基础版：数学2区，影响因子：2.4，5年影响因子：2.3，南农高质量：A。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第2张

摘要：讽刺检测在自然语言处理中扮演着重要角色，因为它可以影响许多应用程序的性能，包括情感分析、意见挖掘和立场检测，尽管讽刺检测已经取得了实质性的进展，但研究结果仍然分散在数据集和研究中，我们调查了当前的最新技术，并提出了基于BERT预训练语言模型的讽刺检测的强大基线，我们通过在目标任务上微调之前对相关中间任务进行微调来进一步改进我们的BERT模型，我们探索了一种迁移学习框架，该框架利用讽刺与（隐含的负面）情绪和情感之间的相关性，将情感分类和情感检测作为单独的中间任务，将知识注入讽刺检测的目标任务中，在具有不同特征的三组数据集上的实验结果表明，基于BERT的模型优于许多先前的模型。

研究目的：分析BERT和使用BERT的中间任务迁移学习在讽刺检测任务上的有效性，并找到一个能够准确预测从论坛到微博等多种社交平台中讽刺的神经框架。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第3张

研究背景：尽管讽刺检测已经取得了实质性的进展，但研究结果仍然分散在数据集和研究中。

研究方法：基于BERT预训练语言模型，探索了一种迁移学习（Transfer Learning）框架。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第4张

模型架构：

BERT预训练语言模型：我们在我们的目标任务（即讽刺检测）上对Hugging Face Transformers库中的BERT bert-base-uncased进行了微调，在顶部添加了一个线性层作为句子分类器，该分类器使用与相对应的最终隐藏状态CLS]令牌。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第5张

中级任务迁移学习：我们从情感分类和情感检测这两个相关的中间任务中探索迁移学习，以了解我们能否进一步提高BERT模型在讽刺语检测目标任务上的性能，点击[此处](https://img-blog.csdnimg.cn/direct/7b10eac2b09d4b88b738443e3c432e1d.png)查看模型架构图。

除此之外，还使用了标准神经网络模型，如BiLSTM和CNN，当之前的工作中不可用时，使用了[41]中的超参数设置。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第6张

实验：

数据集：数据集来自互联网争论语料库（IAC）、Reddit、Twitter等，对于我们的方法，我们将Gen数据集随机分为90%的训练集和10%的测试集，然后进一步划分为80%训练集和20%验证集，对于Reddit Corpus (SARC) 和 SARCTwitter，也进行了类似的分割，点击[此处](https://img-blog.csdnimg.cn/direct/[相应图片链接])查看数据集详情，评估指标和优化器&超参数详情请见原文，我们使用AllenNLP库和HuggingFace Transformers库来实现我们的模型，在PyTorch环境中使用AWS平台、EC2实例（Ubuntu深度学习AMI）和一个GPU进行试验，消融实验和实验结果请见原文描述，表10、SARC数据集和SARCTwitter的结果表明，我们的模型优于现有技术，特别是TransferEmoNet模型在SARC数据集上取得了新的最佳性能，这些结果证实了讽刺与情绪之间的相关性，并且表明使用情绪作为中间任务进行迁移学习可以提高性能，如果目标任务的数据集大小较小，中间任务迁移学习的效果会更加明显，关于实验结果的详细数据请参见原文中的表格和图表，实验设备使用了AWS平台、EC2实例等，实验设备详情请见

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测，BERT在中间任务迁移学习中的讽刺识别研究解析，Sarcasm Detection论文详解第7张