Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解

马肤

温馨提示:这篇文章已超过436天没有更新,请注意相关的内容是否还可用!

摘要:本论文利用BERT模型进行中间任务迁移学习,以实现对讽刺话语的检测。通过使用预训练的BERT模型,结合中间任务迁移学习的策略,模型能够更好地捕捉语境信息,提高讽刺话语检测的准确性。该论文解析了如何利用BERT模型进行讽刺话语检测的具体方法和步骤,为相关领域的研究提供了有价值的参考。

论文地址

论文地址:[论文链接](https://www.mdpi.com/2227-7390/10/5/844#/)。

GitHub地址:[edosavini/TransferBertSarcasm](https://github.com/edosavini/TransferBertSarcasm)。

论文概览

论文首页:点击[此处](https://img-blog.csdnimg.cn/direct/b7091ed1a8d045faba9e3fc9b91e2927.png)查看论文首页图片。

笔记框架:点击[此处](https://img-blog.csdnimg.cn/direct/4fc38f86ad7041a78f476cf7fe7b6417.png)查看笔记框架。

使用BERT进行中间任务迁移学习的讽刺检测

出版年份:2022年

出版期刊:Mathematics,影响因子:2.4。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第1张

文章作者:Savini Edoardo 和 Caragea Cornelia。

期刊分区:Number: 5 Publisher: Multidisciplinary Digital Publishing Institute,JCR分区:Q1,中科院分区升级版:数学3区;基础版:数学2区,影响因子:2.4,5年影响因子:2.3,南农高质量:A。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第2张

摘要:讽刺检测在自然语言处理中扮演着重要角色,因为它可以影响许多应用程序的性能,包括情感分析、意见挖掘和立场检测,尽管讽刺检测已经取得了实质性的进展,但研究结果仍然分散在数据集和研究中,我们调查了当前的最新技术,并提出了基于BERT预训练语言模型的讽刺检测的强大基线,我们通过在目标任务上微调之前对相关中间任务进行微调来进一步改进我们的BERT模型,我们探索了一种迁移学习框架,该框架利用讽刺与(隐含的负面)情绪和情感之间的相关性,将情感分类和情感检测作为单独的中间任务,将知识注入讽刺检测的目标任务中,在具有不同特征的三组数据集上的实验结果表明,基于BERT的模型优于许多先前的模型。

研究目的:分析BERT和使用BERT的中间任务迁移学习在讽刺检测任务上的有效性,并找到一个能够准确预测从论坛到微博等多种社交平台中讽刺的神经框架。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第3张

研究背景:尽管讽刺检测已经取得了实质性的进展,但研究结果仍然分散在数据集和研究中。

研究方法:基于BERT预训练语言模型,探索了一种迁移学习(Transfer Learning)框架。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第4张

模型架构

BERT预训练语言模型:我们在我们的目标任务(即讽刺检测)上对Hugging Face Transformers库中的BERT bert-base-uncased进行了微调,在顶部添加了一个线性层作为句子分类器,该分类器使用与相对应的最终隐藏状态CLS]令牌。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第5张

中级任务迁移学习:我们从情感分类和情感检测这两个相关的中间任务中探索迁移学习,以了解我们能否进一步提高BERT模型在讽刺语检测目标任务上的性能,点击[此处](https://img-blog.csdnimg.cn/direct/7b10eac2b09d4b88b738443e3c432e1d.png)查看模型架构图。

除此之外,还使用了标准神经网络模型,如BiLSTM和CNN,当之前的工作中不可用时,使用了[41]中的超参数设置。

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第6张

实验

数据集:数据集来自互联网争论语料库(IAC)、Reddit、Twitter等,对于我们的方法,我们将Gen数据集随机分为90%的训练集和10%的测试集,然后进一步划分为80%训练集和20%验证集,对于Reddit Corpus (SARC) 和 SARCTwitter,也进行了类似的分割,点击[此处](https://img-blog.csdnimg.cn/direct/[相应图片链接])查看数据集详情,评估指标和优化器&超参数详情请见原文,我们使用AllenNLP库和HuggingFace Transformers库来实现我们的模型,在PyTorch环境中使用AWS平台、EC2实例(Ubuntu深度学习AMI)和一个GPU进行试验,消融实验和实验结果请见原文描述,表10、SARC数据集和SARCTwitter的结果表明,我们的模型优于现有技术,特别是TransferEmoNet模型在SARC数据集上取得了新的最佳性能,这些结果证实了讽刺与情绪之间的相关性,并且表明使用情绪作为中间任务进行迁移学习可以提高性能,如果目标任务的数据集大小较小,中间任务迁移学习的效果会更加明显,关于实验结果的详细数据请参见原文中的表格和图表,实验设备使用了AWS平台、EC2实例等,实验设备详情请见

Sarcasm detection论文解析 |使用 BERT 进行中间任务迁移学习的刺检测,BERT在中间任务迁移学习中的讽刺识别研究解析,Sarcasm Detection论文详解 第7张


0
收藏0
文章版权声明:除非注明,否则均为VPS857原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 【研发日记】Matlab/Simulink自动生成代码(二)——五种选择结构实现方法,Matlab/Simulink自动生成代码的五种选择结构实现方法(二),Matlab/Simulink自动生成代码的五种选择结构实现方法详解(二)
  • 超级好用的C++实用库之跨平台实用方法,跨平台实用方法的C++实用库超好用指南,C++跨平台实用库使用指南,超好用实用方法集合,C++跨平台实用库超好用指南,方法与技巧集合
  • 【动态规划】斐波那契数列模型(C++),斐波那契数列模型(C++实现与动态规划解析),斐波那契数列模型解析与C++实现(动态规划)
  • 【C++】,string类底层的模拟实现,C++中string类的模拟底层实现探究
  • uniapp 小程序实现微信授权登录(前端和后端),Uniapp小程序实现微信授权登录全流程(前端后端全攻略),Uniapp小程序微信授权登录全流程攻略,前端后端全指南
  • Vue脚手架的安装(保姆级教程),Vue脚手架保姆级安装教程,Vue脚手架保姆级安装指南,Vue脚手架保姆级安装指南,从零开始教你如何安装Vue脚手架
  • 如何在树莓派 Raspberry Pi中本地部署一个web站点并实现无公网IP远程访问,树莓派上本地部署Web站点及无公网IP远程访问指南,树莓派部署Web站点及无公网IP远程访问指南,本地部署与远程访问实践,树莓派部署Web站点及无公网IP远程访问实践指南,树莓派部署Web站点及无公网IP远程访问实践指南,本地部署与远程访问详解,树莓派部署Web站点及无公网IP远程访问实践详解,本地部署与远程访问指南,树莓派部署Web站点及无公网IP远程访问实践详解,本地部署与远程访问指南。
  • vue2技术栈实现AI问答机器人功能(流式与非流式两种接口方法),Vue2技术栈实现AI问答机器人功能,流式与非流式接口方法探究,Vue2技术栈实现AI问答机器人功能,流式与非流式接口方法详解
  • 发表评论

    快捷回复:表情:
    评论列表 (暂无评论,0人围观)

    还没有评论,来说两句吧...

    目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码