锅炉信息网 > 锅炉知识 > 锅炉资讯

Random Walk survey 1st

发布时间:

最近有点懒哈,写个博客鼓励一下自己~Attention!!!本文只记录在arxiv上最新出现的几篇个人觉得还挺有趣的文章,会简单的写一下该论文的的

最近有点懒哈,写个博客鼓励一下自己~

Attention!!!本文只记录在arxiv上最新出现的几篇个人觉得还挺有趣的文章,会简单的写一下该论文的的基本信息,以及对该论文的评价(仅个人理解)

1.Non-Autoregressive Neural Dialogue Generation

https://arxiv.org/pdf/2002.04250.pdf

Authorjiwei li大佬的新作品

Motivation:传统的seq2seq在解码时依赖于从左到右逐个词的生成,但是实际上该方法过于强调前后词的依赖性;且不利于并行计算。

Approach

1.我们可不可以先从中间词开始,不依次生成单词,而是试图一步到位,之后再反复修改?即原始的 变成了 这里是Auto regressive的思想

2.基于互信息的思想,我们也可以反过来优化 进而帮助原模型

Discussion

感觉Auto regressive的思想很不错, 不过换句话说,一步到位解码法是不是也变向引入了某单词在某一特定位置这一限制呢?感觉这里还可以尝试优化一下,毕竟被约束的应该是相对位置。

至于互信息,感觉是Dual-learning的变种。

2.High Mutual Information in Representation Learning with Symmetric Variational Inference

https://arxiv.org/pdf/1910.04153.pdf

Authornips的workshop(确实很nips,公式看的头大)

Motivation:致力于解决VAE的后验崩溃(posterior collapse)的问题(其实就是train到后面结果好了但是和latent vector的依赖变弱了)

Approach

1.引入互信息最大化(Mutual Information Maximization),将其作为正则项约束VAE的latent vector与实际输出的互信息,换句话说就是建立latent vector与图像(文本)直接的映射关系,进而防止后验崩溃(posterior collapse)

2.文中还提到了对称VAE的思想,其实就是encoding和decoding前后的表示应该是对称的,而互信息最大化有利于建模这个问题

Discussion

公式推导真的劝退,但是这个idea其实很有道理,MIM本身就有利于解决前后不依赖的问题,恰好缓解了VAE的这一点,非常有意思。但是铺开来讲的话,是不是和NLP中VAE的BOW(bag-of-word)loss有点像?或者说这是BOW有效性的一种解释?

3.TABFACT: A LARGE-SCALE DATASET FOR TABLE-BASED FACT VERIFICATION

https://arxiv.org/pdf/1909.02164v1.pdf

Author:William Wang老师组的ICLR大作

Motivation:将事实验证(fact verification)任务推广到表格数据上,换句话说,基于表格数据,验证事实的真伪;主要contribution是新数据集

Approach

1.TABLE-BERT,即将表格中每一行转换成一句话,与事实称述(statement)拼接到一起,用BERT进行编码,进而判断真假。

2.Latent program search:基于一个pipeline,先根据称述中的实体进行entity-linking,然后基于此从表格中抽取重要的线索,最终基于这些线索进行打分

Discussion

新task,还挺有意思,难点主要在于对表格数据的建模。实验时以上两个模型中Table-BERT更强一点,变向说明了对文本信息建模在这个task很重要;如果能用更加优雅的方式将表格带入BERT,可能会有更好的效果。

精选推荐

  • 如何正确选择白板供应商
    如何正确选择白板供应商

    目前在无锡想采购一块白板不管是实体店铺,还是网络平台都有很多选择,想要到专业的无锡白板公司采购还需要掌握一定的方式技巧。现

  • 柴油发电机组供应商
    柴油发电机组供应商

      t 扬州华东动力机械有限公司,位于江苏省扬州市江都区仙城工业园,是专业从事发电机、柴油及燃气发电机组研发、制造、销售、服务于

  • 高温辐射炉
    高温辐射炉

    5.2.2高温辐射炉5.2.2.1温度控制★(1)样品温度范围:常温~1400℃。★(2)均温区:长度不小于80mm。★(3)中心区:长度不小于10mm。(4)温度梯度(均

  • 高压锅在什么情况下会爆炸?
    高压锅在什么情况下会爆炸?

    近日,多地发生高压锅爆炸事故,给不少家庭带来了伤害和财产损失。那么,什么情况下会导致高压锅爆炸呢?首先,当高压锅内部压力过高时,如果

0