7 Papers & Radios | MIT利用AI发现迄今最强抗生素;管轶团队穿山甲中发现冠状病毒 ...
作者:Tommy Tsan-Yuk Lam、Marcus Ho-Hin Shum、Yi Guan 等
论文链接:https://www.biorxiv.org/content/10.1101/2020.02.13.945485v1
摘要:2 月 18 日,来自香港大学管轶课题组与广西医科大学胡艳玲课题组合作的研究被提交到生物学预印版论文平台 BiorXiv 上。研究人员对广西和广东反走私行动中查获的多个穿山甲样本进行了检测,并在穿山甲样本中发现了冠状病毒,属于此次新冠病毒的两个亚型,其中一个受体结合域与新冠病毒密切相关。
研究显示,穿山甲体内发现的冠状病毒与新冠病毒全序列相似性为 85.5-92.4%, 低于蝙蝠 RaTG13 的 96.2%。但穿山甲病毒的受体结合域与新冠病毒更相似,达 97.4%,5 个关键位点完全相同。相比之下,蝙蝠 RBD 与新冠病毒的相似性只有 89.2%,5 个位点只有 1 个相同。此外,新冠病毒 RBD 以外序列与蝙蝠序列更相似,提示存在趋同进化或病毒重组。
通过扩增子测序等技术,研究者获得了 6 份完整或接近完整的病毒基因组序列,在系统发育分析中,这些都属于新冠肺炎病毒的同族。
这些病毒的基因组结构也与 2019-nCoV 相似。
2019-nCoV 与广东穿山甲冠状病毒在受体结合域上表现出了非常高的序列相似性,尽管它的其余部分与蝙蝠冠状病毒 RaTG13 在病毒基因组方面的关系最为密切。
推荐:在此前华南农业大学的研究报告后,管轶等人的新论文为穿山甲作为新冠病毒中间宿主的思路提供了进一步的证据。
论文 2:Fully hardware-implemented memristor convolutional neural network
作者:Peng Yao、Huaqiang Wu 、He Qian 等
论文链接:https://www.nature.com/articles/s41586-020-1942-4
摘要:基于忆阻器的神经形态计算系统为神经网络训练提供了一种快速节能的方法。但是,最重要的图像识别模型之一——卷积神经网络还没有利用忆阻器交叉阵列的完全硬件实现。此外,由于硬件实现收益小、变化大,设备特性不完善,其结果很难媲美软件实现。
不久之前,来自清华大学和马萨诸塞大学的研究者在《自然》杂志上发表文章,提出用高收益、高性能的均匀忆阻器交叉阵列实现 CNN,该实现共集成了 8 个包含 2048 个单元的忆阻器阵列,以提升并行计算效率。此外,研究者还提出了一种高效的混合训练方法,以适应设备缺陷,改进整个系统的性能。研究者构建了基于忆阻器的五层 CNN 来执行 MNIST 图像识别任务,识别准确率超过 96%。
基于忆阻器的硬件系统具备可靠的多级电导率状态。
推荐:研究者构建的基于忆阻器的五层 CNN 在 MNIST 手写数字识别任务中实现了 96.19% 的准确率,为大幅提升 CNN 效率提供了可行的解决方案。
论文 3:CodeBERT: A Pre-Trained Model for Programming and Natural Languages
作者:Zhangyin Feng、Daya Guo、Ming Zhou 等
论文链接:https://arxiv.org/abs/2002.08155
摘要:在本文中,研究者提出了 CodeBERT,这是一种用于编程语言和自然语言的双峰预训练模型。CodeBERT 学习支持自然语言代码搜索以及代码文档生成等下游 NL-PL 应用的通用表征。他们使用基于 Transformer 的神经架构来开发 CodeBERT,并利用结合了 replaced token 检测预训练任务的混合目标函数进行训练,从而用于检测从生成器采样的可能替代方案。
通过对模型参数进行微调,研究者在两个 NL-PL 应用上评估 CodeBERT。结果表明CodeBERT 在自然语言代码搜索和代码文档生成任务上均实现了 SOTA 性能。为了调查在 CodeBERT 中学习到了哪种知识,他们还创建了 NL-PL 探测数据集,并在 zero-shot 设置中进行了评估,其中预先训练的模型的参数是固定的。结果表明CodeBERT 在 NL-PL 探测方面的性能也优于以前的预训练模型。
CodeBERT 模型架构图。
在自然语言代码检索上的模型结果对比。
不同预训练模型的 NL-PL 探索性能对比。
推荐:值的注意的是,当模型参数固定时,CodeBERT 的性能要优于 RoBERTa 和仅使用代码的连续训练模型。
论文 4:A Deep Learning Approach to Antibiotic Discovery
作者:Jonathan M. Stokes、Kevin Yang、Kyle Swanson 等
论文链接:https://www.cell.com/cell/fulltext/S0092-867430102-1
摘要:在过去的几十年里,研发人员使用多种传统方法挖掘新的抗生素,但很多时候他们会一次又一次地发现相同的分子,因此新抗生素的发现步履维艰。在此背景下,生物医学界亟需新的方法来帮助发现新抗生素。
为了解决上述问题,来自 MIT 合成生物学中心的研究者开发了一种可以预测抗生素分子活性的深度学习方法,从超过 1.07 亿种分子中识别出了强大的新型抗生素分子——halicin。halicin 可以对抗多种细菌,如肺结核以及被认为无法治疗的菌株。而且,这种新发现的分子在结构上与已知的抗生素分子有很大不同。
虽然之前已有使用人工智能作用于部分抗生素发现的应用案例,但研究团队强调,此次最新发现是基于没有任何先前假设的情况下,完全从零开始识别出的全新抗生素种类。
论文的图片摘要。
研究者针对每一个组成部分的 SMILES 表达式建立分子图,其中 SMILES 是一种用 ASCII 字符串明确描述分子结构的规范。
推荐:这是人类首次完全使用人工智能的方法发现新抗生素。
论文 5:Sequence Generation with Optimal-Transport-Enhanced Reinforcement Learning
作者:Liqun Chen、Ke Bai、Chenyang Tao、Yizhe Zhang 等
论文链接:https://pdfs.semanticscholar.org/826d/b2e5f340a90fc9672279f9e921b596aba4b7.pdf%EF%BB%BF
摘要:序列生成是 NLP 研究中极其重要的组成部分,序列生成任务包含了很多应用——机器翻译、文本摘要、图像注释以及风格迁移等。在序列生成模型中,常见的方法之一就是使用 Maximum Likelihood Estimation。这里的 MLE 主要是基于自回归的形式,即最大化已知背景知识后当前单词的条件概率,这种做法导致了暴露偏差问题,即在训练阶段模型对生成序列的暴露不足,从而导致测试时长序列的语义一致性快速降低。
为了解决这个问题,本文对 RL 和 OT学习的不同状态进行分析,从而发现了一种融合了 RL 和 OT 正则化的退火调度学习策略——最优运输 RL ,让 OT 损失自适应地调节 RL 探索时的策略空间,从而让训练过程更加稳定。
IPOT 算法流程。
相较于其他基线模型,本文提出的 MLE+OTRL 模型在三个数据集上均实现了性能提升。
就 Rouge-1、Rouge-2 和 Rouge-L 三项评估指标而言,本文提出的模型在 gigaword 测试数据集上均获得最高分。
推荐:本文主要是结合了两种不同方法的优点,从而互补了对方的缺点,将一些简单的算法应用到深度学习算法中去,也可以获得一些很好的效果。
论文 6:MALA: Cross-Domain Dialogue Generation with Action Learning
作者:Xinting Huang、Jianzhong Qi、Yu Sun、Rui Zhang 等
论文链接:https://arxiv.org/pdf/1912.08442.pdf%EF%BB%BF
摘要:任务导向的对话系统的主要工作就是在多轮对话中提取出用户的需求,并完成其需求。过去的方法将整个任务看做一个整体来解决,使用生成模型直接将对话映射到对应的回答上,但实际上,这个任务是由两部分组成的——对话规划和外部实现。对话规划是指找到完成用户的需求的动作,而外部实现则是指将这些动作变成对话内容,这两个任务是会互相影响的,在优化动作选择时会影响到生成的对话的质量,所以直接将这两步合并成一步是不可行的。
为了完成上述任务,本文提出了一种三段式方法。首先,为了将潜在意图编码为语义隐动作,作者将一个损失定义为 VAE 重建的对话是否会像输入话语一样引起相似的状态转换。为了更有效地区分话语之间的潜在意图,作者还引入了一种比较两个系统话语之间结果状态转换相似性的正则化。本文提出的三步分别是对应有标注数据、无标注数据但可以迁移、专有领域三种情况下的模型训练方法。
MALA 三段式整体框架,即语义隐动作学习、跨域动作对齐和特定域动作学习。
完整模型的效果在两个实验中均取得 SOTA 表现。
推荐:本文主要贡献是通过将问题分解的更加精细、更加全面的模型来对问题进行解决。
论文 7:Gradient Boosting Neural Networks: GrowNet
作者:Sarkhan Badirli、Xuanqing Liud、Sathiya S. Keerthi 等
论文链接:https://arxiv.org/pdf/2002.07971.pdf
摘要:在本文中,来自普渡大学、加州大学洛杉矶分校、领英和亚马逊的研究者将浅层神经网络部署作为弱学习器,并提出一种新型梯度提升框架 GrowNet。在这种统一框架下,一般损失函数可以为分类、回归和排序学习提供具体示例。此外,合并一个完全正确的步骤又能够弥补经典梯度提升决策树的贪婪函数近似的缺陷。
在本文中,研究者提出的 GrowNet 模型在多个数据集的三项任务上均取得了 SOTA 结果,控制变量研究也阐明了每个模型组件和模型超参数的影响。
本文提出的 GrowNet 架构图。在第一个弱学习器之后,根据原始输入的组合特征和前一个弱学习器倒数第二层的特征来训练每个预测器。
在 Higgs Bozon 数据集上的分类结果,其中研究者展示了使用所有数据、10% 数据和 1% 数据三种情况下的分类结果。
在音乐发布年和出自加州大学尔湾分校机器学习库的片定位数据集上的回归结果。
在 NDCG@5 和 NDCG@10、微软排序学习和雅虎 LTR 数据集上的排序学习结果。
推荐:研究者进一步发现,由于这种新型梯度提升框架 GrowNet 能够实现更佳性能、更短训练时间以及更方便调整,所以在分类、回归和排序学习任务上是 DNN 的更好替代方案。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括NLP、CV、ML领域各10篇精选,并提供音频形式的论文摘要简介,详情如下:
本周 10 篇 NLP 精选论文是:
1. SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models.?
2. Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base.?
3. GameWikiSum: a Novel Large Multi-Document Summarization Dataset.?
4. HotelRec: a Novel Very Large-Scale Hotel Recommendation Dataset.?
5. Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping.?
6. The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding.?
7. Transfer Learning for Abstractive Summarization at Controllable Budgets.?
8. Identifying physical health comorbidities in a cohort of individuals with severe mental illness: An application of SemEHR.?
9. Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting.?
本周 10 篇 CV 精选论文是:
1. Recognizing Families In the Wild : The 4th Edition.?
2. Residual-Sparse Fuzzy $C$-Means Clustering Incorporating Morphological Reconstruction and Wavelet frames.?
3. Automated Labelling using an Attention model for Radiology reports of MRI scans .?
4. Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning.?
5. Model-Agnostic Structured Sparsification with Learnable Channel Shuffle.?
6. When Radiology Report Generation Meets Knowledge Graph.?
7. Directional Deep Embedding and Appearance Learning for Fast Video Object Segmentation.?
8. DivideMix: Learning with Noisy Labels as Semi-supervised Learning.?
9. Deep Learning-Based Feature Extraction in Iris Recognition: Use Existing Models, Fine-tune or Train From Scratch?.?
10. An interpretable classifier for high-resolution breast cancer screening images utilizing weakly supervised localization.?
本周 10 篇 ML 精选论文是:
1. Set2Graph: Learning Graphs From Sets.?
2. Algorithmic Recourse: from Counterfactual Explanations to Interventions.?
3. SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization.?
4. Learning Not to Learn in the Presence of Noisy Labels.?
5. Unifying Graph Convolutional Neural Networks and Label Propagation.?
6. Entity Context and Relational Paths for Knowledge Graph Completion.?
7. Query2box: Reasoning over Knowledge Graphs in Vector Space using Box Embeddings.?
8. Adaptive Region-Based Active Learning.?
9. Jelly Bean World: A Testbed for Never-Ending Learning.?
10. BatchEnsemble: an Alternative Approach to Efficient Ensemble and Lifelong Learning.?