如何培养数据科学人才
|
今年的研究分析了2019年8月至2020年4月之间524个数据泄露事件，涉及17个地区和17个行业的各种规模的组织机构。2020年数据泄露成本报告似乎和以前一样，没有很大的起伏，包括全球数据泄露总成本，2020年平均为386万美元，比2019年研究下降约1.5%，但基本与往年持平。2020年研究中发现并修复数据泄露的平均时间为280天，几乎与2019年的平均279天相同。 但有趣的是，将PubMed的全文添加到预训练文本(168亿字)中会让性能略有下降，直到预训练时间延长。但研究人员将这部分归因于数据中的噪声。 “在本文中，我们挑战了神经语言预训练模型中普遍存在的假设（就是前面说的「混合领域」预训练），并证明了从「无」开始对特定领域进行预训练可以显著优于「混合领域」预训练。「为生物医学NLP的应用带来了新的、最先进的结果，」研究人员写道，「我们未来会进一步探索特定领域的预培训策略，将BLURB基准扩展到临床或其他高价值领域。」
为了鼓励生物医学NLP的研究，研究人员创建了一个以BLURB基准为特色的排行榜。他们还以开源的方式发布了预先训练过的特定任务模型。 为了评估，他们又在最新的PubMed文档中生成了一个词汇表并训练了一个模型：1400万篇摘要和32亿个单词，总计21GB。在一台拥有16个V100显卡的Nvidia DGX-2机器上，培训了大约5天时间。这个模型具有62,500步长和批量大小，可与以前生物医学预训练实验中使用的计算量相媲美。 又一个自信，研究人员说他们的模型——PubMedBERT，是建立在谷歌的BERT之上。
那个牛掰掰的BERT？Google 在 2018 年提出的一种 NLP 模型,成为最近几年 NLP 领域最具有突破性的一项技术。 如此自信，研究人员是有证据的。 他们通过对生物医学NLP应用的影响，比较了训练前的建模和特定任务的微调。
第一步，他们创建了一个名为生物医学语言理解和推理基准(BLURB)的基准，该基准侧重于PubMed（一个生物医学相关的数据库）提供的出版物，涵盖了诸如关系提取、句子相似度和问题回答等任务，以及诸如是/否问题回答等分类任务。为了计算总结性分数，BLURB中的语料库按任务类型分组，并分别打分,之后计算所有的平均值。 近日，微软研究人员提出一种人工智能技术，针对生物医学NLP的领域特定语言模型预训练。并自信地说，通过从公开的数据集中编译一个「全面的」生物医学NLP基准，在包括命名实体识别、基于证据的医学信息提取、文档分类等任务上取得了最先进的成果。 他们认为，「混合领域」预训练？不就是迁移学习的另一种形式吗？源领域是一般文本(如新闻)，目标领域是专门文本(如生物医学论文)。
在此基础上，针对特定领域的生物医学NLP模型的预训练总是优于通用语言模型的预训练，说明「混合领域」预训练并不完美。 （编辑：吉安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
