6.2万字报告剖析「智能写作」全貌，从落地产品看NLP商业化突破

机器之心产业研究 机器之心 昨天

机器之心原创
作者：李雯、樊晓芳
近年来字节跳动、百度、阿里巴巴、美团点评、微软等各大互联网巨头纷纷加注智能创作/写作，并已在自有资讯、内容平台、电商、办公文书等业务场景中广泛应用；同时达观数据、智搜、妙笔智能、文因互联等 NLP 领域领先创业公司扎根营销文案、文本业务自动化、金融数据分析等场景，让 NLP 技术产生更显著的商业价值。

「智能写作」让我们看到论文中 SOTA 的 NLP 模型也可以被快速应用到工业场景中，辅助或直接成为人类的生产力。因此我们针对这一技术应用领域，搜集了数百余篇论文、第三方市场报告及国内外新闻报道，并采访了多位国内智能写作公司与产品线的产品经理或技术负责人，撰写了 6.2 万字报告，从基础概念到技术应用到产品案例，系统性剖析并总结了「智能写作」的技术应用现状、商业价值与未来发展潜力。
语言是人与人交流的工具，也是网络用户与互联网连接的方式。传统人类写作是以表达和传递为目的的对主观和客观世界的记录，从日常生活到资讯、法律、办公、金融等行业都有广泛应用。进入到互联网时代，信息爆炸带来了个人、企业、政府对互联网语言文本处理的强大需求；同时，提升资讯生产速度、延展其覆盖面的需求也不断增加。技术人员开始探讨如何让机器辅助人类更高效、更准确地处理和分析信息，随着自然语言处理（NLP）技术的不断发展，让机器生成有价值的信息也成为可能。
现今，「机器写作」也已不仅仅是「可利用机器来完成写作流程中的程式化环节」，近年自然语言处理模型性能的不断突破，促使其从规则、模板写作发展到了以神经网络模型为核心的「智能机器写作」，从辅助记者创作逐步走向自动化写作，应用场景也从模板化的资讯类数据报告，深入到分析报告、诗歌创作、长故事文本创作、广告营销文本写作等更丰富、复杂的内容形式，贯穿信息监管、素材采集、文本编辑、文本创作、修改优化到敏感信息审核等多项业务环节。
机器之心希望通过本报告《智能写作：人工智能商业应用的制高点——智能写作中人工智能技术的应用现状及趋势展望》，展示「智能写作」产业全貌，为传媒、企业服务、电商、广告营销、金融等行业信息化与技术人员及从业者系统性展示 AI 技术应用可能性，同时通过对「智能写作」领域头部公司代表产品的技术应用思路的详尽剖析与所对应细分市场竞品的网罗式盘点，为自然语言处理技术领域的研究研发人员、软硬件开发工程师、产品经理，提供技术研发、产品设计、产品商业化策略层面详实的调研参考。
报告目录
部分应用案例
5.3 美团点评：信息流摘要式文本写作
主要产品：信息流文本的创意优化
针对信息流的落地场景，主要有三个功能：

  • 可以针对某条分发内容自动摘要生成标题；

  • 能生产有关单个商户的一句话核心卖点描述；

  • 生成完整的内容页包括标题及多条文案的短篇推荐理由，从而实现线上点击转化率的优化

盈利模式及盈利情况：尚未商业化
应用案例及效果：
抽成式标题生成在 CTR/CVR/点击曝光量、人工检验通过率、效率优化都累计获得了 10% 以上的提升。生成式方向探索过程中，对低质内容的标题生成，在线上获得了接近 10% 的效果提升。
实际应用展示（来源：网络公开信息）
技术思路及主要技术：
1）信息流标题生成：实际应用时，通过抽取和生成的协同使用来实现，主要方式是以业务效果为导向的偏工程化方法（生成内容即作为新增的候选集之一，参与整体的预估排序），另外一个是我们正在探索的一种 Copy 方法（对 Copy 和 Generate 概率做独立建模，其中重点解决在受限情况下的「Where To Point」问题。
  • 抽取式标题思路及技术模型：源数据在内容中台完成可分发分析后，针对具体内容，进行系统化插件式的预处理，包括分句拼句、繁简转换、大小写归一等，并进行依存分析；而后将所有可选内容作质量评估，包括情感过滤、敏感过滤等通用过滤，以及规则判别等涉及表情、冗余字符处理与语法改写的二次基础优化；在召回模块中，通过实体识别+TF-IDF 打分等方式来评估候选内容标题基础信息质量，并通过阈值召回来保证基础阅读体验，从而避免一些极端的 Bad Case；最后，针对候选标题直接做句子级别的点击/转化率预估，负责质感、相关性及最终的业务目标的优化。整个流程的基础模型是 Bi-LSTM＋Attention 模型（输入层是 PreTrain 的 Word Embedding，经过双向 LSTM 给到 Attention 层，Dropout 后全连接，套一个交叉熵的 Sigmod，输出判别），模型既可以对整句序列做双向语义的建模，同时可以通过注意力矩阵来对词级进行加权。在它的基础上，尝试添加过 ELMo 的 Loss，在模型的第一层双向 LSTM 进行基于 ELMo Loss 的 Pre Train 作为初始化结果，在线上指标也有小幅的提升。而在原文受限问题上，则通过深度模型来表征深层的语义，辅以更多的特征工程来表征用户能感知到的浅层信息，如属性、Topic 等。在效率上，采用了谷歌的自注意力的机制来替换 RNN-LSTM 的循环结构，解决原文表征训练效率和长依赖问题。

2 大技术关键点——在标题创意度衡量上，重点对语义＋词级的方向上来对点击/转化率做建模，同时辅以线上 E&E 选优的机制来持续获取标注对，并提升在线自动纠错的能力；在受限上，抽象了预处理和质量模型，来通用化处理文本创意内容的质控，独立了一个召回模块负责体验保障。并在模型结构上来对原文做独立表示，后又引入了 Topic Feature Context 来做针对性控制。从而在降低「标题党」概率的同时提高内容相关性。
  • 生成式标题思路及技术模型：为了保证控制和泛化性，初期将标题剥离原文独立建模，通过 Context 衔接，这样能引入更多的非标数据，并在逐步完成积累的情况下，才开始尝试做原文的深度语义表示。除了尝试目标单独建模和结合原文建模的过程，在描述的泛化性方向也做了不少的尝试，比如尽可能地描述广而泛主题。诸如「魔都是轻易俘获人心的聚餐胜地」，因为只面向上海的商户，内容符合聚餐主题，泛化能力很强，但仍然不能作为一个普适的方案解决问题。这个功能主要应用的是 RNN-Base 的 Seq2Seq 模型的整体结构。Encoder 端使用的数据包括基于原文和商户理解的主题表示和原文的双向语义表示，输出给注意力层。技术团队借鉴了 NMT 的一部分研究思想，调整了 Transformer 的结构，在原结构上额外引入了 Context Encoder，并且在 Encoder 和 Decoder 端加入了 Context 的 Attention 层，来强化模型捕捉 Context 信息的能力。Decoder 端生成文本时，通过注意力机制学习主题和原文表示的权重关系，从而生成文案。
  • 业务导向的文本生成目标：营销类文本的评价模式是业务相关的点击率，但是这与语言模型最终产出最小化 Word 级别的交叉熵 Loss 的目标不一致，所以在具体落实时，通过三个方向解决问题：第一是在 Context 中显式地标注抽取式模型的 Label，让模型学习到两者的差异；第二是在预测 Decoder 的 Beam Search 计算概率的同时，添加一个打分控制函数；第三则是在训练的 Decoder 中，建立一个全局损失函数参与训练，类似于 NMT 中增加的 Coverage Loss。考虑到稳定性和实现成本，最终尝试了第一和第二种方式。
  • 标题 E&E 机制：采用一种 Epsilon Greedy 策略来持续获取标注数据，并提升在线自动纠错的能力。这个策略类似经典的 Epsilon 算法，区别是引入创意状态，根据状态将 Epsilon 分成多级。目的是将比较好的创意可以分配给较大概率的流量，而不是均分，差的就淘汰，以此来提升效率。在初期优化阶段，这种方式发挥了很大的作用。具体根据标题和图片的历史表现和默认相比，将状态分成 7 档，从上到下效果表现依次递减，流量分配比例也依次降低，这样可以保证整个系统在样本有噪音的情况下实现线上纠偏。
2）商户文案生成：文案生成和标题生成能够通用整体的生成模型框架，最大区别是由文案的载体"商户"所决定。为了保证产出的文本的准确性和质量，在输出端需要进行解码控制。一是通过构建机制来让模型自己学习到目标，二是在 Decoder 的 Beam Search 阶段动态地加入所需的控制目标。主要有卖点控制、风格控制、多样性控制控制等控制方法。
  • 卖点控制：在 Hard Constrained 方面，整理了重要的卖点和实体如地域、品类等，在目标理解过程中直接加入 Context。对于 Soft Constrained，通过卖点的共现计算一个简单的条件概率，并将卖点依此条件概率随机添加进 Context 中，从而让模型通过注意力学习到受限关系。最后在 Decoder fuction 部分，新增了一个 Hard&Soft Constrained 的匹配打分项，参与最终的概率计算。
  • 风格控制：实现方法和卖点控制非常相似，只是风格其实是通过不同内容之间的差异来间接进行实现的。比如大众点评头条、PGC 类的内容与 UGC 类的的写作风格，就存在极大的差异。内容属性的差异可作为一个 Context 的控制信号，让模型捕获。
  • 多样性控制：自然语言生成模型选取输出文本时通常优先考虑概率最大的序列，并不考虑多样性，而多样性又是自动生成营销性文本最需要解决的问题。对此，大众点评直接对全局结果进行优化，在预测时把一个聚合页 Context 放到同一个 batch 中，batch_size 即为文案条数，对已经生成序列上进行实体重复检测和 n-gram 重复检测，将检测判重的加一个惩罚性打分，这个简单的思想已经能非常好的解决多样性问题。
其他同类产品概述（营销行业）：
营销行业的人工智能写作产品主要应用在 SEO 广告、信息流广告、邮件广告及电商产品介绍中，相比资讯类产品而言，营销类产品更需要解决的是内容个性化的问题，实现根据地点、用户特点、品牌形象的个性化，以及对文章进行多种风格的改写就成了主要的方向。对这一领域的探索集中爆发在 2018 年，但是国内对营销类写作产品展开研发的主要是与电商相关的上市互联网公司如阿里、京东、大众点评，百度。百度最先开始结合人工智能技术与大数据，开发生成方案的工具，但是在两年的尝试后转向了辅助资讯写作。而国外对营销广告工具开展研发的则主要是第三方广告及技术服务商，这类公司大多都获得了投资并有了比较完善的盈利模式。
SEO 广告领域，Articoolo 的产品使用户能针对一个主题生成多篇不同风格的文章，主要模式是进行原创撰写或改写，除了能为有 SEO 广告和内容营销需求的客户定制服务之外，还针对个人用户提供按篇销售的收费模式。Dentsu Aegis Network 的项目 Leo 专门根据谷歌广告系统针对性地生成 SEO 文案，在具体案例中，可以实现单次点击成本降低 30%-42% 的情况下，广告点击率提高 3 到 10 个百分点。2018 年创立的微思写作除了基础的纠错、预测写作功能，也针对网站 SEO 优化、软文推广、自媒体创作等领域研发了智能仿写工具，对文章进行重写。蓝色光标子公司捷报数据研发的妙笔机器人，可以在 1 秒内改编出数千篇新闻稿，保证中心内容不变并且根据不同传播渠道特性变换风格，自动插入相关图片、商品链接、名词解释和延伸阅读。通过搜索引擎的审核标准和评判原则对内容和结构进行改进、改编出内容标题与原文相似度极低的 seo 稿件，提高稿件在搜索结果中的排名，从而提高发布稿件的访问量。并且能监督品牌传播效果，针对内容阅读互动、网站流量、粉丝量的增长，以及用户关注或流失的原因、促成留存转化的关键点等等进行分析，不断调整策略。除此之外，该机器人还能「蹭热点」，由舆情机器人判断新闻的调性是正面还是负面，从而选择采纳与否，再对分析主体、匹配图片、名词解释、定义标签等常用传播点进行分析，在这之后，妙笔推荐出关键信息点匹配的热点新闻，并对原文内容的每个段落匹配进行分析，在合适位置插入热点新闻信息，从而成功「蹭」到热度。
Phrasee 专注解决电子邮件营销优化的问题。一键点击就可以生成数百万种像人类语言的、符合品牌要求的文本变体。该产品会查看广告创作者在过去 12 个月里使用的所有营销文案的表现，通过 NLG 处理技术，着眼于数千种语言特征。它的神经网络知道广告受众会对什么样的情感、文体学和词汇的组合做出反应，从而识别出带来更好结果的个别策略。该公司通过「定制语言模型」来适应特定品牌的形象，以保证文本和品牌形象是相关的，并且支持多国语言生成。主要行业包括零售，旅游和度假，电信和金融服务。三年里，为 Virgin Holidays 活动生成的人工智能电子邮件主题栏的表现一直好于人工撰写的主题栏。电子邮件营销渠道收入大幅增长，相当于数百万英镑，用于 Gumtree 网站后，点击量增加 35%-50%，帮助 superdry 增加 26% 点击率，帮助 wowcher 降低 31% 的单人成本，帮助 Dominos 实现了惊人的 753% 的投资回报率，此前该公司利用 Phrasee 的 ai 生成的电子邮件主题行，实现了 57% 的电子邮件打开率增长。近期，该公司又针对 Facebook 和 Instagram 的信息流模式推出了新工具。
Persado 主要关注在线广告。已经进行了 4000 次活动，平均转化率提高了 49.5%。他们利用世界上最全面的营销语言知识库，拥有超过 100 万个标记和评分的 25 种语言的单词，短语和图像。通过将单词与数据相结合，Persado 将营销创意分解为六个关键要素，然后对数千种潜在的消息组合进行实验，以生成效果最佳的内容。可以实现 25 种语言生成 AI 驱动的广告素材、情感语言个性化、品牌定制、针对广告分发平台的定制、风格定制、付费社交广告的即时文本和图片生成、用户情绪洞察和反应数据、广告效果报告和广告管理等，涉及行业包括金融服务、旅行和酒店、电信技术和消费者服务。目前用户超过 250 家，平均点击率提升 68％，平均转换率提升 76％。目前获得融资 6600 万美元。
京东和阿里对文案的尝试都集中在各自电商平台上的商品文案优化上，试图通过为内部商家提供高效高质量的智能文案，来降低商家创意成本，提升平台内容质量。京东研发了李白写作和莎士比亚两个产品，李白写作通过关键字输入可一秒生成上万条相关文章或者素材语句，为电商平台输出高质量的商品特点介绍，详细说明，促销语，导购文章，评测文章等内容，打造丰富的营销生态体系，也能为资讯平台量身定制不同类型的文章，如快报，评测，知识百科等，还具备写诗能力。被应用到京东发现好货，会买专辑、千人千面、7Fresh 等频道的内容写作。据悉，在李白写作上线短短数月，已取得每日发稿超千篇、累计引入订单超过万单，为发现好货、会买专辑等频道带来了数千万 GMV 的销售业绩。莎士比亚系统在借鉴传统 NLG 和语言模型方法的基础上，基于该平台自身在商品标签和搜索数据库层面积累的大数据，从句子层面做结构解析、训练模型和语言生成，从而能够一秒钟「吐」出千条文案，并根据用户不同的需求自主选择各类行文风格。且可以根据用户矫正行为，实现机器自己优化算法。比如自动「记忆」用户选择及未选择的文案，在下次类似检索时进行优先级排序，也会记录用户的修改以改善下次的文案质量。2019 年，京东整合了此前莎士比亚和李白京东两大 AI 智能文案系统，并增加了对视频内容智能创作的支持，形成了覆盖文案、图像、视频处理等多种内容创作的综合性智能创作平台「AI 闪电」。
阿里发布的「AI 智能文案」产品顺利通过了图灵测试，该产品结合淘宝、天猫的海量优质内容与自然语言算法，主要聚焦于商品文案，已经实现了三项核心能力——高度模拟人写文案（提供描述型、特价型、逗趣型等多种文案写作风格）、自由定义字数、实时在线样本学习。其背后的技术逻辑，是基于深度神经网络的 sequence2sequence 模型，融合了注意力机制、位置编码、copy 机制等，实现对商品逐次生成文案。具体的生成流程是，阿里妈妈的 AI 智能文案首先从上亿几乎覆盖了淘宝所有类目和商品的文案样本中，清洗出数百万规模的高质量训练样本。再通过对位置信息进行编码，改变每个词生成时的概率分布，实现长度可控。最后，结合质量控制模型，拟合人对生成结果的判断。随着数据的不断积累，质量控制模型对结果的判断会更加准确，同时可以更好地指导生成网络的迭代。以最基础的短标题文案为例，阿里妈妈「AI 智能文案」的生产能力已达到 1 秒 20000 条。
报告如何获取？
本报告《智能写作：人工智能商业应用的制高点——智能写作中人工智能技术的应用现状及趋势展望》是机器之心产业研究团队推出的《「智周」人工智能技术应用报告系列》之一。
本系列报告全部被收录于人工智能领域专业信息及数据平台「机器之心Pro」。

访问「机器之心Pro」，认证成为专业用户，即可免费获取报告。


pro.jiqizhixin.com
PC访问，体验更佳
    阅读原文