区块链安全咨询公司曲速未来表示：过去几年来，新推出的文本生成器模型GPT-3在加密货币社区引起了热议。一些人表达了对GPT-3的好奇心，另一些人却有些极端，声称加密货币社区应该对此感到恐惧。
如此热烈的反响难免会让人觉得有些奇怪，因为GPT模型已经不新鲜了。过去一年来，机器学习社区都在积极讨论这一话题。首个GPT模型的研究发表于 2018年6月。之后，2019年2月，GPT-2模型发布，最后就是3个月前的GPT-3模型。
什么是GPT-3？
GPT-3是一个庞大的自然语言理解（NLU）模型，使用多达 1750 亿个参数来处理多项语言任务。因此，GPT-3成了全球最大的NLU模型，超过了微软的Turing-NLG模型及其前身GPT-2模型。
GPT-3模型能够执行多项语言任务，例如，机器翻译、回答问题、语言分析以及文本生成。GPT-3生成的伪造文本甚至能够以假乱真，引起了新闻媒体的注意。
这与加密货币有什么关系？想象一下，如果有人能定期生成虚假的新闻稿来影响小币种的价格，听起来是不是很可怕？但是这并不是GPT-3最主要的功能。
GPT-3是一种基于语言的模型，因此在文本数据集合的基础上运行。从加密货币市场的角度来看，这种功能虽然很酷，但是肯定没那么有趣。我们真正应该关注的是GPT3背后的技术。
GPT-3背后的秘密
GPT-3是在深度学习架构Transformer的基础上开发的。Transformer架构的主要创新之处是“注意力机制”概念。注意力机制通常用来解决Seq2Seq问题。所谓的Seq2Seq问题，指的就是将一个序列（单词、字母、数字）处理后，输出另一个序列的问题。这类问题常见于文本生成、机器翻译和回答问题等语言智能场景。
每当你看见一个Seq2Seq场景，你都应该将它与编码器-解码器架构联系起来。编码器会捕获输入序列的语境，并将它传递给解码器，由解码器生成输出序列。通过识别输入中应该“注意”的关键部分，注意力机制解决了传统神经网络架构的局限性问题。
想象一下从西班牙语到英语的机器翻译场景。通常来说，解码器会将西班牙语文本输入到一个名为“虚构语言”的中间表示内，然后利用这个中间表示将其翻译成英语。传统的深度学习架构需要编码器和解码器之间持续进行反馈，导致效率极其低下。
从概念上来说，注意力机制会观察输入序列，并在每个步骤中决定输入序列中比较重要的部分。例如，在机器翻译场景中，注意力机制会聚焦于那些编码器“应该注意的”单词，以便执行翻译。
支持GPT-3模型的Transformer架构是传统的编码器-解码器架构，通过插入注意力块来提高效率。注意力块的作用是完整查看全部的输入和当前输出，推断相关性，从而优化最终输出的生成过程。
由Transformer架构生成的模型可以经过海量数据集的训练，并实现高效并行化。果不其然，在论文发表后，各公司竞相构建超大模型来处理不同的语言任务。
当初，包含15亿个参数的GPT-2模型震惊了全世界。短短一年之内，这一纪录先是被微软的Turing-NLG打破，又被包含1750亿个参数的GPT-3碾压。简而言之，就Transformer架构而言，大即是好。
第一代Transformer架构聚焦于语言任务。但是部分公司最近已经发表了将Transformer应用于图像分类的相关研究。有人或许认为此举只是在尝试伪造图像。但是这一研究的意义远不止如此。
在没有大型已标记数据集的情况下，图像造假对于简化图像分类模型的训练来说至关重要。已经有人尝试将Transformer架构应用于金融时间序列数据集，希望可以改进量化交易策略。
Transformer和加密货币
既然我们已经介绍了Transformer架构和GPT-3的背景知识，不妨再来思考一下文章开头的问题：GPT-3真的不利于加密货币吗？
当然了，GPT-3模型确实可以生成虚假新闻，从而影响币价，这并非玩笑。但是我认为，就目前的情况而言，GPT-3不会威胁到加密货币行业。更有趣的是，Transformer架构可能对下一代加密货币智能解决方案产生影响。以下是一些值得考虑的场景：
交易策略。显然，如果事实证明Transformer架构可应用于金融数据集，这类架构可能会对加密货币的量化策略产生重大影响。总的来说，深度神经网络为量化交易开拓了新的领域。从线性回归和决策树等基础机器学习模型来看，量化基金正在研究复杂的深度学习策略。
作为原生数字资产，加密货币最适合采用量化策略。循环神经网络（RNN）和卷积神经网络（CNN）等技术在量化投资领域大受欢迎，而且在密码学技术中发挥了很好的作用。就像在语言分析方面那样，Transformer架构可能优于CNN和RNN，尤其是在将“注意力”集中到一个数据集的某些部分（例如，2020年3月的比特币崩盘），以及处理海量交易（例如，区块链交易）方面。
区块链分析。相比现有方法，Transformer架构可以更加高效地检测区块链中的模式。Transformer架构的优势之一是，能够将注意力集中到输入集的特定部分，并推断潜在的输出。想象这样一个场景，我们在分析比特币挖矿交易或交易所的流量，试图推断订单簿采用的模式。Transformer架构似乎更能胜任这个任务。
去中心化的Transformer架构。目前，人们在努力将Transformer模型应用到SingularityNet等去中心化的AI架构中。此举将拓展Transformer模型的应用场景。迄今为止，GPT-3等Transformer模型都是大公司的特权。只有大公司的AI实验室才有足够的数据和资源来构建并运行如此大规模的神经网络。去中心化AI为我们提供了另一种方案，可以在基于激励机制运行的去中心化网络中训练、执行并监控Transformer架构。
就像那些已经在去中心化基础设施中运行的神经网络架构那样，我们很快就能看见GPT-3之类的模型运行在去中心化AI平台上。
GPT-3和Transformer架构是深度学习发展史上的巨大突破。在接下来的几年，我们可能会看到Transformer架构渗透进深度学习的方方面面，而且这种影响力可能会扩散至金融市场。加密货币会成为受益者。
没错，GPT-3确实令人瞩目，但是没必要惧怕它。相反，我们应该利用这些AI技术，将加密货币变成史上最智能的资产。
本文内容由曲速未来安全咨询公司整理编译，转载请注明。 曲速未来提供包括主链安全、交易所安全、交易所钱包安全、DAPP开发安全、智能合约开发安全等相关区块链安全咨询服务。
