eSentire提供私密与安全的生成式AI交互

by Aishwarya Subramaniam Dustin Hillard and Ilia Zenkov on 21 JUN 2024 in Amazon机器学习 Amazon SageMaker客户解决方案生成式AI永久链接评论

关键要点

eSentire利用AWS的生成式AI能力，推出AI Investigator，帮助用户通过自然语言查询安全数据，实现快速高效的安全调查。AI Investigator不仅提高了客户的数据处理效率，还显著缩短了安全运营中心( SOC) 分析师的工作时间。文章描述了eSentire如何使用Amazon SageMaker构建私有和安全的生成式AI交互。

eSentire是一家行业领先的管理检测与响应MDR服务供应商，保护着全球超过2000个组织及其数据、用户和应用程序，覆盖超过35个行业。这些安全服务帮助客户预测、抵御并从复杂的网络威胁中恢复，防止恶意攻击的干扰，并改善他们的安全态势。

在2023年，eSentire着手寻找新方法，通过持续改善安全调查和客户沟通的质量，以提供差异化的客户体验。为此，eSentire构建了AI Investigator，这是一个自然语言查询工具，让客户能够通过AWS的生成人工智能 (AI) 能力来访问安全平台数据。

在这篇文章中，我们分享了eSentire如何利用Amazon SageMaker构建AI Investigator，以向客户提供私密和安全的生成式AI交互。

AI Investigator的优势

在推出AI Investigator之前，客户需要联系eSentire的安全运营中心(SOC) 分析师，了解和进一步调查他们的资产数据及相关威胁案例。这对于客户和eSentire的分析师来说都涉及到大量手动工作，需要提出问题并在多个工具中搜索数据以找出答案。

加速器苹果版

eSentire的AI Investigator使用户能够通过自然语言完成复杂查询，整合来自每个客户自身安全遥测以及eSentire的资产、漏洞和威胁数据网的多个数据源。这有助于客户快速无缝地探索他们的安全数据，加速内部调查。

将AI Investigator内部提供给eSentire的SOC工作台，还加速了eSentire的调查过程，提升了多遥测调查的规模和效率。LLM模型通过整合来自eSentire安全专家和安全数据的知识，增强了SOC调查的质量，同时减少了调查时间。目前，超过100名SOC分析师正在使用AI Investigator模型来分析安全数据并提供快速调查结论。

解决方案概述

eSentire的客户对敏感数据的安全和隐私控制有严格要求，这需要一个不与外部大语言模型(LLM) 供应商共享数据的架构。因此，eSentire决定使用Llama 1和Llama 2基础模型构建自己的LLM。基础模型FM是经无监督预训练的LLM，使用了大量文本语料库。eSentire对AWS中可用的多个FM进行试验，但通过Hugging Face在SageMaker中访问Meta的Llama 2 FM的简便性以及其许可结构使Llama 2成为明显的选择。

eSentire在其Amazon简单存储服务 (Amazon S3) 数据湖中存储了超过2 TB的信号数据。他们还使用了数 GB的人工调查元数据对Llama 2进行监督微调。这一步通过使用安全专家标记的数据如问答对和调查结论来更新基础模型。

eSentire在多个层面上使用SageMaker，从而促进了其端到端流程：

使用方式描述SageMaker笔记本实例广泛用于启动GPU实例，提供灵活性，按需调整高性能计算。使用CPU实例进行数据预处理和后推理分析，使用GPU进行模型LLM训练。数据集成SageMaker笔记本实例与eSentire的AWS环境无缝集成，安全地将海量数据直接从AWS源Amazon S3或Amazon RDS移动到SageMaker笔记本，而无需额外的基础设施。实时推理端点提供托管其自定义自训练LLMs所需的基础设施。与Amazon Elastic Container Registry 和SageMaker模型的集成，使得启动LLMs变得轻松且一致。同时，通过Terraform和GitHub将这一切全部自动化，SageMaker生态使其成为可能。

以下图表可视化了架构图和工作流。

该应用程序的前端通过Amazon API Gateway访问，使用边缘和私有网关。为了模拟类似人类调查员的复杂思维过程，eSentire设计了一套链式代理动作系统。该系统利用AWS Lambda 和Amazon DynamoDB 协调一系列LLM调用。每次LLM调用都在前一个调用的基础上进行，从而形成一系列交互，共同产生高质量的回应。这种复杂的设置确保了应用程序的后端数据源的无缝集成，从而为客户查询提供量身定制的响应。

构建SageMaker端点时，会通过Amazon ECR共享包含模型工件和Docker图像的S3 URI。

eSentire为客户提供私密安全的生成式人工智能互动，使用Amazon SageMaker 机器学

在其概念验证中，eSentire选择了配置在MLG5 2XL实例中的Nvidia A10G Tensor Core GPU，以实现性能和成本的平衡。对于参数数量显著更多的LLMs，需要更强的计算能力进行训练和推理任务时，eSentire使用了配置有四个GPU的12XL实例。这是因为LLM的计算复杂性和所需内存量会随着参数数量的增加呈指数增长。eSentire计划利用P4和P5实例类型来扩展其生产工作负载。

此外，捕获AI Investigator输入和输出的监视框架对于提供LLM交互的威胁狩猎可见性至关重要。为了实现这一点，该应用程序与开源的eSentire LLM Gateway项目集成，以监控与客户查询、后端代理动作和应用程序响应的交互。该框架通过提供安全监控层来检测恶意注入和投毒攻击，同时支持基于日志的用户活动合规性，增强了对复杂LLM应用程序的信心。LLM网关还可以与其他LLM服务如Amazon Bedrock集成。

Amazon Bedrock使您能够私密并交互式地自定义基础模型，且无需编码。起初，eSentire专注于使用SageMaker训练定制模型。随着战略的发展，他们开始探索更广泛的基础模型，评估内部训练的模型与Amazon Bedrock提供的模型之间的差异。由于其无服务操作，Amazon Bedrock为基准测试提供了理想环境，并为工作负载管理提供了经济高效的解决方案。这对eSentire尤其有利，因为客户查询间歇性发生，使得无服务成为持久运行SageMaker实例的经济替代方案。

从安全的角度来看，Amazon Bedrock也不与任何模型提供者共享用户的输入和模型输出。此外，eSentire还在其模型中应用了定制的NL2SQL保护措施。

结果

以下截图显示了eSentire的AI Investigator的输出示例。如图所示，应用程序对自然语言查询做出了响应，工具能够关联多个数据集并呈现结果。

eSentire首席技术官Dustin Hillard表示：“eSentire的客户和分析师每月都会提出数百个安全数据探索问题，这通常需要数小时才能完成。AI Investigator目前已初步推出给100多名客户和100多名SOC分析师，提供自助即刻回应复杂的安全数据问题。eSentire的LLM模型正在为客户和分析师节省成千上万的小时。”