一旦这些组件到位，更复杂的法学硕士（LLM）挑战将需要细致入微的方法和考虑，包括基础设施、能力、风险缓解和人才。
LLM的后端部署
使用传统机器学习（ML）模型进行推理通常涉及将模型对象打包为容器，并将其部署在推理服务器上。随着对模型需求的增加——更多的请求和客户需要更多的运行时决策（在延迟范围内更高的每秒查询数QPS）——扩展模型的方式仅需添加更多的容器和服务器。在大多数企业环境中，CPU能够很好地处理传统模型的推理。然而，托管LLM的过程则复杂得多，需要额外的考虑。
LLM由符号组成——即词的基本单位，模型利用这些符号生成类似人类的语言。它们通常基于先前生成的标记，以自回归的方式逐个标记进行预测，直到达到一个停止词。这个过程可能会变得相当复杂：标记化的方式因模型、任务、语言和计算资源而异。因此，负责部署LLM的工程师不仅需要具备基础设施经验，例如在云中部署容器，还需了解最新技术，以保持推理成本可控并满足性能服务水平协议（SLA）。
向量数据库作为知识库
在企业环境中部署LLM意味着必须建立向量数据库和其他知识库，并确保它们与文档存储库和语言模型实时协同工作，以产生合理、与上下文相关且准确的输出。例如，零售商可以利用LLM通过消息传递接口与客户进行对话。该模型需要访问实时业务数据的数据库，以获取有关最近交互、产品目录、对话历史、退货政策、市场促销和客户服务指南的最新信息。这些知识库越来越多地发展为向量数据库，以便通过向量搜索和索引算法快速检索查询。
使用硬件加速器进行培训和微调
LLM还面临一个额外的挑战：针对特定企业任务进行微调以获得最佳性能。大型企业语言模型可能包含数十亿个参数，这需要比传统ML模型更复杂的方法，包括具有高速网络接口的持久计算集群和用于训练及微调的GPU等硬件加速器。一旦训练完成，这些大型模型还需要多GPU节点进行推理，并启用内存优化和分布式计算。
为了满足计算需求，组织需要在专门的GPU集群或其他硬件加速器上进行更广泛的投资。这些可编程硬件设备可以定制，以加速特定计算，如矩阵向量运算。公共云基础设施在这些集群的构建中起着重要作用。
新的治理和防护方法
在模型的整个生命周期中，风险缓解至关重要。可观察性、日志记录和跟踪是MLOps过程的核心组件，有助于监控模型发布后的准确性、性能、数据质量和漂移。这对法学硕士同样重要，但还需考虑额外的基础设施层。
法学硕士可能会产生“幻觉”，偶尔输出错误的信息。组织需要实施适当的保护措施——例如执行特定格式或策略的控制——以确保LLM在生产环境中返回可接受的响应。传统机器学习模型依赖于定量统计方法进行根本原因分析，以解决模型不准确和生产中的漂移。而对于法学硕士，这一过程更加主观，可能涉及对其输出进行定性评分，并在带有预设护栏的API上运行，以确保得到可接受的答案。
本文来自作者[一只昆锐呀]投稿，不代表涵宇网立场，如若转载，请注明出处：http://nanjingyiyao.com/wiki/202409-951.html
评论列表（4条）
我是涵宇网的签约作者“一只昆锐呀”！
希望本篇文章《构建企业LLM的机器学习运营框架》能对你有所帮助！
本站[涵宇网]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 一旦这些组件到位，更复杂的法学硕士（LLM）挑战将需要细致入微的方法和考虑，包括基础设施、能力、风险缓解和人才。 LLM的后端部署 使用传统机器学习（ML）模型进行...