本地部署LLM
什么是本地部署LLM？
本地部署LLM（Self-Hosted LLM）是运行在由企业自行控制的基础设施上的大型语言模型，而不是完全依赖公共AI平台。
与将每一个AI请求发送到外部云端服务不同，您的企业可以在自己的服务器上部署开源 LLM，并建立一个更加受控的私有 AI 环境。
对于处理机密文件、内部知识、客户资料、源代码、财务信息或其他敏感商业数据的企业来说，这种方式可能非常有用。
根据您的基础设施和配置，本地部署LLM可以在企业内部网络中运行，让您的团队能够更好地控制数据、访问权限以及AI的使用方式。
我们帮助马来西亚企业开始部署本地部署LLM，而无需自行处理整个技术设置过程。
在您的基础设施上运行AI
在自己的服务器或私有基础设施上部署开源 LLM，而不是完全依赖公共AI平台。
让您的数据掌握在自己手中
在自己的环境中处理AI工作负载，并更好地控制企业数据的访问、存储和管理方式。
围绕您的业务构建AI
建立一个可以根据企业文件、知识、工作流程和未来 AI 应用进行定制的私有 AI 环境。
为什么企业开始寻找本地部署AI？
ChatGPT等公共AI工具以及其他基于云端的AI服务方便且功能强大。然而，它们并不一定适合每一家企业。
一些企业需要更多地控制AI数据在哪里处理、谁可以访问这些数据，以及AI环境应该如何进行管理。
敏感数据
将机密文件和企业信息保留在更加受控的 AI 环境中。
数据控制
控制您的 AI 工作负载在哪里运行，以及企业信息如何被访问。
私有基础设施
在自己的基础设施上部署AI，而不是完全依赖外部AI平台。
降低依赖
使用开源LLM，而不是完全依赖单一的第三方 AI 服务商。
定制 AI
根据您的文件、知识、工作流程和业务运营，打造私有 AI 解决方案。
未来发展
从本地部署 LLM 开始，并进一步扩展至 RAG、自动化、AI Agent 以及其他应用。
我们可以帮助您部署什么？
我们的本地部署 LLM 服务专注于在企业提供的基础设施上部署开源 AI 模型。
开源 LLM 安装
根据您的硬件和业务需求，在您的服务器上安装并配置合适的开源大型语言模型。
私有AI环境
帮助您建立私有 AI 环境的技术基础，让您的企业能够管理 AI 的访问、基础设施和处理过程。
LLM运行环境设置
根据您的部署需求，配置所需的 LLM 运行环境及相关组件。
AI界面设置
根据项目需求，我们可以帮助配置用户友好的界面，让您的团队能够与本地部署的AI模型进行互动。
企业系统集成
您的本地部署LLM也可以成为未来 AI 应用的基础，例如文件搜索、内部知识助手、工作流程自动化、聊天机器人和AI Agent。
本地部署LLM可以解决什么问题？
本地LLM并不只是把一个AI模型运行在服务器上。
真正的价值在于将私有AI与您的企业目前所面对的问题连接起来。
内部文件搜索
员工可以通过自然语言与内部文件互动，无需手动搜索文件夹、PDF和电子表格。
企业知识助手
围绕企业内部知识、SOP、政策和文件建立私有 AI 助手。
私有客户支持
建立AI驱动的客户支持解决方案，同时对底层环境和企业信息保持更大的控制权。
内部AI助手
让员工使用AI助手来协助写作、摘要、研究、文件处理以及其他重复性工作。
AI驱动的工作流程自动化
将本地部署LLM与自动化工具结合，为企业内部业务流程建立智能工作流程。
敏感业务应用
处理机密信息的企业，可以考虑将 AI 工作负载保留在自己控制的基础设施中，具体取决于自身的安全和合规要求。
我们如何帮助您开始
1. 了解您的需求
首先，我们会了解您希望通过 AI 实现什么目标。
例如，您可能希望建立私有聊天机器人、内部知识助手、文件搜索系统、AI 自动化，或者只是为员工建立一个本地 LLM 环境。
2. 评估您的服务器
您提供运行 LLM 所需的服务器或基础设施。
我们会评估现有的 CPU、RAM、存储空间、GPU 以及其他基础设施要求，以确定哪些模型和部署方案是实际可行的。
更强大的模型并不意味着一定能带来更好的企业解决方案。合适的模型取决于您的工作负载、响应速度、用户数量以及可用硬件。
3. 选择合适的开源 LLM
目前有许多开源及开放可用的 LLM，它们具有不同的硬件要求、功能和使用场景。
我们会根据您的业务需求帮助您选择合适的模型，而不是简单地安装最大的模型。
4. 安装和配置 LLM
我们会在您的服务器上安装所需组件，并根据您的使用需求配置 LLM 环境。
5. 配置访问权限
我们会根据您的部署需求，帮助建立适当的 AI 环境访问方式。
这可以包括内部网络访问、用户访问权限以及您的企业环境所需要的其他控制措施。
6. 测试部署
我们会测试系统，确保模型能够正常运行，并确认部署在您的基础设施上能够达到预期效果。
7. 交付与下一步
本地部署 LLM 准备完成后，我们会将配置好的环境交付给您，并可以进一步讨论您下一阶段的 AI 发展计划。
这可以包括 RAG、文件智能、工作流程自动化、AI Agent 或与现有企业系统进行集成。
谁需要本地部署LLM？
对于希望对AI环境拥有更大控制权的企业而言，本地部署LLM尤其有用。
处理敏感信息的企业
适合处理机密客户数据、合同、财务信息、内部文件或专有信息的企业。
专业服务行业
律师事务所、会计事务所、咨询公司以及其他专业服务企业，可以在不将所有企业信息放入公共 AI 工具的情况下使用 AI。
制造业与运营
制造企业可以将私有 AI 应用于 SOP、维护信息、内部文件以及运营知识。
IT与科技企业
科技企业可以使用本地AI处理内部知识、编程辅助、文件管理或私有开发环境。
计划长期采用AI的企业
企业无需将AI视为另一个独立的软件订阅，而是可以建立一个未来能够支持多种AI应用的AI环境。
本地部署LLM与公共AI的比较
正确的解决方案取决于您的企业需求。
公共 AI
公共 AI 平台通常更容易开始使用，并且几乎不需要企业自行管理基础设施。
它们非常适合一般生产力、写作、研究以及日常 AI 工作。
本地部署LLM
本地部署LLM可以让企业对 AI 所运行的基础设施拥有更大的控制权。
当数据控制、内部部署、定制、系统集成或基础设施所有权非常重要时，它可能更加适合。
不确定哪一种适合您？
您并不一定需要为所有事情使用本地部署LLM。
我们可以帮助您评估实际使用场景，并判断公共AI、私有云、本地部署AI或本地部署LLM哪一种更适合您的企业。
为什么选择 Origin Alpha Solutions？
以企业需求为核心
我们不会只是安装一个LLM，然后把服务器交给您。
我们会先了解您真正想要实现的目标，然后根据这些目标确定所需要的技术。
专注于开源技术
我们帮助企业探索可以部署在自身基础设施中的开源LLM技术。
马来西亚本地支持
我们为正在探索AI、数字化转型和自动化的马来西亚企业提供服务。
从您现有的基础设施开始
已经拥有服务器？
我们可以先评估您现有的基础设施是否适合，而不是让您立即投资额外硬件。
为未来的AI项目做好准备
本地部署LLM可以成为未来更先进AI解决方案的基础，包括 RAG、文件智能、AI Agent 和工作流程自动化。
选择 LLM 只是 AI 项目的一部分。
更大的挑战，是了解这项技术应该如何融入您的企业。
在 Origin Alpha Solutions，我们从企业需求和实际实施的角度来处理本地部署 AI。
关于本地部署LLM的常见问题
Q1
什么是本地部署 LLM？
本地部署 LLM 是部署在由企业自行控制的基础设施上的大型语言模型，而不是完全由公共 AI 服务商托管。
它允许企业在自己的服务器或私有基础设施上运行开源 LLM。
Q2
你们会提供运行 LLM 的服务器吗？
不会。您的企业需要提供服务器或计算基础设施。
我们提供 LLM 安装、配置和部署服务。
Q3
可以在我们现有的服务器上安装开源 LLM 吗？
可以。我们可以先评估您现有的服务器硬件，并判断它是否适合您计划使用的 LLM 和工作负载。
所需硬件取决于模型、量化方式、用户数量以及预计的工作负载。
Q4
本地部署 LLM 可以在没有互联网的情况下运行吗？
部分本地部署 LLM 部署可以在完成所需软件和模型文件的安装后，在私有或隔离环境中运行。
具体设置取决于您的基础设施、安全要求以及计划进行的系统集成。
Q5
本地部署 LLM 比 ChatGPT 更安全吗？
不一定。
本地部署可以让企业对基础设施和数据处理拥有更大的控制权，但系统安全性仍然取决于服务器、网络、身份验证、软件以及 AI 环境的配置和维护方式。
Q6
本地部署 AI 适合马来西亚企业吗？
可以，尤其适合需要对 AI 处理、内部数据或基础设施拥有更大控制权的企业。
是否适合仍然取决于您的业务需求、现有硬件、安全政策以及计划使用的 AI 应用。
Q7
我们可以使用公司的文件搭配本地部署 LLM 吗？
可以。本地部署 LLM 可以结合 RAG（检索增强生成）等技术，建立能够处理企业内部文件和知识来源的 AI 应用。
文件存储、检索以及访问权限控制架构，应根据您的实际需求进行设计。
Q8
你们可以安装哪些开源 LLM？
合适的模型取决于您的硬件和使用场景。
不同的开源及开放可用 LLM 对内存、处理能力、运行速度和功能都有不同的要求。
我们可以帮助您评估合适的选择，而不是单纯根据模型参数规模来选择。
Q9
运行 LLM 一定需要 GPU 服务器吗？
不一定。
一些较小的 LLM 可以在基于 CPU 的系统上运行，而较大的模型通常能够从更强大的 GPU 或其他适合的加速硬件中获得更好的性能。
我们可以评估您现有的基础设施，并推荐实际可行的部署方式。
Q10
除了 LLM，你们还可以帮助我们建立其他 AI 解决方案吗？
可以。
本地部署 LLM 可以成为其他 AI 解决方案的基础，例如私有 RAG、内部 AI 助手、文件智能、工作流程自动化和 AI Agent。
我们可以根据您的业务需求，帮助您确定下一步应该如何发展。
准备好实现企业流程自动化了吗？
您不需要自己摸索整个本地部署AI的设置过程。
告诉我们您目前的服务器、AI 需求，以及您希望AI系统处理的信息类型。
我们可以帮助您评估最适合您企业的方案。
使用您自己的基础设施部署本地部署LLM。
