● 来自 AI 生态体系各个畛域的 150 余家分工火伴嵌入了 NIM 推理微办事，将企业级 AI 使用的安排时候从数周收缩至几分钟
● NVIDIA 开发者规划会员可收费应用 NIM 来举行研讨、开辟和测试
COMPUTEX—2024 年 6 月 2 日—NVIDIA 于本日发布，环球 2,800 万开发者现可下载 NVIDIA NIM™——一种推理微办事，经由过程经优化的容器的方式供应模子——以安排在云、或事情站上。借助 NVIDIA NIM，开发者可以或许轻松地为 copilots、聊天等构建天生式 AI 使用，所需时候从数周收缩至几分钟。
这些新的天生式 AI 使用正变得愈来愈庞杂，平日需求应用拥有分歧性能的多个模子来生成文本、图象、视频、语音等。NVIDIA NIM 供应了一种简略、标准化的体式格局，将天生式 AI 添加到使用中，显著提高了开发者的事情服从。
NIM 还可以使企业可以或许最大限度应用其根底办法投资。比方，相较于未应用 NIM 的情况下，在 NIM 中运转 Meta Llama 3-8B 时，后者在加快根底办法上可发生高达 3 倍的天生式 AI token。这使企业可以或许大幅进步服从，应用沟通的计较根底办法来天生更多的效果。
包孕 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家手艺分工火伴正在将 NIM 集成到他们的平台中，以加速特定畛域使用的天生式 AI 安排，比方 copilot、代码助手和数字人虚构抽象。从 Meta Llama 3 开端，在 Hugging Face 上现已开端供应 NIM。
NVIDIA 创始人兼首席执行官黄仁勋暗示：“每一个企业都但愿在其运营中融入天生式 AI，但并不是每一个企业都领有特地的 AI 研讨团队。NVIDIA NIM 可被集成到肆意平台中，任何处所的开发者都可以造访，而且能够在肆意环境中运转——它正在助力科技行业将天生式 AI 遍及到每个企业构造。”
经由过程 NVIDIA AI Enterprise 软件平台，企业能够应用 NIM 在出产体系中安排 AI 使用。从下个月开端，NVIDIA 开发者规划的会员能够收费应用 NIM，在其抉择的根底办法上举行研讨、开辟和测试。
NIM 容器是预构建的，以加快模子安排，可用于 GPU 加快推理，此中包孕 NVIDIA CUDA® 软件、NVIDIA Triton 推理服务器™和 NVIDIA TensorRT™-LLM 软件。
在 ai.nvidia.com 网站上，跨越 40 个 NVIDIA 及社区模子可作为 NIM 端点举行体验，此中包孕 Databricks DBRX、google开放模子 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。
开发者当初能够从 Hugging Face AI 平台上，造访 Meta Llama 3 模子的 NVIDIA NIM 微办事。经由过程基于 NVIDIA GPU 的 Hugging Face 推理端点，只要点击几下，开发者就可以在其抉择的云平台上轻松地造访和运转 Llama 3 NIM。
企业能够应用 NIM 来运转用于天生文本、图象和视频、语音以及数字人的使用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微办事，研讨职员能够构建新的蛋白质布局，加快药物研发。
数十家医疗公司正在一系列使用中安排 NIM，以便在手术计划、数字助手、药物研发和临床实验优化等一系列使用中为天生式 AI 推理供应能源。
借助全新的 NVIDIA ACE NIM 微办事，开发者能够在客户办事、长途医疗、教导、游戏和文娱等使用中，轻松构建和操纵栩栩如生的交互式数字人。
包孕 Canonical、Red Hat、Nutanix 和 VMware(已被博通收买)在内的平台提供商已在开源 KServe 或企业解决计划方面支撑 NIM。AI 使用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在安排 NIM 来支撑天生式 AI 推理。
当先的 AI 对象和 MLOps 分工火伴(包孕亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases)也已将 NIM 嵌入到其平台，使开发者可以或许经由过程优化推理来构建和安排特定畛域的天生式 AI 使用。
环球体系集成商和办事托付分工火伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔征询办事(TCS)和威普罗(Wipro)曾经建立了 NIM 才能，以赞助环球企业倏地开辟和安排生产型 AI 计谋。
企业简直能够在任何处所运转支撑 NIM 的使用，包孕在环球根底办法制造商思科、戴尔科技、慧与、遐想和超微，以及服务器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证体系™ 上运转。NIM 微办事也已集成至亚马逊云科技、google云、Azure 和 Oracle 云根底办法中。
行业领导者 Foxconn、和硕、Amdocs、劳氏公司、 ServiceNow 和西门子应用 NIM 来增强天生式 AI 使用，触及制造业、医疗、金融办事、批发、客户办事等畛域：
● Foxconn——作为环球最大的电子制造商，Foxconn 正在应用 NIM 开辟针对特定畛域的大言语模子(LLM)，并将这些模子嵌入到其 AI 工场的种种外部体系和流程中，用于智能创造、聪明都会和智能电动汽车。
● 和硕——这家台湾电子创造公司正在将 NIM 用于 Project TaME，这是一个本地的混杂专家(MoE)模子，旨在推进各行各业开辟本地化的 LLM。
● Amdocs——这家为通讯和媒体公司供应软件和办事的环球当先供应商正在应用 NIM 运转客户计费 LLM，该模子显著降低了 token 本钱，将准确性提高了 30%，并将耽误降低了 80%，从而完成近乎及时的呼应。
● 劳氏公司——这家《财产》杂志 50 强家居装璜公司正在将天生式 AI 用于种种用例，比方，该零售商正在应用 NVIDIA NIM 推理微办事来晋升员工和客户的体验。
● ServiceNow——这个用于营业转型的 AI 平台于往年早些时间发布成为首批接入 NIM 的平台提供商之一，赞助客户完成倏地、可扩大且更具本钱效益的 LLM 开辟和安排。NIM 微办事曾经集成到 Now AI 多模态模子中，可供添加了 ServiceNow 的天生式 AI 性能 Now Assist 的客户应用。
● 西门子——作为专一于工业、根底办法、交通和医疗畛域的环球科技公司，西门子正在将其运营手艺与 NIM 微办事整合，用于车间 AI 事情负载。另外，西门子还应用 NIM 为其 Machine Operators 构建了一个当地安排版本的 Industrial Copilot。
可用性
开发者可在 网站上收费试用 NVIDIA 微办事。企业可通过在 NVIDIA 认证体系和当先的云平台上运转的 NVIDIA AI Enterprise 来安排出产级 NIM 微办事。从下个月开端，NVIDIA 开发者规划的会员将可以或许收费应用 NIM 来举行研讨和测试。