36 氪获悉,AI 应用开发者平台「BentoML」已于日前完成 900 万美元种子轮融资,本轮融资由 DCM 领投,Bow Capital 参投,融资金额将用于扩充产品体系和提升产品水平。
「BentoML」是一家专注于 AI 应用的开发者平台,成立于 2019 年,总部位于旧金山。核心团队主要由具有硅谷技术创业经历的工程师组成。「BentoML」致力于为开发者和企业客户提供构建、部署和扩展 AI 应用程序的能力,其开源产品已经支持全球范围内数千个企业及组织的核心 AI 应用,并受到了全球 AI 应用开发者的青睐。「BentoML」于近日发布其 Serverless 云平台 BentoCloud,将更好的服务于全球 AI 开发者,进一步满足缩减开发时间和成本的刚性需求。
(资料图片)
" 友好的开发者体验,能让更多的开发者将 AI 融入到他们的产品中去。"
「BentoML」创始人、CEO 杨超予曾是 Databricks 早期员工,他告诉 36 氪," 未来一段时间内,缩短开发周期、降低开发门槛,将会成为开发者和企业通过 AI 来获得竞争优势的重要因素。"
值得一提的是,「BentoML」自研的 LLM(大语言模型)开放平台「OpenLLM」,在全球最大开源项目社区 GitHub 上,仅上线一周就成为了 " 趋势项目 "。
GitHub - Trending从模型部署切入,让 AI 开发 " 开箱即用 "
通过把所需的基础设施进行模块化处理,和对于常见机器学习框架及推理引擎的支持,「BentoML」发布了其自研 Serverless 云平台「BentoCloud」,提供了一套简单易用的 API 和灵活的架构,使得开发者可以更容易地选用若干预训练好的模型去开发不同类型的 AI 应用。目前,「BentoML」主要优势有三:
首先,「BentoML」允许开发者使用一套编程接口部署任何策略,这也是其作为新一代开发者平台有别于其他框架的特点之一。从低延时的 API 接口、针对长推理任务的近线计算,到分布式的批处理和流处理等,开发者只需要写一次代码去描述 AI 应用的逻辑。
其次,「BentoML」对主流模型进行了开箱即用的封装和优化,目前支持包括大语言模型(LLM)、生成式 AI、计算机视觉、自然语言处理(NLP)等在内的大部分细分领域 AI 应用开发。
第三,基于 BentoML 开源框架的多年积累,「BentoCloud」的计费方式是在业务高峰期自动扩容,在高峰过后缩容为零,确保开发者只为使用的算力付费,比起租用 GPU 来说大幅降低了研发与业务成本。
图源:BentoML成立之初,「BentoML」从模型部署切入,主要面向专业的 AI 开发者。如今,随着更多商业机会的出现,「BentoML」也正在向着更广泛的 AI 应用场景进发。
比如,生成式 AI 的爆发,导致从去年开始整个 AI 领域涌入了一大批 AI 应用开发者,其中很多人的经验和技术背景主要来自于产品开发、移动应用开发等。为了调用 AI 的能力,他们需要在自己不擅长的领域进行大量的学习和实践。
" 这群新用户是今天市场的发展让我们看到的最大的改变。"
杨超予坦言,将 AI 开发的门槛降低到普通开发者的手中," 这个想法早就有了 "。去年夏天,「BentoML」团队还在预言,未来会出现一个 AI 应用开发工程师的职位。直到今年 2 月,新闻开始每天冲击着整个科技圈的视野,随之而来的是周围做软件开发的人开始询问:如果我想做一个怎样的模型,一个怎样的应用,我应该怎么做?
在越来越多的声音中,杨超予感受到,变革真的在发生。
对于市场驱动下的新用户来说,「BentoML」发布了专属的框架帮助用户自己去探索或组合 AI 开发中的各种解决方案。比如聊天机器人、OCR、图像检索、文本内容搜索等常用 AI 场景。
简化产品路径,建立 MLOps 标准
除了以 AI 为核心体验的产品服务之外,目前,开发基于 AI 的产品服务也已经成为了企业创新和提高生产效率的首要任务。
" 企业对人工智能应用的需求正在到达一个拐点。"
然而,由于构建 AI 应用的开放标准尚未建立,尽管 AI 的目的是作用于更高效的生产和更好的用户体验,但复杂的需求和生产环境仍然让如今的 AI 开发变得缓慢、昂贵、且门槛极高:尽管目前开源社区中已经存在如 LLaMA、Stable Diffusion、LangChain 等的开发组件和预训练模型等,但开发者仍然需要花费大量的时间和精力才能达到生产环境所需的稳定性和可扩展性。
" 那么多企业都在收集数据,我们都知道 AI 是挖掘数据价值的必经之路,目前即使是成熟的科技公司,在内部解决方案上也会面临巨大的挑战。"
比如,内部开发,仅是 AI 服务开发阶段就要平均写 3000 行代码和 10 多个组件。总体来看,「BentoML」能够将效率提升 15 倍。
事实上,无论是让模型作用于数据分析,还是面向消费市场的 AI 体验,MLOps(Machine Learning Operations,机器学习运维)目前需要 " 行业里最好的工程师 ",而不是每个公司都能招到顶尖人才去完成复杂系统的开发。即使具备了以上条件,AI 基础设施还是会成为企业花时间和资源最多的地方。可以说,以更简单的方式进行 AI 开发与生产,不仅仅是以开箱即用的解决方案匹配当下风头正盛的技术方向,也是为当下每一家还在收集数据、观望 AI 的公司提前做出一个开源标准。
无论是去年的低代码、无代码趋势,还是时下热门的 MLOps、LLMOps,人类技术发展的要义就是不断简化和降低新兴技术的门槛。而对于 AI 和大模型应用开发来说,将差异化和竞争壁垒依托于数据本身,模型训练交给数据科学家,其他的步骤在标准化的工业级生产框架下快速完成,才是最高效的。
" 今年一月,很多人认为企业要基于自己的数据去做大语言模型,训练成本需要上百万美金,很少有公司能负担起。然而我们相信,随着训练成本下降,更多的企业将来一定可以去使用自己的大语言模型。没想到的是,仅三个月后,fine-tune 大模型的成本,可以下降到几百美元。"
更早的投入,意味着每天都在见证崭新的未来,也意味着一个更扎实的开源社区基石。如今,「BentoML」在社区内拥有上千名开发者用户,支撑着埃森哲、Riot Games、SoundHound、LINE 等不同领域一线企业的 AI 应用及服务。市场方面,「BentoML」目前的市场活跃度优先分布于北美、东亚、欧洲市场,已经得到了来自企业和开发者的广泛响应。
置身 AIGC 的浪花中,AI 技术革命所带来的创造与体验价值,已经成为了一个长期命题。当市场回归理性,AI 应用与服务会从如今的新奇体验变为各行各业不可或缺的副驾驶。届时,平静海面的下方,将会是一个丰富而有条不紊的开发生态系统。
而随着越来越多的开发者投身 AI,像「BentoML」一样深耕于 MLOps 基础设施的 " 开拓者 ",也将进一步思考,如何服务于不同需求、不同场景、不同技术背景下的开发者,为 AI 开发的成本和效率之战给出更好的回答。
-----------------------
"随着 GPT4 等大型语言模型(LLM)的蓬勃兴起,软件工程师正在以前所未有的速度和规模借助各类开源基础模型创建 AI 原生应用程序。 DCM 对「BentoML」为帮助 AI/ML 开发者创建和运营 AI 服务所做的工作感到兴奋,"DCM 中国创始合伙人、董事合伙人林欣禾(Hurst Lin)表示," 借助全新推出的 BentoCloud 产品,「BentoML」将以最大的可靠性和可扩展性交付 AI 产品,成为所有软件开发者的首选 MLOps/LLMOps 平台。"
标签:
下一篇:最后一页