在周二举行的年度Build开发者大会上，微软公布了Azure云计算业务中Azure AI服务的几项新功能，重点是生成式人工智能。

新功能的范围从支持更大的数据库访问、自动将视频配音成多种语言，到快速训练大型语言模型以理解复杂的文档结构。本周，大部分创新和增强功能已经进入预览模式。

首先是Studio 

也许与大多数开发人员最相关的是，微软已经增强了其AI集成开发环境Azure AI Studio。

为了将在Azure上制作云应用程序的所有部分结合在一起，微软扩大了所谓的Azure Developer CLI，这是一组用于将应用程序部署到云上的模板命令。预览版中的一个特性允许开发人员“在辅助示例存储库中创建资源，并促进大型语言模型操作(LLM Ops)，作为持续集成/持续交付(CI/CD)解决方案的一部分，以加速代码到云的工作流。”

微软表示，Azure AI Studio的另一个即将推出的功能是微软所谓的“模型即服务”(Models as a Service)，程序员可以将一系列大型语言模型作为API调用，而无需管理模型的GPU基础设施。

快速理解复杂文档总共

微软还推出了一种名为“定制生成”的新型人工智能模型。这是一种利用模板定义文件结构，快速开发处理复杂文件的语言模型的方法。这种方法减少了开发人员需要制作的“标签”的数量，这些元数据教导人工智能模型关于文档中各个字段的信息。

微软表示:“该模型将使用大型语言模型(llm)来提取字段，用户只需要在模型没有得到正确字段时纠正输出。”

自定义生成将“很快”进入预览，微软表示。

大量附加功能旨在促进创建生成AI应用的多个部分，从“提示流”到跟踪和调试，再到Gen AI投入生产后的统计数据。

扩大RAG的使用

对于那些希望在自己的数据基础上建立大型语言模型的企业，既要细化查询结果，又要避免幻觉，该公司已经更新了Azure人工智能搜索。该服务基于所谓的检索增强生成(retrieve -augmented generation，简称RAG)，这是一种广泛的做法，即在数据库中查找提示的答案，而不仅仅是搜索最近的提示。

Azure人工智能搜索的新功能包括增强服务对存储为“向量”的结果进行评分的方式，这是适合llm的压缩数据表示。微软表示，这些变化“为客户提供了更多的选择和灵活性，以提高他们回答的准确性”。

该服务还增加了将图像(而不仅仅是文本)转换为向量的功能，使llm更容易检索图像以进行查询响应。

通过去年在Build大会上发布的数据分析平台Fabric，将Azure人工智能搜索服务与企业数据连接起来也会更容易。Fabric通过一个连接器，可以路由去年发布的oneLake数据湖中的数据。

微软强调了在Azure AI Search中使用大向量大小和扩展存储能力来扩展RAG功能的能力。

这些功能现在可以在Azure AI Search中预览。

Database增强

虽然RAG本身很有用，但是大多数公司需要结合使用传统的数据库检索方法来检索数据。负责Azure数据库的公司副总裁Shireesh Thota在一篇博客文章中写道:“随着人工智能应用变得越来越主流，无缝数据库管理至关重要。可信的解决方案可以无限自主地扩展，快速响应，并提供无与伦比的灵活性和可靠性，这将塑造编码的未来。”

出于这个原因，微软在其数据库产品中增加了对大型语言模型部署至关重要的特性:“矢量搜索”，它允许对内容的压缩表示进行索引并更容易地检索;“嵌入”是指在前端压缩语言模型的输入数据，使其能够以数据库熟悉的方式存储。

Azure Cosmos DB for NoSQL扩展了Azure Cosmos数据库来执行矢量搜索。微软表示，它使Cosmos成为第一个“在云规模上进行低延迟矢量搜索而无需管理服务器”的云数据库。

Azure Database for PostgreSQL in-database embedding更新了古老的PostgreSQL数据库的Azure实现，因此它可以自动将输入数据压缩成LLM可以理解的表示。

进入应用开发阶段 

一些新产品旨在标准化生成式人工智能应用程序的开发方式。它们包括“私人聊天机器人的模式和实践”，微软表示，这是一系列参考实现，使企业能够“创建可靠、经济高效且兼容的私人聊天机器人”。

聊天机器人模板现在已经可用了。

新的多峰性

没有新模型的开发者AI大会是不完整的。微软公布了一年前推出的“Phi”系列语言模型的新成员。Phi被设计得很小，也就是说，参数的数量不是很大，或者是神经“权重”，这样它们就可以应用于“边缘”设备，比如PC。新版本的Phi-3-Vision现在支持对图像执行查询。

微软表示:“Phi-3-vision有42亿个参数，支持一般的视觉推理任务和图表/图形/表格推理。”

除了Phi的更新，微软还宣布了OpenAI最新的大型语言模型gpt - 40的可用性，该模型于上周在Azure AI Studio中以预览形式推出。工作室还获得了OpenAI上个月推出的GPT-4“具有视觉功能的Turbo”。微软表示，具有视觉效果的GPT-4“为人工智能应用程序引入了一个新的维度，可以创建跨越文本、图像等内容的内容，以获得更丰富的用户体验。”

“这与Microsoft Azure AI企业聊天(以前称为On Your Data)与检索增强生成(RAG)集成的新功能一起，标志着多模式AI应用程序时代的开始，为开发人员提供了构建更直观和交互式解决方案的工具。此更新现已普遍可用。”

定制护栏

微软正在推出工具，允许组织调整对生成式人工智能施加的护栏类型。“自定义类别”允许开发人员创建他们选择的过滤器来指定内容限制。微软表示:“这个新功能还包括一个快速选项，使您能够在一小时内部署新的自定义过滤器，以防止新出现的威胁和事件。”

预览版中的另一个功能是“提示屏蔽”，旨在阻止针对大型语言模型的越狱攻击，这通常可以通过简单地以一种聪明的方式制作提示来实现。

这两项功能都是微软Azure AI内容安全产品的一部分。

演讲

继谷歌的Gemini和OpenAI的gpt - 40等模式之后，微软更加重视赋予程序声音。预览版中的两项功能包括分析工具，用于调查音频和视频数据，例如情绪分析，以及视频配音服务，可以自动将视频翻译成多种语言。