发布日期：2024-12-12 14:27 点击次数：127
今天基础大模子边界呈现出「一超多强」的行业花样，OpenAI 依然占据着王座，但 Meta 的 Llama、谷歌的 Gemini、Anthropic 的 Claude，以及 Luma、Suno 等垂类模子「列强」，也在昔时一年里快速发展迭代福利姬 自慰，以致在细分边界结束了对 OpenAI 的弯谈超车。
最近，一个新玩家加入到这一阵营。刚刚驱逐的 re:Invent 2024 大会时期，亚马逊厚爱发布新一代 Nova 系列大模子，其中既有高性价比的实用模子，也有可用于定制模子蒸馏的「高性能模子」。同期还提议了 Any to Any 的新理念，要在来岁结束从多种模态输入到多种模态输出的开脱 AI 生成。
该模子的试验是由亚马逊云科技团队主导，算作全球最大的云计较平台和基础设施事业供应商，亚马逊云科技在 re:Invent 2024 时期发布了一系列触及 AI 基础设施、AI 应用开导、再到实用 AI 应用的手艺更新。
Sherry Marcus 博士是亚马逊云科技生成式 AI 科学总监，她辅导的团队主要负责 RAG（Retrieval-Augmented Generation，检索增强生成）Agent 和模子蒸馏等责任，同期她也至极熟谙新发布的 Nova 系列模子，以及 Amazon Q 等 AI 应用。
在 re:Invent 2024 时期，极客公园等国内媒体采访了 Marcus 博士，她向咱们共享了对于 Nova 的手艺特质、来日处所，以及她对模子蒸馏、排斥幻觉、Scaling Law 等行业热门话题的想考。
Sherry Marcus 丨来自：亚马逊云科技
以下是采访内容，由极客公园整理。
Sherry Marcus：我的团队主要负责一些具体的手艺责任，比如 RAG Agent 和模子蒸馏等。感谢群众今天的到来。
问：你们在推出 Q for Business 这个居品线时，是否达到了预期目标？
Sherry Marcus：你可以把它看作一系列基于 Amazon Bedrock 的应用法子，这些法子包括预界说的 RAG 模子等一系列才能。客户可以愚弄这些手艺来开导他们我方的应用法子。实质上，咱们仍是在客户渗入方面取得了可以的得益福利姬 自慰，况兼还提供了一些基于 Amazon Bedrock 的繁衍居品。咱们通过多种花样为客户提供惩处决议，具体花样取决于他们的数据需求。
问：对于 AI 幻觉问题，你们有哪些惩处决议？
Sherry Marcus：咱们有惩处决议搪塞 AI 幻觉问题。今天你可能在 Matt 的主旨演讲悦耳到了，咱们推出了「自动推理」才能（Automated Reasoning），以确保大讲话模子的正确性。现时，已有一些用户的实质应用案例，尤其是在安全和基础设施诞生等边界，咱们提供了关连惩处决议。
此外，咱们还有一个名为「险阻文语境打磨」（Contextual Grinding）的惩处决议，它确保大讲话模子在基础旨趣和着实信息的基础上判断输出内容的准确性，以减少 AI 幻觉。天然无法保证 100% 的排斥幻觉，但现时咱们的决议仍是在行业中处于跳动水平。
问：能否谈谈面向合营伙伴的 Bedrock Marketplace for Partner？
哥也搞Sherry Marcus：这个现时还不可对外发布，来日的主题演讲后才会有关连信息。不外，我可以肤浅先容一下。Bedrock Marketplace for Partner 允许模子供应商向平台提供他们的模子。客户可以在 Amazon Bedrock 上使用这些模子，以结束多种功能应用。它是 Bedrock 平台的一个策略复古，旨在为客户提供尽可能多的模子选择。
问：你们仍是有一些紧要的模子供应商加入了对吗？那么合营伙伴要是使用这个 Marketplace，是进行销售吗？具体是如何操作的？
Sherry Marcus：是的，合营伙伴是模子的开导者，若其他客户在 Bedrock 上使用了他们的模子，合营伙伴就能得回收益。这个 Marketplace 主要面向大讲话模子供应商，他们通过向 Bedrock 提供 API 来赚钱。咱们有多个 Marketplace，而你提到的这个 Marketplace 只针对大讲话模子的开导者。来日 Swami 的演讲会有更多具体信息。
问：要是在使用合营伙伴模子时，出现安全或其他问题，牵扯如何分散？
Sherry Marcus：咱们会共同摊派牵扯。大多半模子供应商在发布之前会进行微调，针对偏见和常见抨击行径进行驻扎，这是他们的「零层辞谢」。在模子参预 Amazon Bedrock 之前，咱们会对其进行诚实性、无偏性、踏实性和安全性测试。第二，针对使用这些模子的客户，咱们提供了一个名为「Guardrail」的事业，客户可以证明需求制定更高的安全方法，以致法规一些无法接头的敏锐话题。
问：当今许多用户皆会将 Nova 与 ChatGPT 等器具进行对比。你以为 Nova 与其他器具比较，有哪些私有之处？
Sherry Marcus：Nova 的设想接洽了客户需求的三个中枢点：低老本、低时延和高准确性。在构建 Nova 时，咱们到手地镌汰了老本，同期确保其准确性与其他模子相配，老本比其他模子低 75%。这对于商场来说至极有蛊惑力，因为许多参预商场的壁垒实质上即是老本。要是能镌汰老本，客户的购买意愿会更强。此外，Nova 是一个全新的系列，它与 Titan 不同，承袭了新的专科常识和学术积存，因此与竞争敌手比较，Nova 具有很强的竞争力。
问：对于 Nova 的升级有计划，你们有什么筹谋？与竞争敌手比较，如何保握升级速率？
Sherry Marcus：是的，我也夺目到大模子的更新速率至极快，比如从 LLAMA 2 到 LLAMA 3 仅用了三个月。Nova 的升级有计划是尽量与竞争敌手保握相似的速率，但亚马逊的花样有所不同。咱们至极注意与客户的合营，在推新功能和提高性能时，更多地依据客户在使用 Nova 后的响应来作念调整，这亦然咱们的不同之处。
问：Scaling Law 是否依然灵验？为什么？
Sherry Marcus：是的，Scaling Law 依然灵验。我认为这是一个数据问题。神经汇注越大，准确度就越高。这实质上和咱们所试验的数据集说合，语义数据的积存能让 Scaling Law 更灵验。数据开端阻挡丰富，也使得试验和微调大讲话模子变得愈加高效。尽管生成的数据可以用于试验，但要是用来试验一个大模子，其示寂会镌汰。
问：企业用户在使用大模子时，可能会遭遇数据质料不高的问题。如何更好地愚弄行业已有的模子支握客户开导袖珍模子？
Sherry Marcus：咱们建议使用「教学模子」（supervised teacher model）并承袭蒸馏手艺。通过这种方法，学生模子可以像教学模子雷同准确，尽管它每每基于行业特定的应用场景。蒸馏轻率匡助提高小模子的准确性，同期幸免使用过于广阔的数据集。
问：大模子会不会取代小模子，尤其是在 AI 居品性检边界？
Sherry Marcus：不会，我战胜两者会并存。在一些特定任务中，仍然会使用小模子，而大模子领路过 API 调用小模子来执行一些图形检索等任务。小模子对于特定的应用场景至极有匡助，可以镌汰老本、减少时延并提高性能。
问：Nova 的典型客户有哪些？
Sherry Marcus：现时，Nova 的用户掩饰平素，从资产 100 强的大企业到初创公司皆有。他们皆在使用 Amazon Bedrock。Nova 独特适用于需要推理才能的场景，举例金融行业的对话和信息汇总福利姬 自慰，触及从天然讲话到 SQL 的诊疗，以及背后的计较需求。