超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4
文章标签:
AI新闻资讯

8月23日重磅消息,OpenAI官方正式宣布推出备受期待的GPT-3.5 Turbo微调功能,并更新了相应的API。这一新功能让企业和开发人员有了更多的自主权,能够结合自有数据,构建专属的ChatGPT,为用户创造独一无二的产品体验。据早期测试数据显示,GPT-3.5 Turbo的微调版本在特定任务上的性能甚至可以匹敌甚至超越了GPT-4的基本功能。

超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4

微调功能解释

微调功能是如何运作的呢?大家可以将它理解为一种在预训练模型的基础上深度训练的方法。首先,在大规模文本数据上对一个大型语言模型(比如GPT-3.5)进行预训练,然后,通过使用特定任务的数据集(比如法律、医疗领域的数据),进一步训练模型,使其适应特定业务场景。在这个过程中,微调会对模型参数进行微小的调整,以提升在特定任务上的性能。

微调步骤

1. 准备训练数据

在使用微调功能前,首先需要准备并上传训练数据。这些数据应该是多样化的演示对话,与实际输出中的对话相似。每个示例都应与OpenAI的聊天完成API格式相同,其中每条消息都有角色、内容和可选名称。

超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4
超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4

2. 训练新的精调模型

上传训练数据后,您可以使用OpenAI SDK开始训练一个新的精调模型。训练过程的时间取决于模型和数据集的大小,可能需要几分钟或几小时。

超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4

3. 使用您的精调模型

经过微调的模型可以投入使用了。在某些情况下,您的微调模型可能需要几分钟才能准备好处理请求。如果遇到请求超时或找不到模型名称的情况,可能是因为模型仍在加载中,您可以稍后再次尝试。

超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4
超越期待:GPT-3.5 Turbo微调功能在特定任务上挑战GPT-4
除了创建微调作业外,开发者还可以列出现有作业、检索作业状态或取消作业

支持微调的模型

支持微调的模型主要包括gpt-3.5-turbo-0613、babbage-002和davinci-002。其中,gpt-3.5-turbo-0613被推荐作为大多数用户的首选,因为它在结果和使用便利性方面表现出色。不过,如果您正在迁移一个经过精细调整的旧模型,也可以考虑其他选项。

微调用例

那么,什么样的场景适合使用微调功能呢?从官方给出的指南来看,微调更适用于需要设置风格、提高输出可靠性、纠正错误、处理边缘情况,以及执行难以在提示中明确表述的新技能或任务等情况。换句话说,当“展示而非直接指示”更为合适时,微调将会发挥出色的效果。

(详细说明文档:https://platform.openai.com/docs/guides/fine-tuning)

微调VS嵌入式检索

在文章中还强调了微调与嵌入式检索之间的不同。嵌入式检索适用于大型文档数据库,能够为模型提供相关上下文和信息。而微调则专注于构建特定行为模式的模型,能够在特定任务上展现出更高的专业性和定制性。

微调成本

微调的成本主要分为初始训练成本和使用成本。训练成本为每1000个标记0.008美元,使用输入的成本为每1000个令牌0.012美元,使用输出的成本为每1000个令牌0.016美元。这些成本应该在使用微调功能前被充分考虑。

综上所述,GPT-3.5 Turbo的微调功能为企业和开发人员提供了一个强大的工具,让他们能够根据自身需求定制专属的ChatGPT,提供更加精准、个性化的服务。这一功能的推出标志着语言模型领域的又一次重要进展,未来我们可以期待更多创新和应用的涌现。

分享到:
0
0

发表回复

猜你喜欢
近期文章
生成式AI看起来很美,ROI怎么算
利用生成式AI推动创新 美国本田这样做
东方Project-个人AI绘画合集-8(更新至2024-2-14)
AI绘画(动物科普)—兔狲
12.28乾坤AI日报 — 2023年度十大科技名词发布
近期评论
ai-world发表在
AI赛博机车—借助SD技术赚取第一桶金
mulei77发表在
AI赛博机车—借助SD技术赚取第一桶金
An Vũ( CEO AGBIG GROUP)发表在
12.25乾坤AI日报 — 苹果正购买新闻采集权用于训练生成式 AI