人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

1.SFT 监督微调
1.1 SFT 监督微调基本概念
SFT(Supervised Fine-Tuning)监督微调是指在源数据集上预训练一个神经网络模型,即…

让天下没有难Tuning的大模型-PEFT技术简介

最近,深度学习的研究中出现了许多大型预训练模型,例如GPT-3、BERT等,这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中,ChatGPT模型因…

使用Ollama和Go基于文本嵌入模型实现文本向量化

基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合…

程序员系统入门大模型的路径和资源,看这篇就够了

本篇文章面向对大模型领域感兴趣,又不知如何下嘴的程序员。
看一下围绕大模型的应用场景和人才需求:

Prompt工程:
基于提示词对大模型的使用,会问问题就行。…

关于垂类场景下RAG 的思考

写在前面
今天这篇文章不是分享某个技术点也不是分享论文,而是笔者抛砖引玉的提出一些垂类下关于RAG 的瓶颈和一些思考,然后广发英雄帖,感兴趣的读者都可以加入进来…

大模型和向量数据库怎么搭建 RAG 系统?Step by step 例子来了。

RAG 介绍
RAG是一种先进的自然语言处理方法,它结合了信息检索和文本生成技术,用于提高问答系统、聊天机器人等应用的性能。以下是RAG的详细…

万字详解,和你用RAG+LangChain实现chatpdf

像chatgpt这样的大语言模型(LLM)可以回答很多类型的问题,但是,如果只依赖LLM,它只知道训练过的内容,不知道你的私有数据:如公司内部没有联网的企业文档…

一文读懂:大模型RAG(检索增强生成)

RAG
检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。
理解不难,就是通过自有…

一文搞懂大模型RAG应用(附实践案例)

写在前面

大模型(Large Language Model,LLM)的浪潮已经席卷了几乎各行业,但当涉及到专业场景或行业细分领域时,通用大模型就会面临专业知识…

创业:大模型RAG系统三个月的开发心得和思考

软件工程、Java、Javascript,公众号:八一菜刀
1. 前言

自从和员外上家公司离职后,我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中,…

主打一个不花钱:国产大模型逆向API白嫖

仅限自用,禁止对外提供服务或商用,避免对官方造成服务压力,否则风险自担!
如今的优秀国产大模型在日常使用中完全可以独当一面。
而且都提供了基础的免费网页服务,但…

一文读懂「Lang Chain」_langchain

一、什么是LangChain?

LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建…

RAG一文读懂!概念、场景、优势、对比微调与项目代码示例

本文结合“基于 ERNIE SDK+LangChain 搭建个人知识库”的代码示例,为您讲解 RAG 的相关概念。

01
概念
在2020年 Facebook…

AI大模型应用随笔-RAG工作流应用搭建

AI大模型应用随笔-RAG工作流应用搭建
概要
RAG数据增强是我们解决大模型场景知识的缺失或回答不准确,还有最重要且常见的大模型回答幻觉问题的很有用的解决方法…

万字长文实录:360创始人周鸿祎讲企业如何拥抱AI(附PPT)

版权声明:文章内容和PPT来自网络公开资料,包括微信公众号“360公司”等。版权内容归原作者周鸿祎所有,本平台本文只做公开转载发表。
介绍
4 月 8 日, 3…

大模型应用的 10 种架构模式

作者 | 曹洪伟
在塑造新领域的过程中,我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说,已经司空见惯,设计模式已成为程…

2030年关于人工智能的五点预测

by 半导体产业纵横
2030年,人工智能领域将会有怎样的变化?Radical Ventures 的风险投资家Rob Toews,发布了关于2030年的5个…

淘天集团大模型应用十大挑战命题发布

( 本文阅读时间:15分钟 )
以AI人工智能为代表的新技术正在成为全球商业发展的新动能。淘天集团从去年开始,就已经在AI重点领域,展开和高校的一系列深入合作…

一文掌握大模型提示词技巧:从战略到战术

阿里妹导读
本文将用通俗易懂的语言,带你从战略(宏观)和战术(微观)两个层次掌握大模型提示词的常见技巧,真正做到理论和实践相结合,占领 AI 运用的先机。
一…

大模型推理优化实践:KV cache复用与投机采样

阿里妹导读
在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架…