![](https://img2.baihezi.com/pub7qxn/1028/67/1906291705-1.avif)
人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
1.SFT 监督微调
1.1 SFT 监督微调基本概念
SFT(Supervised Fine-Tuning)监督微调是指在源数据集上预训练一个神经网络模型,即…
![](https://imgx.baihezi.com/imgx/1420/1165/1/14wZwpmLy9lN2UGZwkjN1QTYyUWO3YjYlRmM1Y2YjdDO5jV2YhJmMi1iM29SbvNmLn1WaopnLzMWaw9yL6MHc0RHa.jpg?size=thumb)
让天下没有难Tuning的大模型-PEFT技术简介
最近,深度学习的研究中出现了许多大型预训练模型,例如GPT-3、BERT等,这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中,ChatGPT模型因…
![](https://imgx.baihezi.com/imgx/879/714/0/45nNXbwBXY902byZmJn5Gc9QXbm9Fe39DM0YzLnZnW2IWdnhFSqB1cVhzNXZGWVhVMjlGVkNWdINUZoljUiR3TXJnQSZjeKZjYpF2YpZ3DTBR1VFZ0NilmNYdHNBJ1YpxGM5oFNHh2Q1oWRXBlYtRTORZmeXZDSj9yZuB3X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.png?size=thumb)
使用Ollama和Go基于文本嵌入模型实现文本向量化
基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合…
![](https://imgx.baihezi.com/imgx/849/1209/0/89wZwpmLy91MmNTYkVGNkVDMjZWM4kTYlRGZlN2YxQWO5zMTNwQDM20iM29SbvNmLn1WaopnL0MWaw9yL6MHc0RHa.jpg?size=thumb)
程序员系统入门大模型的路径和资源,看这篇就够了
本篇文章面向对大模型领域感兴趣,又不知如何下嘴的程序员。
看一下围绕大模型的应用场景和人才需求:
Prompt工程:
基于提示词对大模型的使用,会问问题就行。…
关于垂类场景下RAG 的思考
写在前面
今天这篇文章不是分享某个技术点也不是分享论文,而是笔者抛砖引玉的提出一些垂类下关于RAG 的瓶颈和一些思考,然后广发英雄帖,感兴趣的读者都可以加入进来…
![](https://imgx.baihezi.com/imgx/60/690/0/71wZz1GcwFWPt9mcmZyZuBXP01mZfh3d-=ADN28yZJdkVCtWQrFWaiVUYyRXdMJHVhJzcSFnaal1UiNzV1REVjBzSoZzYpREbwsmWLp33MFtkYhBVTCxEVjlWRh5mNz40ZKNmU2k1N4JUdJ9WVPRjbQpFWz1USF9yZuB3X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.png?size=thumb)
大模型和向量数据库怎么搭建 RAG 系统?Step by step 例子来了。
RAG 介绍
RAG是一种先进的自然语言处理方法,它结合了信息检索和文本生成技术,用于提高问答系统、聊天机器人等应用的性能。以下是RAG的详细…
![](https://imgx.baihezi.com/imgx/200/1145/2/18nNXbwBXY902byZmJn5Gc9QXbm9Fe39DM0YzLBRDV5hkTqN2TIlTRGlUUjlmZV9UONFWaQ9GWrtUQjlGMml1NlljNn5mVrllailGWPZ3TcEJDVmtGWSpGShZXYhlWUlBlUNVlczh2MldXWi9mUwYEeiBDSFhEZo9yZuB3X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.png?size=thumb)
万字详解,和你用RAG+LangChain实现chatpdf
像chatgpt这样的大语言模型(LLM)可以回答很多类型的问题,但是,如果只依赖LLM,它只知道训练过的内容,不知道你的私有数据:如公司内部没有联网的企业文档…
![](https://imgx.baihezi.com/imgx/2124/1029/0/92wZwpmLy9lNmJmZwkTY1IGZ1UjM1MzNxEDN5UjZ0IWO53YmYihTMj1iM29SbvNmLn1WaopnLzMWaw9yL6MHc0RHa.jpg?size=thumb)
一文读懂:大模型RAG(检索增强生成)
RAG
检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。
理解不难,就是通过自有…
![](https://imgx.baihezi.com/imgx/1757/1007/2/90nVGcq1DdtZ2X4d3PwQjNvEUS40GMyVHM1EEdBVkSMBzMyYEOyBHVCpVQWRXMJB3TZFGTVp3M3hTYpBnNxEzbhl2MilWO3R4URihHb2oVOTFFVycDNzkHMKVHdiFnUxVEcONUUNdzajlGbN9yZwp2X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.jpeg?size=thumb)
一文搞懂大模型RAG应用(附实践案例)
写在前面
大模型(Large Language Model,LLM)的浪潮已经席卷了几乎各行业,但当涉及到专业场景或行业细分领域时,通用大模型就会面临专业知识…
![](https://imgx.baihezi.com/imgx/2337/1272/0/14wZwpmLy91NmJGNzMWZ5ATY5MjN1UDM0EWYyIDMhNzN55QGN2QTY30iM29SbvNmLn1WaopnL0MWaw9yL6MHc0RHa.jpg?size=thumb)
创业:大模型RAG系统三个月的开发心得和思考
软件工程、Java、Javascript,公众号:八一菜刀
1. 前言
自从和员外上家公司离职后,我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中,…
![](https://imgx.baihezi.com/imgx/2312/302/2/15nNXbwBXY902byZmJnVGcq1DdtZ2X4d3PwQjNvE0TMx0UhZzdENWa6plbXtURhtWcygWNldHcYVEaSx2ZXNWailGcWhHR1kkY2VGaFp3HdntEcNlnQw1GUNR0S4RUOPdGSR9mSxd1V4lESC12YYB3YphHUmF0Vz8yZwp2X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.jpeg?size=thumb)
主打一个不花钱:国产大模型逆向API白嫖
仅限自用,禁止对外提供服务或商用,避免对官方造成服务压力,否则风险自担!
如今的优秀国产大模型在日常使用中完全可以独当一面。
而且都提供了基础的免费网页服务,但…
![](https://imgx.baihezi.com/imgx/187/352/1/70cmbw5iNxcTNygjYlJmM1MDMihDOxgDO0cjYhhjNjRTZkFTO3i9CdjVmcpR2LuNmLn1WauR2cj5yZvxmYtcWbp9yL6MHc0RHa.png?size=thumb)
一文读懂「Lang Chain」_langchain
一、什么是LangChain?
LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建…
![](https://imgx.baihezi.com/imgx/1911/861/0/41wZz1GcwFWPt9mcmZyZuBXP01mZfh3d-=ADN28SQtlFbYdnMmp0Ypl3SyVTekh3RsxERrFVOWllW04GSUN1TKx0YqNWa4ZlcFZlRIV3VZlJlUWd1ZLhnYk5kaNZTSlJWa1AzMX9mUi9mNQljMCRGS1IVR3gVUU9yZuB3X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.png?size=thumb)
RAG一文读懂!概念、场景、优势、对比微调与项目代码示例
本文结合“基于 ERNIE SDK+LangChain 搭建个人知识库”的代码示例,为您讲解 RAG 的相关概念。
01
概念
在2020年 Facebook…
![](https://imgx.baihezi.com/imgx/990/945/0/86wZz1GcwFWPt9mcmZyZuBXP01mZfh3d-=ADN28ydE92YphmatVVeVhHeKBnUxEETn5mZZd3VQREezoVZSpGOyATO4gjaOd3Z0QTZrB3FdjFUUVlnSDJEM3RnQ2Nkc2hkYpxmMw0EczAXV0skYyM2U0QVUhlWe28yZuB3X6lmYt12X6N3LuNmLjlGcx5iepJWbt9yL6MHc0RHa.png?size=thumb)
AI大模型应用随笔-RAG工作流应用搭建
AI大模型应用随笔-RAG工作流应用搭建
概要
RAG数据增强是我们解决大模型场景知识的缺失或回答不准确,还有最重要且常见的大模型回答幻觉问题的很有用的解决方法…
万字长文实录:360创始人周鸿祎讲企业如何拥抱AI(附PPT)
版权声明:文章内容和PPT来自网络公开资料,包括微信公众号“360公司”等。版权内容归原作者周鸿祎所有,本平台本文只做公开转载发表。
介绍
4 月 8 日, 3…
![](https://imgx.baihezi.com/imgx/649/754/1/53wZz1GcwFWPt9mcmtDctFmJnVGcq1DdtZ2X4d3PwQjNvcGe5QUewUmYpNWaIFlSCF2QXpWO14We15mZuN1ZxkkUMdXNJJTOhlGbwd1S5UNTe5d0YOpXekFDaFNGUkRXVCZnclFkNxJmWzIFSM9GT5tUYuVDeJh3YpJmNa9yZwp2X6lmYt12LuNmLjlGcx5iepJWbt9yL6MHc0RHa.jpeg?size=thumb)
一文掌握大模型提示词技巧:从战略到战术
阿里妹导读
本文将用通俗易懂的语言,带你从战略(宏观)和战术(微观)两个层次掌握大模型提示词的常见技巧,真正做到理论和实践相结合,占领 AI 运用的先机。
一…
![](https://imgx.baihezi.com/imgx/2063/833/2/72nNXbwBXY902byZ2Ow1WYmcWZwpWP01mZfh3d-=ADN28yZMhzbIFWa1tmVmZzU0VXOhdkcilmVQRlWLdTVOhnchlmNTN3YYhDZmFTYpJXNIF41YpVFaWJWamR1bM9ka2QncZpnQMxmYpRHb4V2QnhzNjlmZktUYuVDeJh3YpJmNa9yZwp2X6lmYt12LuNmLjlGcx5iepJWbt9yL6MHc0RHa.jpeg?size=thumb)
大模型推理优化实践:KV cache复用与投机采样
阿里妹导读
在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架…