笔记详情

2026-11-21 0 4

先泼一盆冷水:大模型这个词,如今已经被用到近乎通货膨胀了有人用它指ChatGPT那种聊天窗口,有人用它指自己电脑上跑起来的本地推理服务,还有人说的是”我要训练一个自己的模型”——这三类人对话的时候,表面都在聊大模型,实际聊的完全是三套东西。

这种认知错位,正是大量热搜词背后真正的问题源头:为什么有人搜”ollama部署大模型”,有人搜”大模型微调”,还有人搜”有可以免费使用的大模型吗”本文想做的,就是把这些散落的概念拼成一张完整的坐标系,让零基础的读者读完能准确判断:大模型到底是什么、它怎么会说人话、它的边界在哪、以及最常见的”部署”和”微调”到底是怎么一回事。

1. 先校准坐标:大模型不是”一个东西”,而是一类方法的统称1.1 “大”在哪里:参数、数据、算力这三座大山所有人都在说大模型大,但很少有人讲清楚它到底大在什么地方传统机器学习模型通常只有几百万到几千万个参数,而大模型的参数规模动辄数十亿、数百亿甚至上千亿。

GPT-3的1750亿参数,是一个经常被引用的里程碑数字参数可以粗略理解为模型内部用来存储”知识”和”规律”的旋钮数量,旋钮越多,模型能记住的模式就越复杂但要撑起这么大的参数量,光有算法远远不够大模型真正吃掉的是三样东西:海量的训练数据、大规模的算力集群、以及用来清洗和处理这些数据的工程体系。

用个生活化的类比:小模型像一个只背了本岗位手册的专员,遇到手册之外的问题就会卡壳;大模型像一个把一座图书馆通读过的毕业生,虽然不能保证每道题都对,但覆盖面和处理问题的灵活度完全不同这里需要澄清一个关键认知:大模型并不是一个具体的产品,也不是某一个软件。

它是一套”海量参数 + 海量数据 + 大规模算力”训练出来的神经网络模型我们日常接触的聊天机器人、AI绘图工具,只是这套模型能力的外包装1.2 一串容易混的近亲概念:LLM、多模态、开源与闭源很多新手最困惑的,是”深度学习””预训练模型””大模型””LLM”这些词之间的关系。

深度学习是人工智能的一个技术流派,本质是搭建多层神经网络让它自动从数据里学规律预训练模型是先用大规模无标注数据把模型”喂”一遍,让它具备通用的语言理解能力,BERT、GPT-2都是这个阶段的代表大模型则是在预训练路线走到极致后的产物——参数规模跨过千亿门槛,出现了许多小模型没有的能力。

LLM是Large Language Model的缩写,特指做大语言模型的,只能处理文本多模态大模型则更进一步,能把文本、图像、音频、视频统一到同一个模型框架里理解,GPT-4V、以及各类能”看图说话”的模型都属于这一类。

从技术生态上看,大模型又分成开源和闭源两条线开源的代表有LLaMA系列、千问系列、DeepSeek系列,模型权重公开,可以下载到本地部署、二次开发;闭源的代表有GPT-4、Claude等,只能通过官方API调用。

很多新人会把模型和产品混为一谈,这里举个最简单的区分方式:ChatGPT是一个产品,它的背后是GPT模型,而做这个模型和产品的公司叫OpenAI搞清楚这一层,后面很多疑问都会迎刃而解1.3 为什么”行业大模型”到处开花

最近在热搜里频繁看到”农业大模型””金融大模型””法律大模型”这类词很多人以为每个行业都要从零训练一个全新的模型,真实情况并不是这样行业大模型的技术路线,绝大多数是”通用底座 + 行业数据适配”:先用海量通用语料训练出一个具备基础能力的底座模型,再灌入某个行业的特定数据做进一步微调。

拿热搜里提到的农业场景举例通用大模型本身并不懂土壤墒情、气象数据和作物生长模型之间的关系,但把农业传感器采集的土壤湿度、温度、光照、气象预报等数据,经过处理后注入模型做针对性训练,它就能在智能灌溉、施肥决策、病虫害预警这些任务上给出参考建议。

农业、金融、法律这类领域的大模型,本质上不是另起炉灶,而是把通用能力和行业know-how结合起来理解了这个机制,你再看任何”XX行业大模型”的新闻,就不会被概念唬住2. 大模型是怎么练成的:预训练、微调与对齐这三道工序

2.1 预训练:用”填空游戏”读遍互联网大模型最底层的训练方式,听起来简单到让人怀疑:给模型一段文本,遮住后面一部分,让它预测下一个词应该是什么这个任务在学术界叫next token prediction,也就是”下一个词元预测”。

模型每猜一次,跟真实文本对比一次,错了就调整参数,循环往复几十万步为什么这个看似笨拙的任务能产生智能?关键在于训练的规模当模型在几乎整个互联网规模的中文和英文文本上反复做这个练习,它被迫学会了语法规则、事实知识、逻辑推理的统计模式,甚至不同语言之间的对应关系。

这就好比一个孩子把整个图书馆的书都逐字逐句地”填词”填了一遍,虽然他没有专门的课本,但语言规律已经内化在神经网络的权重里了这个阶段练出来的模型叫”基座模型”这里有个特别容易踩的认知坑:基座模型只会续写文本,不会对话。

你问它”你好”,它可能会一本正经地继续往下写”你好,这是一个关于…”——因为它训练时看到的文本就是这种连续的篇章你现在用到的所有能聊天的大模型,几乎都在基座之上又经过了好几个步骤的处理2.2 监督微调(SFT):把”续写者”变成”对话者”

为了让模型学会对话,研究人员会构造大量”用户提问-标准回答”的配对样本,让模型照着这些范例调整行为方式这个过程叫监督微调,英文缩写SFT(Supervised Fine-Tuning)大量热搜里的”大模型微调”,指的就是这一类后续训练步骤,只不过基座模型微调所使用的数据和训练目标五花八门。

SFT的意义在于”行为对齐”基座模型知道很多知识,但它不知道该怎么用聊天的口吻把答案组织出来通过几万条高质量的对话样本训练,模型学会了”原来回答用户问题应该先给结论、再给解释”这类约定俗成的交互规范许多开源模型会单独发布”对话版”和”基座版”,区别就在于对话版已经经过了SFT这道工序。

很多初学者以为微调是为了给模型注入新知识,这其实是另一个常见误解微调最主要的作用是改变模型的”行为风格”或”输出格式”,而不是往它脑子里塞新事实要更新知识,更可靠的做法通常是检索增强生成(RAG),也就是在回答问题时先从外部知识库检索相关信息再交给模型组织答案。

2.3 RLHF与内容对齐:模型为什么”听话”也”受限”对话能力有了,但这时候模型还有一个致命问题:它分不清什么样的回答是”好的”它可能老老实实回答,也可能输出充满偏见的、有害的,或者纯粹编造的内容于是就有了第三个关键工序——RLHF(基于人类反馈的强化学习)。

RLHF的过程大致是:先让模型针对同一批问题生成多个回答,由标注人员按质量排序打分,用这些偏好数据训练一个”奖励模型”,再用强化学习算法引导主模型往高分方向优化这个工序让模型学会了拒绝回答违反安全规范的问题,也学会了更贴合人类偏好的表达方式。

这也是为什么你在使用大模型时,偶尔会看到它”道歉”或者”拒绝回答”很多人把这理解为模型被”阉割”或”限制”,但从工程角度看,这正是对齐技术的体现——内容和行为边界是模型产品化的必要条件社交媒体上讨论的”大模型投毒测试”,本质上就是安全评测领域的一种手段,通过构造对抗性的输入来检验模型在恶意数据影响下能否保持可靠性,这类测试暴露出的问题,最终又会推动对齐技术继续升级。

一个没有对齐的模型,在真实场景中是没法放心使用的2.4 别把”微调”当成万能药自从开源模型普及后,”微调”这个词几乎成了大模型领域最大的流量入口,但也带来了最多的误解这里把微调最常见的三类目标梳理清楚:。

领域适应:比如让通用模型更懂法律条文、医疗术语,用领域语料继续训练行为对齐:让模型按指定格式输出,比如永远用JSON返回、先给摘要再给详情能力增强:通过特定任务数据增强模型某个方面的表现,比如更擅长写SQL、更擅长做数学推理。

但微调不是万能药模型在预训练阶段没学到的东西,靠微调很难补上;模型已经学会但表现不稳定的能力,微调倒是可以把它”校准”得更准判断该不该微调,一个简单的原则是:先想清楚问题出在”知识缺失”还是”行为偏离”。

知识缺失优先考虑RAG,行为偏离才适合微调这个区分判断做对了,能省下大把时间和算力3. 能力边界:幻觉、上下文窗口和温度到底在说什么3.1 幻觉:一本正经地胡说八道,根子在概率用过一阵大模型的人,迟早会遇到一个场景:它信誓旦旦地给出一个答案,引经据典、逻辑严密,但你去核对后发现全是编的。

这就是大模型最著名的”幻觉”问题要理解幻觉,得先理解大模型生成文本的底层机制它每生成一个词,都是根据当前已经生成的内容,在整个词表上计算每个词出现的概率,然后从中采样这种机制本质上是在做”最像样子的接龙”,不是在查数据库。

所以模型并不具备”知道”这个概念,它只有”根据上下文推断哪个词最合理”这个能力明白了这一点,很多现象就说得通了:越是热门话题,训练数据里相关内容多,模型表现越好,因为统计规律明显;越是冷门、专业、更新快的信息,模型越容易翻车,因为数据中缺乏稳定规律可供推断。

缓解幻觉的常用手段有几个:一是用RAG给模型提供参考资料,让它”带着材料回答”而不是凭空发挥;二是通过Prompt要求它标注信息来源或承认不确定性;三是在关键场景引入人工复核机制,把模型输出当”初稿”而不是”定稿”。

对使用大模型的人来说,最重要的习惯是:对于高风险决策,永远对模型输出保持核对意识3.2 上下文窗口:为什么聊着聊着它就”失忆”了很多人在连续对话时发现,大模型聊到后面会忘记前面说过的内容,或者在处理超长文章时突然”断片”。

这背后的关键概念是上下文窗口(context window),指的是模型单次能处理的文本总长度,单位是tokentoken是模型读写文本的基本单位,可以粗略理解为”词元”英文里一个单词通常是一个或两个token,中文里一个汉字大约是一个到一点五个token。

上下文窗口越大,模型能”同时看见”的信息越多但是窗口有限,超出的部分就会被截断或忽略这个特性可以类比人类的工作记忆模型并没有真正意义的长期记忆,它只能看到当前上下文窗口范围内的内容要让它”记住”某个信息,有两种常见办法:一是把关键信息重复放进每次对话的上下文里(比如把背景资料写在系统提示词中);二是借助外部存储做RAG,让模型回答前先查询相关片段,再连同问题一起交给模型处理。

了解上下文窗口还有一个实际价值:做长文档总结时,如果不先切分文档,直接整个丢给模型,到达窗口上限后,模型要么报错,要么只总结前半段通行的做法是”分段摘要再合并”,这也是很多所谓”长文本处理技巧”的本质3.3 温度:让模型在”稳定”和”放飞”之间滑动

在各类大模型API的参数里,temperature(温度)是最常见也最容易被忽视的一个它的取值范围通常是0到2,作用是控制模型输出时的随机性温度越低,概率分布越”尖锐”,模型越倾向于选最高概率的词,输出就更稳定、更可预测;温度越高,概率分布越”平坦”,低概率的词也有机会被选中,输出就更多样、更有创造性,但也更容易出现错误或跑题。

实操中我的建议是分场景设置:写代码、做数学题、提炼结构化信息时,温度设在0到0.3之间,追求准确性;写营销文案、头脑风暴、创意故事时,温度可以调到0.7到1.0,让表达更丰富很多新人追求”金句频出”的效果,把温度拉得很高,结果发现模型开始胡说八道,就是这个参数的掌控出了问题。

另一个常与温度一起出现的参数是top_p,它控制的是”只在累计概率达到p阈值的词元里采样”两者作用方向类似,实践中保持一个固定、微调另一个就够了,不需要同时大动干戈3.4 能力边界不是缺陷,是设计约束说到底,幻觉、上下文、温度这些概念指向的是同一个事实:大模型不是一个提供事实的数据库,而是一个基于概率生成文本的系统。

它的能力边界不是”不够好”的缺陷,而是理解和使用它的基本前提正因为如此,用好大模型的核心技能其实是”管理不确定性”把大模型当作一个聪明但没有常识判断力的实习生:它能快速产出草案、梳理思路、生成初版内容,但那些需要确保真实、精确、合规的环节,必须由人来把关。

这种认知听着简单,但实践中最容易忘很多人遭遇一两次幻觉后,就得出”大模型不靠谱”的结论;也有人完全信任模型输出,直接用在正经场合,结果翻了车两种极端,都源于对能力边界的误判4. 本地部署还是调用API:先弄懂显存账再掏钱

4.1 为什么那么多人想本地部署大模型相关热搜里,”ollama部署大模型””本地部署ai大模型””本地部署大模型”出现频率极高背后驱动的往往是这几类需求:数据不出内网的安全合规要求、业务系统需要与模型深度集成、希望免去按调用量付费的成本、以及想在离线环境里使用模型。

这个想法本身合理,但大多数人对”本地部署”的真实成本完全没有概念很多人以为部署一个开源大模型,就像装Photoshop一样下载双击就行,实际上最大的门槛不是软件,而是硬件——确切说,是显卡显存4.2 算一笔显存账:你的显卡到底能跑多大的模型。

模型加载到显存时,最占空间的是模型权重本身有一个基础的估算公式:模型参数量(亿)乘以2字节(FP16精度),再除以1024,就得到大约需要的显存GB数比如一个70亿参数的7B模型,在FP16精度下大约需要(70 \times 2 \div 1024 \approx 13.7)GB显存。

但这只是模型权重的部分,推理过程中还有中间激活值、KV缓存等额外开销,实际占用量会更高以下是一份面向个人部署的参考表,按常见模型规模整理:模型规模参数量FP16加载显存约4bit量化后约适合场景小参数1B-3B

2-6GB1-2GBCPU都能跑、嵌入式设备、简单任务中等规模7B-8B14-16GB4-6GB消费级显卡、本地聊天、文档处理较大规模14B-32B28-64GB8-16GB更强推理、需要多卡或大显存卡

大规模70B+140GB+35-40GB生产级服务,通常需多卡集群量化技术是本地部署绕不开的话题4bit量化会把每个权重的存储从16bit压缩到4bit,模型体积大幅缩小,代价是输出质量可能有轻微下降这也是为什么很多16GB显存的显卡用户也能跑7B模型的对话版——用的就是量化后的版本。

现实一点的建议是:如果只是个人体验、学习或轻量使用,一张24GB显存的消费级显卡配合量化方案就很舒适;想认真做应用开发,先别急着买卡,优先利用云端GPU按需租用更划算;至于普通人手上只有集显或轻薄本,也不必焦虑——Ollama支持纯CPU跑小模型,速度不快但能跑,或者干脆先用免费API,把概念悟透了再考虑硬件投入。

看显卡天梯图的时候同样别只看显存大小,推理大模型更看重的是显存带宽和FP16/F32算力,这两项直接决定生成速度同样24GB显存,不同卡的吞吐差距可能有两三倍4.3 部署工具怎么选:Ollama、vLLM、AirLLM各管哪一段。

市面上部署工具很多,让人眼花缭乱,但它们的定位其实各不相同Ollama是目前个人本地部署最友好的入口,一条命令就能拉模型、起服务它把模型下载、权重转换、推理服务、命令行交互全部封装好了,适合完全没有工程经验的新手。

比如说,装完Ollama后在终端执行:ollama run qwen2.5:7b它就会自动下载模型并在当前终端开启一个聊天窗口后续要接入其他应用,Ollama还提供了兼容OpenAI格式的本地API,很多第三方的图形界面和插件都能直接接进去。

但Ollama的定位更偏向”方便地跑起来”,它不是为高并发、大规模生产场景准备的如果你要做一个面向多用户的线上应用,vLLM是更合适的选择它通过PagedAttention技术管理KV缓存,把显存利用率和吞吐量做了大幅优化,还支持连续批处理,在服务大量并发请求时优势非常明显。

“vllm如何优化大模型的缓存命中率”这类问题,核心其实就是KV缓存复用——相同前缀的请求可以共享缓存,从而减少重复计算,这也是vLLM能在高并发场景下压榨出更高吞吐量的原因之一AirLLM则是另一类思路,它让显存特别有限的用户也能跑大模型,办法是把模型分层加载,每次只计算需要的层,把其他层暂时放到内存里。

代价是慢,但对”就想体验一下70B模型”的人来说,这条路径确实降低了硬件门槛工具选的逻辑其实很朴素:先明确目标只是自己体验,直接上Ollama;要写代码做集成,先跑通Ollama再用兼容接口切换;要上生产环境,直接学vLLM。

不要反过来一上来就折腾生产级工具,那会劝退自己4.4 不想买卡:免费大模型API与托管平台的取舍做本地部署之前,有必要先了解另一条路:直接用API目前的免费渠道大体有几类:开源模型服务商提供的免费额度、各大云平台的免费试用资源、以及HuggingFace这类开发者社区的托管推理空间。

免费API的优点很直接:不需要硬件投入,只要会写代码就能接入能力很强的大模型但代价同样明显:请求频率受限、可能会有队列等待、数据会经过第三方服务、以及免费额度随时可能调整对学习和验证产品原型来说,这些完全是可接受的;但对依赖模型能力做生产业务的人来说,免费方案意味着不可控的风险。

“免费”的真实含义,多数时候是用隐私、时间和稳定性的隐性成本去换金钱成本理性的做法是分阶段:学习阶段大胆用免费API,快速积累经验;产品原型阶段继续用免费方案验证;确定需要稳定服务或数据合规时,再算本地部署或购买云服务的经济账。

5. 三种人,三条路:从会用大模型到会做大模型应用5.1 先对号入座:你是谁,决定你该学什么大模型相关的热搜里,”大模型学习路线”的搜索量一直居高不下但”学习大模型”这件事不可能有一条放之四海而皆准的路线,因为不同目标对应完全不同的知识栈。

可以把学习者粗略分成三类:使用者、应用开发者、算法研究者使用者是想把大模型作为生产工具的人,比如用AI辅助写文档、做PPT、写代码这类人最需要学的是Prompt编写、工具使用和基本的信息鉴别能力,完全不需要懂神经网络。

应用开发者是想用大模型搭建产品功能的工程师,比如做一个客服机器人、文档问答系统、内容生成工具这类人需要掌握API调用、Prompt工程、RAG流程、模型部署、以及成本控制算法研究者是真正想深入模型训练、微调、对齐技术的人。

这类人需要有扎实的机器学习基础、深度学习和自然语言处理功底,以及大量的训练调试经验很多人一上来就求”从零到算法工程师”的速成路线,结果在自己不需要的深度里挣扎几个月,热情耗尽最务实的做法是:先明确自己属于哪一类,再顺着那条路往下走。

5.2 使用者的基本功:把对话能力用到极致别小看”会使用”这件事绝大多数对大模型失望的人,问题出在不会提问一段好的Prompt,通常包含三个要素:角色、任务、约束条件角色设定让模型进入合适的语态,比如”你是一名资深的数据分析师”;任务描述要具体,比如”请分析这份销售报表中第三季度的环比变化”;约束条件则限制输出的格式和范围,比如”用表格呈现、每条结论附上数据来源”。

使用层面的进阶技巧是”迭代追问”很多新手期待一次提问就得到完美答案,但真实可靠的产出往往是多轮对话不断收敛的结果:先让模型给一个框架,再针对框架逐段细化,最后要求它润色和复核掌握这个节奏,比背一百个所谓”咒语模板”都管用。

5.3 应用开发者的核心工程点:API调用、RAG与Agent如果目标是做应用,光会聊天是不够的第一个要跨过的坎是从”网页聊天”切换到”编程调用”目前主流的大模型平台几乎都提供了OpenAI兼容的调用接口,核心流程是一致的:构造请求消息、设置参数、发送到服务端、接收流式或一次性响应。

新手完全可以先写一个几十行的脚本,让程序调用大模型完成一个小任务,比如给一段文本生成摘要,再逐步增加复杂度应用开发真正拉开差距的地方,是对RAG和Agent的理解RAG解决的是”模型不知道你私有数据”的问题:先把文档切块、用Embedding模型转成向量存入向量数据库,用户提问时先检索相关资料,再连同问题一起发给大模型。

Agent则是让模型具备”使用工具”的能力——它可以调用搜索引擎、执行代码、查询数据库,把大模型从”只会说话”升级成”能动手做事”这两个概念是当前大模型应用开发最热门的工程范式热搜里频繁出现的”大模型应用开发””多模态大模型应用”,本质上都是在这两个技术底座上叠加产品创意。

5.4 动手微调之前,先想清楚三件事如果你已经走到了”想微调模型”这一步,说明前面的API使用和RAG已经不能满足你了但在动手之前,有三件事必须冷静评估首先是数据微调的质量上限几乎完全由数据决定,而不是模型框架。

高质量的领域数据、严格的清洗流程、合理的标注规范,这些准备工作的耗时通常远超训练本身很多团队微调效果不理想,根子都在数据上其次是算力全参数微调一个7B模型,单张消费级显卡几乎不可能完成;但实践中大多数微调任务根本不需要全参数,LoRA这类参数高效微调技术只训练一小部分附加参数,单张24GB显存的卡就能跑通,效果在很多任务上跟全量微调差距不大。

最后是评估方案没有评测体系就谈不上微调成败动手之前先准备一组”必须表现好”的测试用例,微调前先跑一遍基线分数,微调后再跑一遍,对比效果如果没有这套流程,你很可能辛苦训练几天,最后得到一个”感觉变了但说不清哪里变好”的模型。

国内高校和社区里已经有不少高质量的免费教程,比如上海交通大学的《动手学大模型》系列项目,会带着学习者从数据准备、模型部署到微调训练完整走一遍这类资料的用法是”边做边学”,而不是当小说读——跑通一个最小示例,比阅读十篇原理文章都更有收获。

6. 我踩过的几个坑:关于大模型的误判与纠偏说了这么多概念和路线,最后分享几个我实际踩过的坑,每一个都曾让我的项目多花了不少时间第一个坑是盲目追求大模型早期做本地部署时我也觉得”参数越大效果越好”,结果7B模型跑得挺流畅,非要上70B,最后显卡爆显存,机器卡死,项目好几天没法推进。

后来才明白,选模型首先要看任务复杂度:简单文档分类用7B就够,复杂推理才需要上更大模型能用小模型解决的事,不要硬上大模型第二个坑是想用微调解决”知识太旧”的问题有一段时间我需要让模型回答内部产品文档相关的问题,第一反应是”微调一个专属模型”,忙活了大半个月,效果还是不理想。

后来换了RAG方案,检索相关的产品文档片段再让模型回答,效果立竿见影微调适合调行为,不适合补知识,这个辨别判断越早做越好第三个坑是忽略温度参数早期做代码生成任务时,我保留了默认温度,模型输出很”有想象力”,变量名花里胡哨、注释也活泼,但代码偶尔会夹带不存在的函数调用。

后来把温度调到接近0,代码生成的稳定性立竿见影写代码用低温,写文案用高温,这个习惯几乎可以无脑复制到所有场景第四个坑是拿模型输出当定论不管模型说得多么笃定,只要内容涉及专业判断或事实核查,我现在的做法永远是让它给出信息来源、或者去原文里确认。

大模型是优秀的初稿生成器,但决定性的把关永远要留给人的判断说到底,大模型不是什么神秘的东西,它就是新一代的生产力工具理解它的训练机制、能力边界和部署逻辑,再带着清晰的预期去使用,你就能在这个工具面前保持主动,而不是被它的”一本正经”带着走。

声明: 本文部分内容及图片来源于网络,由本站编辑整理,仅用于学习交流,版权归原作者所有。如有侵权,请联系我们删除。联系邮箱:3454251265@qq.com

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

「米云软件」 AIGC 笔记详情 https://www.miyunrj.com/aigc/1220.html

常见问题

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务