首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

大模型应用开发实战

编程知识
2024年09月01日 18:42
在接触AI应用开发的这段时间,我以为会像以前学.net,学java,学vue一样。先整个hello world,再一步一步学搭功能,学搭框架直到搭一个系统出来。然而,理想总是很丰满,现实很骨感。在实践的过程中各种千奇百怪的问题:
  • 概念太多了。你以为就GPT、LLM?太年轻了,huggingface、transformers、torch、tokenizers、langchain、modelscope、fastapi、CUDA、cuDNN、Conda、vLLM、ResNet-50、top_p等等等等....它们有些是工具,有些只是个库,有些甚至就是个参数名以及还有些我到现在都不知道是个啥。
  • 运行代码时,经常莫名地各种报错。以前学vue的时候,我以为前端的包已经够混乱了,直到开始接触AI,没有最混只有更混。
  • 运行时间太长了而且结果不确定。没有云上足够的算力和显卡,一个简单的代码运行少则10分钟,动则几小时,非常人能够忍受。就算当你历经千辛万苦程序跑完了,你会发现不太容易验证运行结果的正确性,你不知道改了某个参数值到底是起作用了,还是没起作用。
看了网上一堆AI开发的文章,得出两个字总结:写的都是垃圾!对,都是
在学的过程中,我就想着。等我做出个东西。我一定要把这些个牛鬼蛇神给掰扯清楚。废话不多说,故事就从hello world说起。

工具准备

  1. MiniConda 首先装这个,这个玩意有点像docker,可以隔离多个项目的python环境,并且默认带有vc++等库。为什么我把它放第一。作为程序员的洁癖,开始的时候我非常不想装这玩意的,直接装个python 3.12,手动pip install霹雳巴拉下各种包多潇洒,直到运行一个最简单的代码时缺各种依赖环境,不但缺python的包,竟然还缺各种dll,还缺vc++运行时,当时心里各种NMBD....然后老老实实把它装上了,一切都顺了。安装时默认会集成python。我装的版本:MiniConda3 py312_24.7.1
  2. PyCharm 开发python的第一选择。开始我用的vs code,调试运行各种手动命令敲烦了,还是pycharm按钮好使。
就先装这俩吧。

环境准备

电脑cmd命令提示符。设置清华的镜像,用于后面下载各种python的包。默认国外的镜像和.net nuget包、java maven库及前端npm包一个尿性卡的要死,只能用国内的。
python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

新建项目

直接pycharm新建一个项目,名字随便起。毕竟我们是整大模型的,不是学python入门的。叫llmTest吧!如图1:
0
(图1)
这里注意:
  • interpreter type:就是运行环境,选custom environment。基于conda新建的环境名(想象成docker的一个实例,这个环境只对我们这个项目有效)。界面上提供了project venv,这种方式也可以控制项目的运行环境,想了解地自行搜索,新手不能太多选择,我就喜欢用顺手的,哈哈哈!!
  • path to conda:就是工具准备里面miniconda3的安装路径。

模型下载

目前国内外的通用大模型可以用密密麻麻来形容,gitee上面已经收录了1万多个了:https://ai.gitee.com/models 。模型下载方式很多,有直接用git lfs下载的、有直接下文件的,还有不直接下载运行时才加载的写代码方式。关键是这种方案还挺好使。本着新手不能太多选择,直接推最顺手的原则。我用的阿里魔塔modelscope(注意它不是模型,不是!它只是个下载工具)。直接在pycharm命令终端里面执行pip install modelscope,如图2:
0
(图2)
注意图上红框的部分。这里没有用windows的命令终端执行,就是保证一直用的是我们刚刚创建的conda环境llmTest。防止安装包的时候,装到其他找不到的位置了。也可以看出下载的源用的是我们刚刚设置的清华镜像。
 
新建一个app.py。编写下载代码:
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
这里我以清华智谱ChatGLM3模型为例,下载到D:\Transformers。如果人品不是太差的话,运行效果如下:
(图3)
总共有15个G左右,需要等一段时间。至此一个大模型顺利下载完毕,它的结构如下图所示,别问我里面是啥,我也看不懂:
0
(图4)

模型使用

以上算是完成了全部的准备工作,作为一个有效率的打工人,马上迫不及待地想看效果了。立马码字:
from modelscope import AutoTokenizer, AutoModel, snapshot_download

model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
# model_dir ='D:\Transformers\ZhipuAI\chatglm3-6b';
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cpu()  # 权重和计算从 32 位浮点数转换为16位

model = model.eval()
response, history = model.chat(tokenizer, '你好', history=[])
print(response)
这段代码意图无比清晰,启动刚刚下载的chatglm3-6b模型,和它打个招呼,羞涩地问下:“你好”。先别急着运行,因为你运行肯定会报错(多么痛地领悟,该踩的坑我都踩完了😂)。先参考图2,在pycharm命令终端依次执行以下安装命令,保证安装模型运行所需要的包:
conda install pytorch torchvision torchaudio cpuonly -c pytorch
pip install transformers==4.40.0
pip install sentencepiece
全部安装完毕后,点击Debug尝试运行:
 
(图5)
ChatGLM会输出类似“你好!我是人工智能助手ChatGLM3-6B,很高兴见到你,欢迎问我任何问题。”这样的回答。当然,就像文章开始说的结果不确定,你的结果和上面不一定相同。
视频我剪辑过,在我的电脑上,实际运行时间5分钟左右😂。至此最简单的模型应用开发完毕。

提供API支持

上面最简单的Hello world写完了,接下来就要为各种客户端提供接口服务了。.Net有WebAPI + IIS,java有spring boot+tomcat,大模型有FastAPI+Uvicorn:FastAPI 用于构建应用的业务逻辑,Uvicorn 是运行这些应用的服务器。参考图2,在pycharm命令终端依次执行以下安装命令:
pip install uvicorn
pip install fastapi
把上面的代码微调一下:
import uvicorn
from fastapi import FastAPI,Body
from fastapi.responses import JSONResponse
from typing import Dict
app = FastAPI()

from modelscope import AutoTokenizer, AutoModel, snapshot_download

model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cpu()  # 权重和计算从 32 位浮点数转换为16位

@app.post("/chat")
def chat(data: Dict):
    query = data['query']
    history = data['history']
    if history== "":
        history = []
    response, history = model.chat(tokenizer, query, history=history, top_p=0.95, temperature=0.95)
    response = {'response':response,'history':history}
    return JSONResponse(content=response)

if __name__ == '__main__':
    uvicorn.run(app, host="127.0.0.1", port=7866)

点击Debug尝试运行,即可启动一个7866端口的API服务。

(图5)

我们用postman等客户端工具测试一下:

(图6)

编写客户端

服务端有了,当然要做个漂亮的客户端,总不能一直用postman。不得不吐槽下,大模型也搞前后端分离这套🤮!.net java 有httprequest,js有jquery、axios,大模型也有个出名的库langchain,官方的解释它提供了“链”的概念,允许开发者将多个语言模型调用、API请求、数据处理等操作链接起来,以创建更复杂的应用流程。这里你就当它是个用来封装http请求的客户端吧!还是按图2的方式先安装:
pip install langchain
pip install langchain-community
 在工程里面新建一个文件client.py。编写客户端代码:
 import requests
import logging
from typing import Optional, List, Dict, Mapping, Any
import langchain
from langchain.llms.base import LLM
from langchain.cache import InMemoryCache

logging.basicConfig(level=logging.INFO)
langchain.llm_cache = InMemoryCache()


class ChatLLM(LLM):
    url = "http://127.0.0.1:7866/chat"
    history = [];

    @property
    def _llm_type(self) -> str:
        return "chatglm"

    def _construct_query(self, prompt: str) -> Dict:
        query = {
            "history": self.history,
            "query": prompt
        }
        import json
        query = json.dumps(query)
        return query

    @classmethod
    def _post(self, url: str, query: Dict) -> Any:
        response = requests.post(url, data=query).json()
        return response

    def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str:
        query = self._construct_query(prompt=prompt)
        response = self._post(url=self.url, query=query)
        response_chat = response['response']
        self.history = response['history']
        return response_chat

    @property
    def _identifying_params(self) -> Mapping[str, Any]:
        _param_dict = {
            "url": self.url
        }
        return _param_dict


if __name__ == "__main__":
    llm = ChatLLM()
    while True:
        user_input   = input("我: ")
        response = llm(user_input)
        print(f"ChatGLM: {response}")
 
执行一下,和它说个‘你好’,再问下它是谁,效果如下(再次友情提示:视频剪辑过,肯定没有这么快😀!!!):
 
(图7)
等等,这好像还是算不上客户端!怎么着也得个应用程序APP之类,再不济也得有个Web吧!好吧,安排!为了搞大模型的人能安心研究模型,不用花精力在界面上。市场上就出现了2个常用的大模型web界面框架GradioStreamlit,不用去研究哪个更好,顺手就行!类似ElementUI、AntDesign没必要非争个你死我活的!我这里以Gradio为例,先安装:
pip install gradio

#如果安装gradio后ImportError: DLL load failed while importing _multiarray_umath: 找不到指定的模块。执行下面:
 pip install numpy==1.25.2
 在工程里面新建一个文件webclient.py。编写网页代码:
import gradio as gr
from client import ChatLLM #引用client.py里面我们定义的ChatLLM

llm = ChatLLM()
# 流式处理
def stream_translate(text):
    response = llm(text)
    for chunk in response.split():
        yield chunk + " "


demo = gr.Interface(fn=stream_translate, inputs="text", outputs="text", title="ChatGLM",
                    description="A chatbot powered by ChatGLM.")
demo.launch()

执行一下:

(图8)

在浏览器里面打开:http://127.0.0.1:7860 就可以看到我们的客户端。这时随便问大模型几个问题吧(再次友情提示:视频剪辑过,后面那个问题1500多秒!):

(图9)

到这里,入门流程介绍完毕。看的人多的话,我会继续介绍模型微调和训练,希望大家喜欢!

最后

经过无数的蹂躏,我开发了个小应用【i歌词】,无任何条件免费提供全部源码。它基于chatglm4-9b大模型,从部署到训练,通用对话功能,核心根据歌名查歌词并创作歌词!用它来参加gitee AI创新应用大赛,可以在线体验,方便的话投个小票: https://ai.gitee.com/events/iluvatar-ai-app-contest/detail?app=36  

(图10)

 

From:https://www.cnblogs.com/yubaolee/p/18390767
本文地址: http://www.shuzixingkong.net/article/1636
0评论
提交 加载更多评论
其他文章 Kubernetes利用Volume挂载ConfigMap与Secret
1、概述 在Kubernetes集群中,应用的配置管理是一个关键且复杂的任务。随着应用的扩展和微服务架构的普及,传统的配置文件管理方式已经难以满足动态、灵活的配置需求。幸运的是,Kubernetes提供了强大的配置管理能力,其中ConfigMap和Secret结合Volume挂载的方式是实现这一目标
Kubernetes利用Volume挂载ConfigMap与Secret Kubernetes利用Volume挂载ConfigMap与Secret Kubernetes利用Volume挂载ConfigMap与Secret
Gluon 编译 JavaFx -> android apk
Gluon 编译 JavaFx -> android apk 本文的内容属 在linux服务器上 搭建 Gluon 编译 android-apk 环境 这一篇文章直接跟着官网操作一次性成功 虚拟机版本 centos8 Architecture: x86-64 开始安装相关前置工具 gcc ve
Gluon 编译 JavaFx -> android apk
Go plan9 汇编:手写汇编
原创文章,欢迎转载,转载请注明出处,谢谢。 0. 前言 在 Go plan9 汇编: 打通应用到底层的任督二脉 一文中介绍了从应用程序到汇编指令的转换。本文将结合汇编和 Go 程序实现手写基本的汇编指令,以加深对 Go plan9 汇编的了解。 1. 手写汇编 1.1 全局变量 首先写一个打印整型变
Go plan9 汇编:手写汇编 Go plan9 汇编:手写汇编 Go plan9 汇编:手写汇编
iptables 工作过程整理
转载注明出处: 1.概念和工作原理 iptables是Linux系统中用来配置防火墙的命令。iptables是工作在TCP/IP的二、三、四层,当主机收到一个数据包后,数据包先在内核空间处理,若发现目标地址是自身,则传到用户空间中交给对应的应用程序处理,若发现目标不是自身,则会将包丢弃或进行转发。
iptables 工作过程整理 iptables 工作过程整理
云存储抽象层-FluentStorage
FluentStorage 是一个.NET云存储抽象层,支持多种云服务提供商。它提供了一个统一的API来处理不同云服务提供商的Blob存储(如AWS S3, GCP, FTP, SFTP, Azure Blob/File/Event Hub/Data Lake)和消息传递(如AWS SQS, Azu
云存储抽象层-FluentStorage
Windows平台体验StableSwarmUI-0.6.4-Beta经验版
StableSwarmUI install 经验版,引导安装默认选择 comfyUI (local)立刻安装到本地 。 对于有经验的用户,此处可以选择跳过安装 ComfyUI 步骤,后期手动导入。
Windows平台体验StableSwarmUI-0.6.4-Beta经验版 Windows平台体验StableSwarmUI-0.6.4-Beta经验版 Windows平台体验StableSwarmUI-0.6.4-Beta经验版
【工具分享】红队重点资产指纹识别 -- P1finger -0.02(最新版本)
工具介绍: P1finger 红队行动下的重点资产指纹识别工具。P1finger 是一个重点资产指纹识别的工具,旨在通过HTTP请求特征来识别目标系统。其主要特点包括: 语言和实现: 语言:使用Go语言(Golang)实现。 目的:强调跨平台能力和易于集成。 指纹库和检测策略: 指纹库:通过人工过滤
【工具分享】红队重点资产指纹识别 -- P1finger -0.02(最新版本) 【工具分享】红队重点资产指纹识别 -- P1finger -0.02(最新版本) 【工具分享】红队重点资产指纹识别 -- P1finger -0.02(最新版本)
图文教程:从0到1将项目发布到 Maven 中央仓库
前言 本文基于官方文档 https://central.sonatype.org/publish/publish-guide/ 编写。 发布步骤: 创建账号 创建用户 Token 创建命名空间 配置 GPG 配置项目 发布 注意事项: 发布成功的项目无法修改或者删除 准备阶段 创建账号 已有 Goo
图文教程:从0到1将项目发布到 Maven 中央仓库 图文教程:从0到1将项目发布到 Maven 中央仓库 图文教程:从0到1将项目发布到 Maven 中央仓库