人工智能-大语言模型-基于ChatGLM-6B + LoRA的Fintune方案

基于ChatGLM-6B + LoRA的Fintune方案 准备 显卡: 显存 >= 16G (最好24G或者以上) 环境： python>=3.8 cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境 pip3 install -r requirements.txt 其中requirements.txt中的安装包bitsandbytes 建议安装0.41.2.post2这个版本，以前的版本可能会提示报错： bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats 数据预处理 转化alpaca数据集为jsonl python cover_alpaca2jsonl.py \ --data_path data/alpaca_data.json \ --save_path data/alpaca_data.jsonl \ tokenization python tokenize_dataset_rows.py \ --jsonl_pa

人工智能-大语言模型-基于Bert的预训练大语言推荐模型

基于Bert的预训练大语言推荐模型 基于Bert的预训练大语言推荐模型 基于Bert的预训练大语言推荐模型 下载后配置好环境即可直接使用

人工智能-大语言模型-基于人工智能标记语言 (AIML)和开放域问答(WebQA)的深度智能对话模型

基于人工智能标记语言 (AIML)和开放域问答(WebQA)的深度智能对话模型 环境说明 Linux/Python2.7/PyCharm 安装依赖 $ pip2 install jieba $ pip2 install aiml $ pip2 install lxml $ pip2 install beautifulsoup4 $ pip2 install flask 运行流程 Working directory: chatbot-aiml-webqa/core $ cd chatbot-aiml-webqa/core $ python2 web/server.py (or $ nohub python2 web/server.py) > ...... > * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit) CURL: $ curl "0.0.0.0:5000/chat" -d "message=新闻" $ curl "0.0.0.0:5000/chat" -d "message=天气" $ curl "0.0.0

人工智能-大语言模型-基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统，支持私有化部署

基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统，支持私有化部署 能力 1、专属 AI 问答系统 通过导入企业已有知识构建知识库，让 AI 机器人使用关联的知识库回答问题，快速构建企业专属 AI 问答系统。 2、一键接入模型 ChatWiki已支持全球20多种主流模型，只需要简单配置模型API key等信息即可成功接入模型。 3、数据自动预处理 提供自动分段、QA分段、手动输入和 CSV 等多种方式导入数据，ChatWiki自动对导入的文本数据进行预处理、向量化或 QA 分割。 4、简单易用的使用方式 ChatWiki采用直观的可视化界面设计，通过简洁易懂的操作步骤，可以轻松完成 AI 问答机器人和知识库的创建。 5、适配不同业务场景 ChatWiki为 AI 问答机器人提供了不同的使用渠道，支持H5链接、嵌入网站、桌面客户端等，可以满足企业不同业务场景使用需求。

人工智能-大语言模型-基于大型语言模型的评论回复机器人

基于大型语言模型的评论回复机器人 本项目为一个基于大语言模型的视频评论回复系统，包含服务端脚本与移动端工程文件。其中服务端由一个负责生成回复的回复服务脚本与一个负责与移动端及目标网站通信的数据服务脚本组成；移动端则为 HarmonyOS 元服务形式，提供完整服务与桌面万能卡片。 文件结构 ├───client │───server ├───utils │ └───scripts 项目的主要程序文件存放在 client/ 与 server/ 下。其中 client/ 为移动端程序的 DevEco Studio 元服务工程项目，server/ 则包含了负责生成回复的 reply-server.py 与一个负责与移动端及目标网站通信的 data-server.py 组成。 文件夹 utils/ 包括一个工具脚本 compress_code.py，可以将代码缩进、换行全部删去变成一行紧密排列的文本，方便与 GPT-4 进行交流，向 AI 询问代码建议（GPT-4 对代码的理解能力远高于人类，不需要缩进、换行等）。

人工智能-扩散模型-基于扩散模型stable diffusion的T恤图案设计和基于HR-VITON的虚拟试衣项目

基于扩散模型stable diffusion的T恤图案设计和基于HR-VITON的虚拟试衣项目 计算机视觉课程设计项目：基于Stable Diffusion的T-shirt图案设计和虚拟换衣技术 基本实现方法： Stable Diffusion结合Dreambooth实现文本指导下的T-shirt图案生成； 利用U2NET模型对人像和衣服掩码进行分割； 借鉴HR_VITON框架实现虚拟换衣。

人工智能-机器学习-基于各种机器学习和深度学习的中文微博情感分析

基于各种机器学习和深度学习的中文微博情感分析 项目说明 训练集10000条语料, 测试集500条语料 使用朴素贝叶斯、SVM、XGBoost、LSTM和Bert, 等多种模型搭建并训练二分类模型 前3个模型都采用端到端的训练方法 LSTM先预训练得到Word2Vec词向量, 在训练神经网络 Bert使用的是哈工大的预训练模型, 用Bert的[CLS]位输出在一个下游网络上进行finetune。预训练模型

人工智能-大模型-基于DPO算法微调语言大模型，简单好上手

基于DPO算法微调语言大模型，简单好上手 在使用之前请确保您已经按照格式准备了数据，下面需要修改以下路径，即可运行该项目，在dpo_train.py的run函数下: 注意file是一个json文件。 file = '' model_file = '' model_save_path = '' output_dir = '' 在命令行中: python dpo_train.py 后台启动该项目: ps: 在后台挂载启动，这样关了服务器代码还是在运行的，不会断掉。 nohub python dpo_train.py > train_log.log 启动tensorboard查看日志: 确保已经安装了tensorboard pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple tensorboard --logdir='your path'

人工智能-大模型-基于大模型的企业内部知识库和工具流系统，web界面，完全局域网内网部署（外网隔离）

基于大模型的企业内部知识库和工具流系统，web界面，完全局域网内网部署（外网隔离） 对于本项目，或者说该类型的应用场景，应该着眼于如下三个方面的深入开发： 1、文档智能 —— 更加智能的处理各种类型文档，尤其是复杂文档的ocr、layout解析等。本项目代码仓对应 backend/scholar/document process 2、RAG —— 不过这一块有很多优秀的开源项目，学术界目前进展也很蓬勃。本项目代码仓对应 backend/scholar 以上两块其实我理解行业会不断涌现出优秀的作业，大家借鉴就好，但第三点可能是需要致力于这个业务方向的同学特别思考的 3、符合信创要求的llm本地部署和加速方案 —— 有外网隔离要求的业务场景大部分可能都是国企、政务了，“信创”要求是早晚躲不过的……这方面我个人认为应该特别关注基于arm架构的cpp迁移方案，目前行业内也有不少开源方案可供参考。

人工智能-大模型-基于大模型ChatGLM，微调方式为LORA，集SFT、RM、PPO算法为一体项目

基于大模型ChatGLM，微调方式为LORA，集SFT、RM、PPO算法为一体项目 要求 Python 3.8+ 和 PyTorch 1.13.1 Transformers、Datasets、Accelerate、PEFT 和 TRL protobuf、cpm_kernels 和 sentencepiece jieba、rouge_chinese 和 NLTK（用于评估） gradio 和 mdtex2html（用于 web_demo.py） 和强大的 GPU！ 开始 数据准备（可选） 有关数据集文件格式的详细信息，请参阅查看。您可以使用单个文件或包含多个文件的数据集加载脚本来创建自定义数据集。data/example_dataset.json