版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/yxn4065/article/details/139469418
1、向量数据库 1、向量数据库介绍 我们在用图片搜索图片,或者语音搜索语音的时候,在数据库中存储和对比的并不是图片和语音片段,而是通过深度学习等算法提取出来的“特征”,一般是256/512个float数组,可以用数学中的向量来表示。 向量数据库就是用来存储,检索,分析向量的数据库。只所以称之为数据库,是因为它有下面几个特征: a) 提供...
[译]大语言模型应用的文本分块策略 因为当前项目也遇到了回答与问题偏离比较大的情况,所以找到了这篇文章,相信有不少朋友也遇到过同样的问题。原文来自Pincecon官网。文章的内容其实也比较泛泛,但对于刚涉及这个领域的人来说,这篇文章足够帮助理解面临的问题域。 和很多技术文章的毛病一样,文章缺少一些背景性的说明和过程性的解释,一些语词的指...
Clash接口查看 Clash 每次开机启动后都在任务栏里边,我们也可以通过任务栏图标开启,关闭Clash代理。 Clash 默认监听端口为 7890, 其他程序想要自定义设置代理,只需手工设置代理地址为: 127.0.0.1 端口:7890 即可。 一个端口同时支持 HTTP/SOCKS5 协议。 通过api方法添加代理 packag...
windows中安装NVIDIA的cudn和cudnn 。 安装cuda 下载 下载 https://developer.nvidia.com/cuda-toolkit 。 [图片] 。 如上图选择合适版本下载 。 安装 [图片] 。 如上图选择精简安装 。 验证 完成安装后校验: 。 。 在命令行中输入nvcc -V查看安装的版本。 ...
原文地址:https://blog.csdn.net/weixin_45242930/article/details/135356097
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/weixin_42950931/article/details/116603370
LLM基础资料整理:推理所需显存与速度 通过此文你可以了解以下几个方面的内容: 。 要运行一个LLM需要多少显存? (我的GPU可以运行多大LLM?) 不同LLM推理速度如何? 量化对显存,推理速度,性能的影响? vLLM,DeepSeed等工具加速效果如何? 上下文,batch-size对显存和推理的影响? 本文内容和测试数据主要来自...
最新推荐文章于 2024-06-30 16:10:31 发布Python老猿 最新推荐文章于 2024-06-30 16:10:31 发布阅读量998 收藏 22点赞数 18文章标签: langchain 人工智能 大模型 Agent ai大模型 LLM chatglm版权声明:本文为博主原创文章...
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/shgh_2004/article/details/135476491 。 版权 。 1 项目地址 https://github.com/THUDM/ChatGLM3 简介:C...