#AI开源项目推荐:LlamaGPT
一个类似于ChatGPT的应用服务,但是可以运行在本机或者局域网中,不用担心数据泄露的风险。
背后的LLM是用的Llama 2,它是基于 ggml 调用LLM,所以没有好显卡也能运行,只是速度会慢一些。另外模型越大,需要的内存也越高。
从其公布的数据来看,7B需要8G内存,13B需要16G,70B则需要48G内存。
7B在M1 Max MacBook Pro (10 64GB RAM)的速度大约是8.2 tokens/sec
13B在M1 Max MacBook Pro (64GB RAM)的速度大约是3.7 tokens/sec
目前还没公布70B的性能参数,不过M1笔记本是不建议跑70B的了,还是得要块好显卡才行。
有兴趣的可以试试:
https://t.co/7Ds8kn3F7X