【AI之路】使用Jan.ai在本地部署大模型开启AI对话（含通过huggingface下载大模型，实现大模型自由），AI部署之旅，使用Jan.ai本地大模型开启对话体验，通过huggingface实现大模型自由下载与自由应用，AI部署之旅，使用Jan.ai本地大模型开启对话体验，通过huggingface实现大模型自由下载与应用实战指南

摘要：通过Jan.ai在本地部署大模型，开启AI对话体验。用户可以轻松通过huggingface下载大模型，实现大模型的自由使用和下载。这段旅程展示了AI部署的过程，让更多人了解并体验AI的魅力。使用Jan.ai本地大模型，开启智能对话新纪元，让AI更贴近人们的生活。

借助Jan.ai，实现在本地计算机上部署大模型，从而轻松开启AI对话的新篇章，通过从huggingface下载大模型文件，实现大模型的自由运用，这一技术进展为人工智能领域带来便捷，推动AI技术的普及和发展，为各行各业注入无限可能。

文章目录：

2023年，作为AIGC的元年，我们或多或少都感受到了GPT带来的变革，虽然不能直接使用ChatGPT，但我们可以通过国内的大模型进行替代，更激动人心的是，我们可以把这些大模型部署在本地电脑上运行。

Jan.ai介绍

Jan.ai是一款可在本地计算机上运行的ChatGPT替代品，拥有本地API服务器，它在用户的机器上100%运行，预测、私密且离线，无需互联网连接，Jan.ai支持Mac、Windows和Linux系统，提供简洁的界面供用户下载和使用流行的开源模型，如LLMA和Mixol等。

在Jan.ai的官方网站上（https://jan.ai），你可以轻松下载对应系统的版本，安装后，桌面上会出现一个可爱的Jan图标，首次运行时，除了默认的Open AI的在线API接口，其他大模型需要先下载后才能使用，只需点击“Download”开始下载大模型文件，完成后点击“Use”即可进入对话模式。

下载大模型

1、找到大模型文件地址

打开Jan.ai的用户安装目录（一般在%UserProfile%/jan），进入models目录，你可以看到已经下载的大模型文件，每个大模型的目录下都有一个model.json文件，打开它，你将看到大模型的源URL、ID等信息，复制源URL。

2、使用huggingface_hub包下载大模型

由于在国内直接下载大模型可能会遇到困难，推荐使用huggingface_hub包来解决这个问题，这个包可以优雅地处理大模型的下载难题。

安装huggingface_hub包（通过pip install huggingface_hub），然后使用以下Python代码下载大模型：

在这里插入Python代码

这段代码将从给定的源URL下载大模型文件，并将其保存在指定的本地目录中，请确保替换代码中的源URL、本地目录等参数为你自己的值，运行代码后，你将开始下载大模型文件，下载完成后，你可以在指定的本地目录中找到保存的大模型文件，这样你就可以在本地使用Jan.ai调用大模型进行对话了。