互联网

本地化部署类ChatGPT服务,搭配贝锐花生壳实现无公网IP远程访问

来源:互联网    作者:      2023年07月10日 09:24

导语:

Stable Diffuison Web UI是最近非常热门AI绘图工具,它可将非常复杂的AI绘画流程转化为可视化的网页界面。在类ChatGPT大型语言模型方面,同样也有类似的开源工具——Text generation web UI(github项目:oobabooga/text-generation-webui)。

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面,不仅可以提高使用效率,还可满足私有化部署,或对模型进行自定义。目前,该Web UI已经支持了许多流行的语言模型,包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等。

而且,Text generation web UI部署非常简便,不仅在github主页上直接提供了一键部署安装包,同时由于是web UI形式,如果需要远程访问、使用,也可搭配贝锐花生壳之类的内网穿透工具,在没有公众IP、不设置路由的情况下,快速实现异地访问,打造私有的类ChatGPT服务。

Text generation web UI本地部署+贝锐花生壳内网穿透实现远程访问的过程如下:

Text generation web UI本地部署

1.在github主页下载系统对应的一键安装包,以Windows为例,运行start_windows.bat即可一键下载依赖环境,并自动安装。

2.完成后,进入Text generation web UI所在的目录,下载所需的语言模型,具体可看github主页,例如使用如下命令:

python download-model.py facebook/opt-1.3b

3.完成模型下载后,再次运行start_windows.bat就能启动Web UI,不过此时只能本地浏览器访问,如需远程或外部使用,还需搭配贝锐花生壳内网穿透,安装部署过程同样简便。

贝锐花生壳内网穿透安装&设置

1.首先,在贝锐官网下载、安装花生壳的客户端,并在安装完成后,登录注册好的贝锐帐号。

值得一提的是,花生壳除了支持Windows、Mac、Linux、树莓派、OpenWRT、Android等多种操作系统及设备,还提供了硬件——花生壳盒子,适用于一些不方便安装软件客户端的场景。

2.在花生壳主界面的内网穿透一栏点击添加映射,进入云端管理平台,根据提示信息填写,提交后就会自动生成外网访问地址。

3.当用户需要远程访问Text generation web UI时,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。

总之,使用贝锐花生壳实现远程访问Text generation web UI的过程非常简便,只需要根据上述步骤进行操作就行,如果对私有化的类ChatGPT服务有所需求,不妨可以参考下。


(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号