【白嫖】两块T4显卡共30Gb显存!自由部署Qwen-35B大模型?接入magpie | agent | API | Kaggle

【白嫖】两块T4显卡共30Gb显存!自由部署Qwen-35B大模型?接入magpie | agent | API | Kaggle

AI Pro 会员掉了,Agent 里的模型突然断供,这种时候最难受。

我不想再等哪家平台发善心,就把目光挪到 Kaggle 那两块免费的 T4 上。一块 15G 显存,两块拼起来 30G,一周还有 30 个小时额度,正好塞得下 Qwen3.6 35B 的 21G GGUF。

今天给大家分享的,就是怎么用一份现成 Notebook 把它跑起来,再接进 Magpie 和 Pi 里当自己的模型用。这功能非常好用。

修补代码我已经加进 Notebook 了,你们拿到链接直接 Run All 就行,不用再像视频里那样手动补一段加载 CUDA 的代码。

Magpie 模型列表里认出的 Qwen3.6 35B-A3B,渠道标着 T41
Magpie 模型列表里认出的 Qwen3.6 35B-A3B,渠道标着 T41

1. 先晒成果

先说结果,省得你们白折腾。

网页里问一句「你是什么模型」,它正常回,速度大概 34 token 每秒,写中篇小说的长任务稳在 40 token 左右。两块 T4 一起冒红,内存吃到 32G,看着就踏实。

也就是说,这不是一个能跑但慢得没法用的玩具。它给的是一条 OpenAI 兼容的地址,浏览器能聊,Agent 也能直接填。

llama-ui 对话窗口,输入框右下角挂着 qwen3.6 35B-A3B 模型标签
llama-ui 对话窗口,输入框右下角挂着 qwen3.6 35B-A3B 模型标签

2. 注册验真

第一步是用谷歌账号登录 Kaggle,用户名随便填一个就行。

下面是重点:登录完必须点头像做实名,不做这一步,两张显卡根本不给你开。找到 Account 里的 Phone verification,86 的号码也能用,有时是短信,有时会跳人脸校验,照着做完就好。

Kaggle 的身份验证弹窗,提示先验证账号才能使用加速资源
Kaggle 的身份验证弹窗,提示先验证账号才能使用加速资源

我那次卡在人脸校验上等了一会儿,万幸的是一次就过了。额度页面当时显示还剩 27 小时,因为我前面测试已经烧掉三个小时。

3. 导入笔记

认证完回首页,点左上角加号新建 Notebook。真不用自己写代码,项目里那份 2_run_server.ipynb 已经写好了。

用 File 里的 Import Notebook,把 GitHub 仓库地址粘进去,代码会自动导进来。接着是三个设置:填 username,右侧 Add Input 里搜用户名挂上 Qwen3.6 35B-A3B GGUF 和 llama-cpp-bin 两个数据集,最后进 Settings 把 Internet 打开。

导入后的 Notebook,Cell 1 是配置区,右侧列出两个已挂上的数据集
导入后的 Notebook,Cell 1 是配置区,右侧列出两个已挂上的数据集

第三个别漏,Accelerator 选 GPU T4 x2,默认那个是关的。点确认时会提醒你一周 30 小时,够用了。

Accelerator 弹窗,Turn on GPU T4 x2,写着每周 30 小时额度
Accelerator 弹窗,Turn on GPU T4 x2,写着每周 30 小时额度

设置完点 Run All,看着 Session 从 starting 变成绿色就好。

4. 跑通排错

原版项目有个坑,第三格会红一片,原因是没加载 GPU。

视频里我是手动补了一个代码格,粘贴运行加载 CUDA,再删掉重跑一遍才全绿。现在我分享的 Notebook 已经把这段修补代码内置了,你们照着链接复制过去,直接 Run All,不会看到那个红色报错。


# ══════════════════════════════════════════════════════════════════════════════
# STEP: Install CUDA Runtime Dependencies
# Fix missing libcudart.so.12 / libcublas.so.12
# ══════════════════════════════════════════════════════════════════════════════

import os
import sys
import site
import subprocess
from pathlib import Path

print("Installing CUDA 12 runtime libraries...")

subprocess.run([
    sys.executable, "-m", "pip", "install", "-q",
    "nvidia-cuda-runtime-cu12",
    "nvidia-cublas-cu12"
], check=True)

# ── Locate NVIDIA shared libraries ────────────────────────────────────────────

cuda_lib_dirs = []

for base in site.getsitepackages():
    nvidia_dir = Path(base) / "nvidia"

    if nvidia_dir.exists():
        for lib_name in ["libcudart.so.12", "libcublas.so.12"]:
            for lib in nvidia_dir.rglob(lib_name):
                cuda_lib_dirs.append(str(lib.parent))

# Remove duplicate paths
cuda_lib_dirs = list(dict.fromkeys(cuda_lib_dirs))

# ── Configure dynamic library search path ────────────────────────────────────

old_path = os.environ.get("LD_LIBRARY_PATH", "")

os.environ["LD_LIBRARY_PATH"] = ":".join(
    cuda_lib_dirs + ["/kaggle/working", old_path]
)

print("\nCUDA library directories:")
for path in cuda_lib_dirs:
    print("  ", path)

# ── Verify required libraries ────────────────────────────────────────────────

for lib_name in ["libcudart.so.12", "libcublas.so.12"]:
    found = any(
        (Path(path) / lib_name).exists()
        for path in cuda_lib_dirs
    )
    print(f"{'✅' if found else '❌'} {lib_name}")

print("\n✅ CUDA Runtime setup completed.")
Notebook 输出里两块 Tesla T4 与 30G 显存的检查结果
Notebook 输出里两块 Tesla T4 与 30G 显存的检查结果

然后就是等。模型 20 多个 G,往显存里写要花点时间,日志会一直刷 Still loading,我那次等了 135 秒,最后一行是 Server is ready,下面给了一个 localhost 地址和一个 trycloudflare.com 的公网链接。

Server is ready 与 Cloudflare Tunnel 给出的公网 URL
Server is ready 与 Cloudflare Tunnel 给出的公网 URL

这功能非常好用,不用账号、不用 token,匿名隧道直接把本地服务映射到公网。

5. 网页试跑

拿到链接点开,就是一个干净的对话窗口,和 ChatGPT 长得差不多,右下角挂着 qwen3.6 35B-A3B。

我先问了「你是什么模型」,34 token 每秒,首字也快;再让它写一篇中篇小说,长任务稳在 40 token 左右,输出很顺。参数页写着 35.51B、21.27 GB、248320 tokens,还能读图片和视频。

有个边界要提前说:它不能生成图片。我让它画一辆特斯拉,它只回了一段画面描述和 DALL·E、MidJourney 的提示词步骤,上传图片倒是可以。想拿它出图的朋友别抱期待。

6. 接进代理

网页版只是第一层,重点是把那个 /v1 地址接进自己的 Agent。

打开 Magpie,找到自定义供应商,名称我随手起了个 T4,Base URL 粘贴 trycloudflare 那条,协议选 OpenAI 兼容,密钥填 none 就行,本来就没设。点获取模型,它自动认出 Qwen3.6 35B,测一下通过,绿色保存。

Magpie 自定义供应商面板,填好 Base URL、账号与 API 密钥
Magpie 自定义供应商面板,填好 Base URL、账号与 API 密钥

Magpie 这套本地网关我之前专门写过一篇,怎么把各家模型统一接管给 Agent 用,讲得比这里细。

供应商设置页里已启用的 T41 渠道与 Qwen3.6 35B-A3B 模型
供应商设置页里已启用的 T41 渠道与 Qwen3.6 35B-A3B 模型

之后我在 Pi 里选了 T41 渠道,新建对话,模型栏显示 Qwen3.6 35B,问「你是什么模型」也能正常回。Codex、Claude Code 这些走同一条地址就行,不用一个个重配。

多终端、多 Agent 一起管这件事,站里也有另一篇实测,想折腾 Herdr 的可以顺手看。

7. 收尾提醒

整件事说白了,就是拿 Kaggle 的两块 T4 换一个自己能控的 35B 模型,网页能用,Agent 也能用。

最近谷歌那边的 AI Pro 会员掉了,临时缺模型的时候,这套可以拿来应急。它不是无限量,一周 30 小时,会话也得靠 Notebook 的保活循环撑着,断了重跑一次就行。

最省事的路径是直接用我修补过的 Notebook,别再照视频里手动补代码了。这点我踩过坑,不想你们再踩一遍。

需要的东西

© 版权声明
THE END
点赞7喜欢这个作者?支持一下吧! 分享
评论 共4条

请登录后发表评论

    • Ricky的头像-Appstoy-发现好软件,让AI更好用超级会员Ricky等级-LV10-Appstoy-发现好软件,让AI更好用作者0
    • Ricky的头像-Appstoy-发现好软件,让AI更好用超级会员Ricky等级-LV10-Appstoy-发现好软件,让AI更好用作者0