Tinker:全面可用与视觉输入

今天我们宣布 Tinker 的四项更新:

  • 不再需要等候名单
  • 新的推理模型:Kimi K2 Thinking
  • 新的推理接口,兼容 OpenAI API
  • Qwen3-VL 的视觉输入支持

全面可用

等候名单结束!现在每个人都可以使用 Tinker 了;在这里注册即可开始。可用模型和定价见 Tinker 主页,代码示例见 Tinker cookbook

使用 Kimi K2 Thinking 获得更多推理能力

用户现在可以在 Tinker 上微调 Kimi K2 Thinking。Kimi K2 拥有一万亿参数,是目前我们阵容中最大的模型。它为长链路推理和工具使用而构建。

兼容 OpenAI API 的采样

Tinker 有一个标准推理函数:

prompt = types.ModelInput.from_ints(tokenizer.encode("The capital of France is",))
params = types.SamplingParams(max_tokens=20, temperature=0.0, stop=["\n"])
future = sampling_client.sample(prompt=prompt, sampling_params=params)

随着这次发布,我们新增了 OpenAI API 兼容的脚手架,只需指定路径,就能在模型仍在训练时快速进行采样。这也意味着 Tinker 现在可以即插即用地接入任何兼容 OpenAI API 的平台。更多信息见我们的 Tinker 文档

response = openai_client.completions.create(
    model="tinker://0034d8c9-0a88-52a9-b2b7-bce7cb1e6fef:train:0/sampler_weights/000080",
    prompt="The capital of France is",
    max_tokens=20,
    temperature=0.0,
    stop=["\n"],
)

使用 Qwen3-VL 进行视觉输入

我们向 Tinker 新增了两个视觉模型:Qwen3-VL-30B-A3B-Instruct 和 Qwen3-VL-235B-A22B-Instruct。借助它们,用户可以处理图片、截图和图表,应用场景丰富。

要输入图片,只需把一个 ImageChunk(由你的图片字节组成)与文本块交错即可。例如:

model_input = tinker.ModelInput(chunks=[
  tinker.types.ImageChunk(data=image_data, format="png"),
  tinker.types.EncodedTextChunk(tokens=tokenizer.encode("What is this?")),
])

这些视觉输入可以直接用于多种应用,包括 SFT 和 RL 微调。

为了演示视觉理解的效果,我们分享了一个将 VLM 微调为图像分类器的新 cookbook 配方。Qwen3-VL-235B-A22B-Instruct 即使每类只有一个样本也能获得不错的准确率;更多标注数据会带来更好的表现。

使用 Tinker 训练图像分类器

为了展示 Tinker 的新视觉能力,我们对 Qwen3-VL-235B-A22B-Instruct 进行了微调,用它来对四个经典数据集的图片进行分类:

由于 Qwen3-VL 是一个语言模型,我们把分类视为文本生成:给定一张图片,模型输出类别名称。我们将这种方法与传统视觉基线——微调仅视觉模型 DINOv2-base——进行对比。DINOv2 是一个自监督视觉 Transformer,被训练来编码图像,常用作纯视觉任务的骨干网络。对于 DINOv2,我们添加了一个分类头来预测所有 N 个类别的分布。两个模型都使用 LoRA 进行微调。

对于许多真实世界的用例,标注图像数据很稀缺,因此数据效率是我们关注的首要指标。我们展示了在跨越每类标注样本数量时的分类准确率,从只提供一个样本开始。

比较微调后的 Qwen3-VL-235-A22B 和 DINOv2 在简单图像分类任务上的表现。

在小数据场景下,Qwen3-VL-235-A22B 优于 DINOv2。它不仅参数更大,作为 VLM,它还自带语言知识(例如什么是“金毛”或“向日葵”)。Qwen3-VL 这种通用的语言+视觉能力也让它可以现成地用于分类之外的视觉任务。

节日快乐

Tinker 的使命是帮助建设者和研究者训练、定制最先进的模型。一如既往,我们期待看到你用 Tinker 打造的成果。节日快乐!