sf annotate

Manage preference annotation

sf annotate status                                   # 集成配好了没有
sf annotate push run-4f2a91 --limit 200              # 把回答送出去给人标注
sf annotate pull run-4f2a91 --dataset alice/prefs    # 把判断结果作为数据集取回

人工偏好标注，走部署方配置的 Argilla 实例。整个循环是：把某次 run 生成的回答送出去给人判断， 再把判断结果作为一个有版本的数据集取回来，用它训 DPO。

这里平台负责的是传输和治理，不是标注工具本身。sf annotate status 告诉你到底有没有接 Argilla—— 先看这个，因为没接的话后面每一步都会以很难理解的方式失败。

围绕这几个命令的完整流程见标注。

​

sf annotate

Manage preference annotation

sf annotate <subcommand>

命令	说明
sf annotate pull	Pull annotations back as a dataset
sf annotate push	Send answers out for annotation
sf annotate status	Check the Argilla integration

​

sf annotate pull

Pull annotations back as a dataset

sf annotate pull <DATASET> [options]

参数	说明
DATASET	Argilla dataset name (必填)

选项	说明
--into	Land them as a new version of this platform dataset; omit to only print the statistics
--version, -v	Dataset version; defaults to the date

​

sf annotate push

Send answers out for annotation

sf annotate push <RUN_A> <RUN_B> [options]

参数	说明
RUN_A	Run id of the first training run (必填)
RUN_B	Run id of the second training run (必填)

选项	说明
--dataset, -d	Argilla dataset name; synthesised when empty
--limit <int range>	How many pairs to push at most (默认 200)

​

sf annotate status

Check the Argilla integration

sf annotate status

除 --help 外没有其他选项。