To 作者

[741012278]

ZJU的同学你好，我是HDU的研究生，最近我也有复现这篇Anti-Distillation Backdoor Attacks的文章，对这篇工作是否能达到效果有质疑，请问同学可否私下交流一下idea。十分感谢🙏！v：bafeiteplus

[brcarry]

您好，在实验中，如果仅仅根据文章描述的训练得到mask和pattern，实际效果并不好（asr较低）。
我是在得到mask和pattern后。固定mask和pattern，使用badnet的方法进一步让模型学习后门，这样得到的asr较高。
当然固定mask和pattern这步在原始论文中并没有提及，发邮件联系作者也没有得到回复，所以并不确定对方实际训练的时候，有没有用这个trick。

[YuanShunJie1]

同学 你好 “我是在得到mask和pattern后。固定mask和pattern，使用badnet的方法进一步让模型学习后门，这样得到的asr较高。”，我想问一下，这句话的意思是在得到触发器之后，在训练学生模型的过程中需要在数据集中添加触发器并改变样本标签吗？请问可以加一下微信讨论一下吗

[brcarry]

同学 你好 “我是在得到mask和pattern后。固定mask和pattern，使用badnet的方法进一步让模型学习后门，这样得到的asr较高。”，我想问一下，这句话的意思是在得到触发器之后，在训练学生模型的过程中需要在数据集中添加触发器并改变样本标签吗？请问可以加一下微信讨论一下吗

你好！代码总体逻辑是这样的：在第一阶段和原文保持一致动态更新trigger，但效果（asr）不佳；所以我额外增加了第二阶段，固定trigger训练后门，这是和文章有出入的（文章没有明说是否使用了这个trick）。
并不是将后门直接加在学生模型（server model）上，而是在local model的训练的第二阶段。
具体的实现可以看main.py中第149~175行：

ADBA/main.py

Lines 149 to 175 in 98490bf

	print("------------------ Extra epoch ------------------")
	# 用badnet的方法进行巩固
	ratio=0.3 # 毒化率
	trigger = pattern_nc.cuda().detach()
	mask = mask_nc.cuda().detach()
	for iter in tqdm(range(self.args.local_ep)):
	model.train()
	for batch_idx, (images, labels) in enumerate(self.train_loader):
	images, labels = images.cuda(), labels.cuda()
	index = math.ceil(images.shape[0] * ratio)
	image_trigger = images[0:index, :, :, :]
	image_trigger = add_trigger(image_trigger, mask, trigger)
	images[0:index, :, :, :] = image_trigger
	optimizer_for_teacher.zero_grad()
	output = model(images)
	labels[0:index] = target_label
	loss = F.cross_entropy(output, labels)
	loss.backward()
	optimizer_for_teacher.step()
	model.eval()
	acc, test_loss = test(model, test_loader)
	model.eval()
	acc, test_loss = test(model, test_loader)

可以加微信交流哦~
我的微信号是T1Fakerr，不过我现在并不继续AI安全方面的科研了，可能帮助有限。

[ChangzhengChen]

作者你好，我是刚接触到大小模型安全这个方向的内容，找到了你关于这篇文章的复现代码，我看到你的代码中是把多个模型assemble之后作为教师模型，但是文章里面好像教师模型只有一个？这个部分是不是与文章有些差错，还是我的理解有一点问题呢？

[brcarry]

作者你好，我是刚接触到大小模型安全这个方向的内容，找到了你关于这篇文章的复现代码，我看到你的代码中是把多个模型assemble之后作为教师模型，但是文章里面好像教师模型只有一个？这个部分是不是与文章有些差错，还是我的理解有一点问题呢？

你好！你的观察是对的：“代码中是把多个模型assemble之后作为教师模型，但是文章里面好像教师模型只有一个”

这是因为本项目的代码是在DENSE的基础上进行修改得到的，这一点可以在README中看到。DENSE是联邦学习场景下做One-shot Learning，所以你能看到代码中是把多个模型聚合之后作为教师模型。

那么，只要我们把教师模型中所聚合的模型数量设为1，就可以复现Anti Distillation Backdoor Attacks论文中的场景了。

可以对比一下DENSE项目loop_df_fl.py中第222~332行

    if args.type == "pretrain":
        # ===============================================
        for idx in range(args.num_users):
            print("client {}".format(idx))
            users.append("client_{}".format(idx))
            local_model = LocalUpdate(args=args, dataset=train_dataset,
                                      idxs=user_groups[idx])
            w, local_acc = local_model.update_weights(copy.deepcopy(global_model), idx)

            acc_list.append(local_acc)
            local_weights.append(copy.deepcopy(w))

与ADBA(本项目) main.py中第350~356行

    if args.type == "pretrain":
        # ===============================================
        local_model = LocalUpdate_with_mask(args=args, dataset=train_dataset)
        w_poison, local_acc_poison = local_model.update_weights(copy.deepcopy(global_model))

        acc_list.append(local_acc_poison)
        local_weights.append(copy.deepcopy(w_poison))

希望能帮助到你。
（现在看来当时写的确实不好，服务端蒸馏时不应该复用DENSE里聚合教师模型的代码，导致引起歧义。明确的把这部分代码改写成只有一个教师模型会更容易理解）