feature squeeze 检测器

[zhanghqq]

请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。

[RjDuan]

您好，请问您说的特征压缩具体指的是哪个工作呢？ tianxianbaoba ***@***.***> 于2022年10月4日周二 17:23写道：

…

请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 — Reply to this email directly, view it on GitHub <#17>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[zhanghqq]

您好，感谢您的回复。feature squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 祝好！

…

---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 上午10:29 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 您好，请问您说的特征压缩具体指的是哪个工作呢？ tianxianbaoba ***@***.***&gt; 于2022年10月4日周二 17:23写道： &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; <#17&gt;, or unsubscribe &gt; <https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you are subscribed to this thread.Message &gt; ID: ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

[RjDuan]

了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： def (adv_imgs, defense_method): adv_imgs_d = defense_method(adv_imgs) //defense method 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = 100）\\通过调整q可以让成功率更高 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 tianxianbaoba ***@***.***> 于2022年10月8日周六 10:48写道：

…

您好，感谢您的回复。feature squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 祝好！ ---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 上午10:29 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 您好，请问您说的特征压缩具体指的是哪个工作呢？ tianxianbaoba ***@***.***&gt; 于2022年10月4日周二 17:23写道： &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; <#17&gt;, or unsubscribe &gt; < https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you are subscribed to this thread.Message &gt; ID: ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt; — Reply to this email directly, view it on GitHub <#17 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A> . You are receiving this because you commented.Message ID: ***@***.***>

[zhanghqq]

您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？

…

---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 中午11:38 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： def (adv_imgs, defense_method): adv_imgs_d = defense_method(adv_imgs) //defense method 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = 100）\\通过调整q可以让成功率更高 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 10:48写道： &gt; 您好，感谢您的回复。feature &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; 祝好！ &gt; &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月4日周二 17:23写道： &gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; <#17&amp;gt;, or unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you are subscribed to this &gt; thread.Message &gt; &amp;gt; ID: ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; <#17 (comment)&gt;, or &gt; unsubscribe &gt; <https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

[RjDuan]

emmmm，可能我在文章里应该再写一下防御成功的标准是什么。 例如对于untargeted attack，改定一个data point, (x, y), 经过攻击后 f(x_adv) ≠ y即为成功的attack。 那这时候，如果我们考虑防御的话， 我们记 这个防御为一种对图像的transformation 为 t(.), 防御成功的标准是 f(t(x_adv)) = y. ，检测这个结果包装为函数check(), 所以我理解得先进入model才对？ 可能不同文章对于防御成功的定义不一样，检测和防御的逻辑可能也有些许不一样，按照你的需要来。 tianxianbaoba ***@***.***> 于2022年10月8日周六 13:12写道：

…

您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？ ---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 中午11:38 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： def (adv_imgs, defense_method): adv_imgs_d = defense_method(adv_imgs) //defense method 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = 100）\\通过调整q可以让成功率更高 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 10:48写道： &gt; 您好，感谢您的回复。feature &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; 祝好！ &gt; &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月4日周二 17:23写道： &gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; <#17&amp;gt;, or unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you are subscribed to this &gt; thread.Message &gt; &amp;gt; ID: ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; < #17 (comment)&gt;, or &gt; unsubscribe &gt; < https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt; — Reply to this email directly, view it on GitHub <#17 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKEPNZ3ONVCAXVL4TFPEFC3WCD7CZANCNFSM6AAAAAAQ4L7I7A> . You are receiving this because you commented.Message ID: ***@***.***>

[zhanghqq]

您说的是防御的过程，我理解了。可能一开始的问题我没有说明白，抱歉。 我想问的是检测的工作，比如特征压缩的检测器。将样本图片和样本处理后的图片送入网络，计算预测结果的L1分数，通过阈值来判定样本是否为对抗样本，通过以上步骤可以将对抗样本找出来，不过这样存在误判(干净的认为是恶意的)和漏判(恶意的认为是干净的)。不知道您是否按照特征压缩检测器的标准来测试advdrop的对抗样本。比如漏判率很高的话，可以证明advdrop更难检测。

…

---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 下午2:03 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) emmmm，可能我在文章里应该再写一下防御成功的标准是什么。 例如对于untargeted attack，改定一个data point, (x, y), 经过攻击后 f(x_adv) ≠ y即为成功的attack。 那这时候，如果我们考虑防御的话， 我们记 这个防御为一种对图像的transformation 为 t(.), 防御成功的标准是 f(t(x_adv)) = y. ，检测这个结果包装为函数check(), 所以我理解得先进入model才对？ 可能不同文章对于防御成功的定义不一样，检测和防御的逻辑可能也有些许不一样，按照你的需要来。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 13:12写道： &gt; 您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " &gt; 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？ &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 中午11:38 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： &gt; def (adv_imgs, defense_method): &gt; adv_imgs_d = defense_method(adv_imgs) //defense method &gt; 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 &gt; check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 &gt; 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 &gt; 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = &gt; 100）\\通过调整q可以让成功率更高 &gt; 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月8日周六 10:48写道： &gt; &gt; &amp;gt; 您好，感谢您的回复。feature &gt; &amp;gt; &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; &amp;gt; &gt; &amp;gt; 祝好！ &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; ---原始邮件--- &gt; &amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;gt; &gt; &amp;gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; &amp;gt; 收件人: ***@***.***&amp;amp;gt;; &gt; &amp;gt; 抄送: ***@***.******@***.***&amp;amp;gt;; &gt; &amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &amp;gt; &gt; &amp;gt; tianxianbaoba ***@***.***&amp;amp;gt; 于2022年10月4日周二 17:23写道： &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; <#17&amp;amp;gt;, or &gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; You are receiving this because you are subscribed to this &gt; &amp;gt; thread.Message &gt; &amp;gt; &amp;amp;gt; ID: ***@***.***&amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; &amp;gt; You are receiving this because you authored the thread.Message ID: &gt; &amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; < &gt; #17 (comment)&amp;gt;, &gt; or &gt; &amp;gt; unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; <#17 (comment)&gt;, or &gt; unsubscribe &gt; <https://github.com/notifications/unsubscribe-auth/AKEPNZ3ONVCAXVL4TFPEFC3WCD7CZANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

[RjDuan]

哦，这样啊，没有呢，因为评估时用的防御方法比较多，没有按照某一个文章的标准来测试，抱歉啦。 tianxianbaoba ***@***.***> 于2022年10月8日周六 14:47写道：

…

您说的是防御的过程，我理解了。可能一开始的问题我没有说明白，抱歉。 我想问的是检测的工作，比如特征压缩的检测器。将样本图片和样本处理后的图片送入网络，计算预测结果的L1分数，通过阈值来判定样本是否为对抗样本，通过以上步骤可以将对抗样本找出来，不过这样存在误判(干净的认为是恶意的)和漏判(恶意的认为是干净的)。不知道您是否按照特征压缩检测器的标准来测试advdrop的对抗样本。比如漏判率很高的话，可以证明advdrop更难检测。 ---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 下午2:03 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) emmmm，可能我在文章里应该再写一下防御成功的标准是什么。 例如对于untargeted attack，改定一个data point, (x, y), 经过攻击后 f(x_adv) ≠ y即为成功的attack。 那这时候，如果我们考虑防御的话， 我们记 这个防御为一种对图像的transformation 为 t(.), 防御成功的标准是 f(t(x_adv)) = y. ，检测这个结果包装为函数check(), 所以我理解得先进入model才对？ 可能不同文章对于防御成功的定义不一样，检测和防御的逻辑可能也有些许不一样，按照你的需要来。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 13:12写道： &gt; 您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " &gt; 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？ &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 中午11:38 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： &gt; def (adv_imgs, defense_method): &gt; adv_imgs_d = defense_method(adv_imgs) //defense method &gt; 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 &gt; check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 &gt; 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 &gt; 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = &gt; 100）\\通过调整q可以让成功率更高 &gt; 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月8日周六 10:48写道： &gt; &gt; &amp;gt; 您好，感谢您的回复。feature &gt; &amp;gt; &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; &amp;gt; &gt; &amp;gt; 祝好！ &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; ---原始邮件--- &gt; &amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;gt; &gt; &amp;gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; &amp;gt; 收件人: ***@***.***&amp;amp;gt;; &gt; &amp;gt; 抄送: ***@***.******@***.***&amp;amp;gt;; &gt; &amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &amp;gt; &gt; &amp;gt; tianxianbaoba ***@***.***&amp;amp;gt; 于2022年10月4日周二 17:23写道： &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; < #17&amp;amp;gt;, or &gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; You are receiving this because you are subscribed to this &gt; &amp;gt; thread.Message &gt; &amp;gt; &amp;amp;gt; ID: ***@***.***&amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; &amp;gt; You are receiving this because you authored the thread.Message ID: &gt; &amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; < &gt; #17 (comment)&amp;gt;, &gt; or &gt; &amp;gt; unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; < #17 (comment)&gt;, or &gt; unsubscribe &gt; < https://github.com/notifications/unsubscribe-auth/AKEPNZ3ONVCAXVL4TFPEFC3WCD7CZANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt; — Reply to this email directly, view it on GitHub <#17 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKEPNZYCZVZCPMULZGAGSE3WCEKHFANCNFSM6AAAAAAQ4L7I7A> . You are receiving this because you commented.Message ID: ***@***.***>

[zhanghqq]

感谢您耐心的解答，问的问题也比较多，占用了您很多时间，祝您工作顺利，生活愉快！

…

---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 下午4:35 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 哦，这样啊，没有呢，因为评估时用的防御方法比较多，没有按照某一个文章的标准来测试，抱歉啦。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 14:47写道： &gt; 您说的是防御的过程，我理解了。可能一开始的问题我没有说明白，抱歉。 &gt; 我想问的是检测的工作，比如特征压缩的检测器。将样本图片和样本处理后的图片送入网络，计算预测结果的L1分数，通过阈值来判定样本是否为对抗样本，通过以上步骤可以将对抗样本找出来，不过这样存在误判(干净的认为是恶意的)和漏判(恶意的认为是干净的)。不知道您是否按照特征压缩检测器的标准来测试advdrop的对抗样本。比如漏判率很高的话，可以证明advdrop更难检测。 &gt; &gt; &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 下午2:03 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; emmmm，可能我在文章里应该再写一下防御成功的标准是什么。 &gt; 例如对于untargeted attack，改定一个data point, (x, y), 经过攻击后 f(x_adv) ≠ &gt; y即为成功的attack。 &gt; 那这时候，如果我们考虑防御的话， 我们记 这个防御为一种对图像的transformation 为 t(.), &gt; 防御成功的标准是 f(t(x_adv)) = y. ，检测这个结果包装为函数check(), 所以我理解得先进入model才对？ &gt; 可能不同文章对于防御成功的定义不一样，检测和防御的逻辑可能也有些许不一样，按照你的需要来。 &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月8日周六 13:12写道： &gt; &gt; &amp;gt; 您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " &gt; &amp;gt; &gt; 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？ &gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; ---原始邮件--- &gt; &amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;gt; &gt; &amp;gt; 发送时间: 2022年10月8日(周六) 中午11:38 &gt; &amp;gt; 收件人: ***@***.***&amp;amp;gt;; &gt; &amp;gt; 抄送: ***@***.******@***.***&amp;amp;gt;; &gt; &amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： &gt; &amp;gt; def (adv_imgs, defense_method): &gt; &amp;gt; adv_imgs_d = defense_method(adv_imgs) //defense method &gt; &amp;gt; 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 &gt; &amp;gt; check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 &gt; &amp;gt; 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 &gt; &amp;gt; 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = &gt; &amp;gt; 100）\\通过调整q可以让成功率更高 &gt; &amp;gt; 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 &gt; &amp;gt; &gt; &amp;gt; tianxianbaoba ***@***.***&amp;amp;gt; 于2022年10月8日周六 10:48写道： &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; 您好，感谢您的回复。feature &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 祝好！ &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; ---原始邮件--- &gt; &amp;gt; &amp;amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; &amp;gt; &amp;amp;gt; 收件人: ***@***.***&amp;amp;amp;gt;; &gt; &amp;gt; &amp;amp;gt; 抄送: ***@***.******@***.***&amp;amp;amp;gt;; &gt; &amp;gt; &amp;amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; tianxianbaoba ***@***.***&amp;amp;amp;gt; 于2022年10月4日周二 17:23写道： &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; < &gt; #17&amp;amp;amp;gt;, or &gt; &amp;gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; < &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; You are receiving this because you are &gt; subscribed to this &gt; &amp;gt; &amp;amp;gt; thread.Message &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; ID: ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub, or &gt; unsubscribe. &gt; &amp;gt; &amp;amp;gt; You are receiving this because you authored the &gt; thread.Message ID: &gt; &amp;gt; &amp;amp;gt; ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; #17 (comment)&amp;amp;gt;, &gt; &gt; &amp;gt; or &gt; &amp;gt; &amp;amp;gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; &amp;amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; &amp;gt; You are receiving this because you authored the thread.Message ID: &gt; &amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; < &gt; #17 (comment)&amp;gt;, &gt; or &gt; &amp;gt; unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ3ONVCAXVL4TFPEFC3WCD7CZANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; <#17 (comment)&gt;, or &gt; unsubscribe &gt; <https://github.com/notifications/unsubscribe-auth/AKEPNZYCZVZCPMULZGAGSE3WCEKHFANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

[RjDuan]

客气了，希望我的回答对您有所帮助，也祝您科研顺利，生活愉快~！ tianxianbaoba ***@***.***> 于2022年10月8日周六 16:41写道：

…

感谢您耐心的解答，问的问题也比较多，占用了您很多时间，祝您工作顺利，生活愉快！ ---原始邮件--- 发件人: "Ranjie ***@***.***&gt; 发送时间: 2022年10月8日(周六) 下午4:35 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) 哦，这样啊，没有呢，因为评估时用的防御方法比较多，没有按照某一个文章的标准来测试，抱歉啦。 tianxianbaoba ***@***.***&gt; 于2022年10月8日周六 14:47写道： &gt; 您说的是防御的过程，我理解了。可能一开始的问题我没有说明白，抱歉。 &gt; 我想问的是检测的工作，比如特征压缩的检测器。将样本图片和样本处理后的图片送入网络，计算预测结果的L1分数，通过阈值来判定样本是否为对抗样本，通过以上步骤可以将对抗样本找出来，不过这样存在误判(干净的认为是恶意的)和漏判(恶意的认为是干净的)。不知道您是否按照特征压缩检测器的标准来测试advdrop的对抗样本。比如漏判率很高的话，可以证明advdrop更难检测。 &gt; &gt; &gt; &gt; &gt; ---原始邮件--- &gt; 发件人: "Ranjie ***@***.***&amp;gt; &gt; 发送时间: 2022年10月8日(周六) 下午2:03 &gt; 收件人: ***@***.***&amp;gt;; &gt; 抄送: ***@***.******@***.***&amp;gt;; &gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &gt; &gt; &gt; &gt; emmmm，可能我在文章里应该再写一下防御成功的标准是什么。 &gt; 例如对于untargeted attack，改定一个data point, (x, y), 经过攻击后 f(x_adv) ≠ &gt; y即为成功的attack。 &gt; 那这时候，如果我们考虑防御的话， 我们记 这个防御为一种对图像的transformation 为 t(.), &gt; 防御成功的标准是 f(t(x_adv)) = y. ，检测这个结果包装为函数check(), 所以我理解得先进入model才对？ &gt; 可能不同文章对于防御成功的定义不一样，检测和防御的逻辑可能也有些许不一样，按照你的需要来。 &gt; &gt; tianxianbaoba ***@***.***&amp;gt; 于2022年10月8日周六 13:12写道： &gt; &gt; &amp;gt; 您好！这句话话"check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 " &gt; &amp;gt; &gt; 我可以理解成这样吗？例如，生成的adv-img经过空间平滑检测器，并未检测出它是恶意的样本(即L1分数小于阈值)，之后该adv-img进入model，通过check函数统计进入model的adv-img的个数。从而体现出检测器检测对抗样本的性能？ &gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; ---原始邮件--- &gt; &amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;gt; &gt; &amp;gt; 发送时间: 2022年10月8日(周六) 中午11:38 &gt; &amp;gt; 收件人: ***@***.***&amp;amp;gt;; &gt; &amp;gt; 抄送: ***@***.******@***.***&amp;amp;gt;; &gt; &amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; &gt; &amp;gt; 了解了，有测试的，对于改变图像类的方法（例如您说的颜色降bit或者平滑），整个测试逻辑是这样的： &gt; &amp;gt; def (adv_imgs, defense_method): &gt; &amp;gt; adv_imgs_d = defense_method(adv_imgs) //defense method &gt; &amp;gt; 选的都是开源的方法，去找一下，对应的改在这里就好，feature squeeze和jpeg比较简单自己写也行的。 &gt; &amp;gt; check(model.forward(adv_imgs_d)) // check 就是检测是否成功防御住 &gt; &amp;gt; 其中adv_imgs 是advdrop生成后直接调用的，adv training的话，也是选取开源的adv trained model。 &gt; &amp;gt; 我记得测试结果来说，targeted attack是不大行的，untargeted attack 还不错（q = &gt; &amp;gt; 100）\\通过调整q可以让成功率更高 &gt; &amp;gt; 刚刚翻了一遍之前的代码备份，这一部分，确实当时没保留，后来服务器注销了，现在也没法找到了，很抱歉啊。 &gt; &amp;gt; &gt; &amp;gt; tianxianbaoba ***@***.***&amp;amp;gt; 于2022年10月8日周六 10:48写道： &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; 您好，感谢您的回复。feature &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; squeeze论文设计了检测器:颜色比特位减少和空间平滑来检测样本，可以评估召回率，漏报率等指标。不知道您是否验证了advdrop面对该检测器时，逃避检测的性能。 &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 祝好！ &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; ---原始邮件--- &gt; &amp;gt; &amp;amp;gt; 发件人: "Ranjie ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 发送时间: 2022年10月8日(周六) 上午10:29 &gt; &amp;gt; &amp;amp;gt; 收件人: ***@***.***&amp;amp;amp;gt;; &gt; &amp;gt; &amp;amp;gt; 抄送: ***@***.******@***.***&amp;amp;amp;gt;; &gt; &amp;gt; &amp;amp;gt; 主题: Re: [RjDuan/AdvDrop] feature squeeze 检测器 (Issue #17) &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; 您好，请问您说的特征压缩具体指的是哪个工作呢？ &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; tianxianbaoba ***@***.***&amp;amp;amp;gt; 于2022年10月4日周二 17:23写道： &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; 请问，您尝试过生成大量对抗样本，使用特征压缩中设计的检测器进行评估了吗？就是检测性能如何，我看您防御实验是通过添加防御模型进行攻击成功率的评估。 &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; < &gt; #17&amp;amp;amp;gt;, or &gt; &amp;gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; < &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ4FABYEHUXFMR7E5I3WBPZRTANCNFSM6AAAAAAQ4L7I7A&amp;amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; You are receiving this because you are &gt; subscribed to this &gt; &amp;gt; &amp;amp;gt; thread.Message &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; ID: ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub, or &gt; unsubscribe. &gt; &amp;gt; &amp;amp;gt; You are receiving this because you authored the &gt; thread.Message ID: &gt; &amp;gt; &amp;amp;gt; ***@***.***&amp;amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; — &gt; &amp;gt; &amp;amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; #17 (comment)&amp;amp;gt;, &gt; &gt; &amp;gt; or &gt; &amp;gt; &amp;amp;gt; unsubscribe &gt; &amp;gt; &amp;amp;gt; < &gt; &amp;gt; &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ25RICE3VD6MRBXBODWCDOHFANCNFSM6AAAAAAQ4L7I7A&amp;amp;gt; &gt; &gt; &amp;gt; &gt; &amp;gt; &amp;amp;gt; . &gt; &amp;gt; &amp;amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; &amp;amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; &amp;gt; You are receiving this because you authored the thread.Message ID: &gt; &amp;gt; ***@***.***&amp;amp;gt; &gt; &amp;gt; &gt; &amp;gt; — &gt; &amp;gt; Reply to this email directly, view it on GitHub &gt; &amp;gt; < &gt; #17 (comment)&amp;gt;, &gt; or &gt; &amp;gt; unsubscribe &gt; &amp;gt; < &gt; https://github.com/notifications/unsubscribe-auth/AKEPNZ3ONVCAXVL4TFPEFC3WCD7CZANCNFSM6AAAAAAQ4L7I7A&amp;gt; &gt; &gt; &amp;gt; . &gt; &amp;gt; You are receiving this because you commented.Message ID: &gt; &amp;gt; ***@***.***&amp;gt; &gt; &amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub, or unsubscribe. &gt; You are receiving this because you authored the thread.Message ID: &gt; ***@***.***&amp;gt; &gt; &gt; — &gt; Reply to this email directly, view it on GitHub &gt; < #17 (comment)&gt;, or &gt; unsubscribe &gt; < https://github.com/notifications/unsubscribe-auth/AKEPNZYCZVZCPMULZGAGSE3WCEKHFANCNFSM6AAAAAAQ4L7I7A&gt; &gt; . &gt; You are receiving this because you commented.Message ID: &gt; ***@***.***&gt; &gt; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt; — Reply to this email directly, view it on GitHub <#17 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKEPNZ7GWUKJTXE3VCOX73LWCEXSXANCNFSM6AAAAAAQ4L7I7A> . You are receiving this because you commented.Message ID: ***@***.***>