Квантизация моделей компьютерного зрения

В репозитории представлено сравнение влияние двух методов квантизации (статической и динамической) на использование вычислительных ресурсов и точность моделей компьютерного зрения. В качестве моделей были использованы две схожие по accuracy модели, но имеющие существенные отличия в числе параметров:

Источник

Модель	Число параметров (М)	Top-1 Accuracy	Top-5 Accuracy	FLOPs (G)
resnet-50	25.56	80.13	94.50	4.11
efficientnet-b3	12.23	80.43	95.35	0.06

В качестве наборов данных использовались CIFAR-100 (100 классов, 32х32) и TinyImageNet (200 классов, 64х64).

4 комбинации датасет-модель были обучены на 30 эпохах с использованием фиксированного пайплайна, включающего повышение разрешения изображений до 128х128.

Результаты измерений использования вычислительных ресурсов и точности приведены в таблице:

Модель	Датасет	Квантизация	Device	Top-1 Accuracy	Batch size	Среднее время обработки (ms)	СКО времени обработки (ms)	Число батчей в секунду	параметры (MB)
resnet-50	CIFAR-100	Нет	CUDA	0.675	1	8.40	0.37	119.08	90.46
resnet-50	CIFAR-100	Нет	CUDA	0.675	32	76.58	0.71	13.06	90.46
resnet-50	CIFAR-100	Нет	CPU	0.675	1	42.81	0.34	23.36	90.46
resnet-50	CIFAR-100	Нет	CPU	0.675	32	1253.11	11.71	0.80	90.46
resnet-50	TinyImageNet	Нет	CUDA	0.567	1	8.77	0.44	114.07	91.24
resnet-50	TinyImageNet	Нет	CUDA	0.567	32	80.42	0.58	12.43	91.24
resnet-50	TinyImageNet	Нет	CPU	0.567	32	582.76	58.02	1.72	91.24
efficientnet-b3	CIFAR-100	Нет	CUDA	0.653	1	12.32	0.44	81.16	41.39
efficientnet-b3	CIFAR-100	Нет	CUDA	0.653	32	73.07	0.60	13.69	41.39
efficientnet-b3	CIFAR-100	Нет	CPU	0.653	1	25.30	0.47	39.53	41.39
efficientnet-b3	CIFAR-100	Нет	CPU	0.653	32	657.06	2.33	1.52	41.39
efficientnet-b3	TinyImageNet	Нет	CUDA	0.517	1	12.19	0.39	82.03	41.98
efficientnet-b3	TinyImageNet	Нет	CUDA	0.517	32	73.03	0.59	13.69	41.98
efficientnet-b3	TinyImageNet	Нет	CPU	0.517	1	23.22	1.16	41.29	41.98
efficientnet-b3	TinyImageNet	Нет	CPU	0.517	32	412.88	7.37	2.42	41.98
resnet-50	CIFAR-100	dynamic	CPU	0.694	1	27.20	3.71	36.76	89.68
resnet-50	CIFAR-100	dynamic	CPU	0.694	32	537.80	13.57	1.86	89.68
resnet-50	TinyImageNet	dynamic	CPU	0.551	1	27.56	4.56	36.29	89.68
resnet-50	TinyImageNet	dynamic	CPU	0.551	32	552.46	20.77	1.81	89.68
efficientnet-b3	CIFAR-100	dynamic	CPU	0.658	1	23.42	4.05	42.70	40.80
efficientnet-b3	CIFAR-100	dynamic	CPU	0.658	32	399.54	21.08	2.50	40.80
efficientnet-b3	TinyImageNet	dynamic	CPU	0.504	1	22.76	1.36	43.94	40.80
efficientnet-b3	TinyImageNet	dynamic	CPU	0.504	32	409.15	16.15	2.44	40.80
resnet-50	CIFAR-100	static fx	CPU	0.538	1	10.39	0.68	96.26	23.20
resnet-50	CIFAR-100	static fx	CPU	0.538	32	194.66	11.06	5.14	23.20
resnet-50	TinyImageNet	static fx	CPU	0.542	1	10.90	0.73	91.75	23.40
resnet-50	TinyImageNet	static fx	CPU	0.542	32	203.70	14.38	4.91	23.40
efficientnet-b3	CIFAR-100	static fx	CPU	0.276	1	19.22	3.64	52.04	11.80
efficientnet-b3	CIFAR-100	static fx	CPU	0.276	32	219.04	18.77	4.57	11.80
efficientnet-b3	TinyImageNet	static fx	CPU	0.174	1	18.68	3.55	53.53	12.00
efficientnet-b3	TinyImageNet	static fx	CPU	0.174	32	223.97	18.23	4.46	12.00