[problem] During the process of comparing a large number of images, the application for memory was interrupted by the operating system

[NOBB2333]

problem:
During the process of comparing a large number of images, the application for memory was interrupted by the operating system

---

God ermig1979, This is my third time using this project and submitting issues. I have applied it to the entire project to identify all project images throughout the year; This time I encountered a new challenge, 3.8 million photos, which is an order of magnitude I have never done before, about 4 terabytes in size

Application:

• I have more than 1,000 folders. I used Python to splice a long Linux shell command and added all the folders to the command line in the form of -id=floder1 -id=floder2

Problem:

• There is no problem in Search Iamges in xxx floder. Use top to check the CPU and memory used. Only about 1% is used. However, in the Load progress process of the subsequent process, memory application failed. At 11.9%, malloc() had an invilid size(unsort). After asking GPT, 6 points were given.
  1. Invalid parameters were passed
  2. Uninitialized variables
  3. Type conversion error
  4. Memory leak or multiple releases
  5. Insufficient system resources
  6. Compiler or library error
     The most likely one should be 5. Insufficient system resources , but when I ran more than 200,000 images before, I didn’t see how much memory or CPU was used, and the CPU usage rate was always very low.

I have two questions:
Does the entire AntiDuplX load all data into memory for comparison? Can the current problem only be solved by reducing the sample size for execution?
When I used C# AntiDupl, I found that there was a cache, and the cache file would be read directly after execution.

---

The specific machine parameters are as follows:

Hardware name	Hardware model
CPU	E5 2650 V4 @2.2Ghz - 48 Core
Memory	256G
system	openEuler22.03
Hard disk	25T

ps：Actually, openEuler 22.03 is CentOS 8, but it's a modified version from Huawei
User permission: root

---

праблема:
У працэсе параўнання вялікай колькасці малюнкаў заяўка на памяць была перапынена аперацыйнай сістэмай

---

Божа, ermig1979, гэта мой трэці раз, калі я выкарыстоўваю гэты праект і адпраўляю праблемы. Я прымяніў яго да ўсяго праекта, каб вызначыць усе выявы праекта на працягу года; На гэты раз я сутыкнуўся з новым выклікам, 3,8 мільёна фатаграфій, што з'яўляецца парадкам велічыні, якую я ніколі раней не рабіў, памерам каля 4 тэрабайт

Ужыванне:

• У мяне больш за 1000 папак. Я выкарыстаў Python для злучэння доўгай каманды абалонкі Linux і дадаў усе тэчкі ў камандны радок у выглядзе -id=floder1 -id=floder2

Праблема:

• Няма ніякіх праблем з Пошукам малюнкаў у xxx floder. Выкарыстоўвайце top, каб праверыць выкарыстаны працэсар і памяць. Выкарыстоўваецца толькі каля 1%. Аднак у працэсе Прагрэс загрузкі наступнага працэсу прымяненне памяці не атрымалася. Пры 11,9% malloc() меў недапушчальны памер (несартаваць). Пасля пытання GPT было дадзена 6 балаў.

1. Былі перададзены няправільныя параметры
2. Неініцыялізаваныя зменныя
3. Памылка пераўтварэння тыпу
4. Уцечка памяці або некалькі выпускаў
5. Недастаткова сістэмных рэсурсаў
6. Памылка кампілятара або бібліятэкі
   Найбольш верагодным павінен быць 5. Недастатковыя сістэмныя рэсурсы, але калі я запускаў больш за 200 000 малюнкаў раней, я не бачыў, колькі памяці або працэсара выкарыстоўваецца, і ўзровень выкарыстання працэсара заўсёды быў вельмі нізкім.

У мяне два пытанні:
Ці ўвесь AntiDuplX загружае ўсе дадзеныя ў памяць для параўнання? Ці можна вырашыць бягучую праблему толькі шляхам памяншэння памеру выбаркі для выканання?
Калі я выкарыстаў C# AntiDupl, я выявіў, што ёсць кэш, і файл кэша будзе прачытаны непасрэдна пасля выканання.

===
Канкрэтныя параметры машыны наступныя:

Назва абсталявання	Апаратная мадэль
працэсар	E5 2650 V4 @ 2,2 ГГц - 48 ядраў
Памяць	256G
сістэма	openEuler22.03
Жорсткі дыск	25T

ps: Насамрэч, openEuler 22.03 - гэта CentOS 8, але гэта мадыфікаваная версія ад Huawei
Дазвол карыстальніка: root

[ermig1979]

Hello!

I'm sorry for so long answer delay - I was at vacation.

I think that the out of memory crash may be caused by following reasons:

1. Memory leaks (I can't reproduce it on my machine).
2. Large size of images hash witch used to image compare (Seems not, because you have 3.8 million pictures witch requred lesser that 8GB of memory for hash).
3. The result of comparison is too large in case of big amount of the simular images - you can receive up to 3.810^6 * 3.810^6 = 1.4 * 10^ 13 pairs of simular images (especialy if you use large compareThreshold). It may consume much more than 256 GB and causes of out memory crash.

I can suggest next solution: add special parameter witch restrict of maximal number of results (interrupts comparison after achieving of this value). This parameter already exists in AntiDupl.NET.

Also I would recommend (of couse if you use AntiDuplX to delete duplicates) to use AntiDuplX step by step. Gradually add subfolders and increase parameter compareThreshold from zero to required value.

[ermig1979]

I'm sorry. My assumptions about out of memory crash reason (third variant) was wrong. I'm looking for another reasons.

[NOBB2333]

I have read some blogs about applications being interrupted by the operating system these days. I guess it may be caused by insufficient memory (because the memory he applied for was gradually increasing, and he was interrupted only when he applied for 11.9%). I am going to find a real-time memory monitoring software/script to achieve second-level monitoring;

At the same time, I think your solution will be more feasible. I am going to change the original Winform to a console program using AOT, so that grouping and data caching can be achieved, and it only needs to rely on 1 DLL/SO to use it

In fact, I tried to change to a console more than a year ago. At that time, AOT was not mature and my hardware was not so powerful. Now I have everything ready. It's time to do it. Maybe the next console PR will be submitted by me.

---

Я прачытаў некалькі паведамленняў у блогу пра тое, што аперацыйная сістэма перарывае працу. Я мяркую, што гэта можа быць выклікана недахопам памяці (паколькі заяўленая памяць павялічваецца паступова і перарываецца толькі тады, калі праграма дасягае 11,9%) збіраюся знайсці праграму для маніторынгу ў рэжыме рэальнага часу/скрыпты, якія дазваляюць маніторынг другога ўзроўню;

У той жа час я думаю, што ваша рашэнне будзе больш магчымым. Я планую змяніць арыгінальную Winform на кансольную праграму з выкарыстаннем AOT, каб можна было дасягнуць групоўкі і кэшавання даных, і для гэтага трэба спадзявацца толькі на 1 DLL/SO. выкарыстоўваць яго.

На самай справе, я спрабаваў перайсці на кансоль больш за год таму, у той час AOT быў няспелым, і цяпер, калі ў мяне ўсё гатова, прыйшоў час зрабіць гэта будзе прадстаўлены мной.