theta-tutorial/tutorial_all.cobalt at master · geopm/theta-tutorial · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
#!/bin/bash
#COBALT -t 60
#COBALT -n 260
#COBALT -O geopm_tutorial_all.$jobid
#COBALT -q default
#COBALT --jobname geopm_tutorial_all
#COBALT --env JOBID=$jobid

module unload darshan
module load intel
module load geopm

REQUIRED_NODES=256
EXCLUDE_NODES=$(./exclude_nodes.sh $REQUIRED_NODES)

geopmagent --agent=power_governor \
           --policy=150 > tutorial_governed_policy.json
geopmagent --agent=power_balancer \
           --policy=150,0,0,0 > tutorial_balanced_policy.json

if [ ! $IMBALANCER_CONFIG ]; then
    export IMBALANCER_CONFIG=tutorial_4_imbalance.conf
fi
# Create configuration file for Imbalancer if it doesn't exist.
if [ ! -e $IMBALANCER_CONFIG ]; then
    one_host=$(aprun -n 1 -N 1 hostname | head -n1)
    echo $one_host 0.1 > $IMBALANCER_CONFIG
fi

export OMP_NUM_THREADS=15

echo '############### Tutorial 0 ###############'
>&2 echo '############### Tutorial 0 ###############'
geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-preload \
            --geopm-ctl=process \
            --geopm-report=tutorial_0_report \
            --geopm-trace=tutorial_0_trace \
            -- ./tutorial_0

echo '############### Tutorial 1 ###############'
>&2 echo '############### Tutorial 1 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-preload \
            --geopm-ctl=process \
            --geopm-report=tutorial_1_report \
            --geopm-trace=tutorial_1_trace \
            -- ./tutorial_1

echo '############### Tutorial 2 ###############'
>&2 echo '############### Tutorial 2 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_2_report \
            --geopm-trace=tutorial_2_trace \
            -- ./tutorial_2

echo '############### Tutorial 3 ###############'
>&2 echo '############### Tutorial 3 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_3_governed_report \
            --geopm-trace=tutorial_3_governed_trace \
            --geopm-agent=power_governor \
            --geopm-policy=tutorial_governed_policy.json \
            -- ./tutorial_3 \

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_3_balanced_report \
            --geopm-trace=tutorial_3_balanced_trace \
            --geopm-agent=power_balancer \
            --geopm-policy=tutorial_balanced_policy.json \
            -- ./tutorial_3

echo '############### Tutorial 4 ###############'
>&2 echo '############### Tutorial 4 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_4_governed_report \
            --geopm-trace=tutorial_4_governed_trace \
            --geopm-agent=power_governor \
            --geopm-policy=tutorial_governed_policy.json \
            -- ./tutorial_4 \

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_4_balanced_report \
            --geopm-trace=tutorial_4_balanced_trace \
            --geopm-agent=power_balancer \
            --geopm-policy=tutorial_balanced_policy.json \
            -- ./tutorial_4


echo '############### Tutorial 5 ###############'
>&2 echo '############### Tutorial 5 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_5_report \
            --geopm-trace=tutorial_5_trace \
            -- ./tutorial_5

echo '############### Tutorial 6 ###############'
>&2 echo '############### Tutorial 6 ###############'

geopmlaunch aprun \
            -N 4 \
            -n 1024 \
            -r 3 \
            $EXCLUDE_NODES \
            --geopm-ctl=process \
            --geopm-report=tutorial_6_report \
            --geopm-trace=tutorial_6_trace \
            -- ./tutorial_6 tutorial_6_config.json


echo '############### End Tutorials ###############'
>&2 echo '############### End Tutorials ###############'