Full Result Table for RSC15 (1/64)

You sort the results by clicking on the table headers.


Metrics MRR@3 MRR@5 MRR@10 MRR@20 HitRate@3 HitRate@5 HitRate@10 HitRate@20 Cov@20 Pop@20 T-time (s) P time (s)
STAN 0.257 0.277 0.290 0.296 0.355 0.445 0.538 0.613 0.161 0.058 0.233 0.004
VSTAN 0.253 0.270 0.286 0.289 0.353 0.428 0.546 0.595 0.177 0.050 0.351 0.007
SFSKNN 0.245 0.258 0.264 0.264 0.321 0.379 0.422 0.428 0.110 0.045 0.326 0.003
GCE-GNN 0.243 0.266 0.278 0.285 0.341 0.445 0.538 0.633 0.166 0.059 14009.730 0.519
VSKNN 0.242 0.260 0.271 0.278 0.338 0.416 0.503 0.595 0.143 0.056 0.350 0.005
SR 0.238 0.252 0.263 0.266 0.312 0.373 0.462 0.506 0.152 0.049 0.641 0.002
CM-HGNN 0.237 0.259 0.278 0.284 0.338 0.434 0.575 0.650 0.171 0.052 2723 0.005
COTREC 0.234 0.260 0.274 0.279 0.327 0.439 0.543 0.616 0.186 0.046 1474.753 0.237
GNNRW 0.233 0.256 0.269 0.276 0.329 0.434 0.526 0.618 0.182 0.053 324 0.014
MGS 0.225 0.247 0.264 0.270 0.327 0.419 0.543 0.630 0.179 0.053 7819.475 0.024
SR-GNN 0.211 0.230 0.245 0.251 0.301 0.384 0.497 0.581 0.174 0.055 418.184 0.010
TAGNN 0.160 0.178 0.195 0.201 0.223 0.298 0.425 0.509 0.176 0.064 951.497 0.003
FLCSP 0.142 0.166 0.176 0.183 0.217 0.324 0.393 0.497 0.173 0.050 135 0.009

Statistical analysis based on MRR@20

We perform a significance test by calculating session-individual metric values e.g., obtain the mean MRR values of all sessions in the test data and then use the ANOVA test to analyze whether the difference between the compared models is significant.

One-way ANOVA

Null hypothesis (Ho): There is no difference in the model means
Alternative hypothesis (H1): At least one model's mean differs from the others
Significance level = 0.05
F-value = 1.1593
P-value = 0.311

The P-value is greater than the value of significance level. Therefore, we do not have enough evidence to reject the Ho, which indicates that there is no significant difference between the mean MRR values of all compared models.


Full Result Table for RSC15 (1/12)

You sort the results by clicking on the table headers.


Metrics MRR@3 MRR@5 MRR@10 MRR@20 HitRate@3 HitRate@5 HitRate@10 HitRate@20 Cov@20 Pop@20 T-time(s) P-Time(s)
SR 0.309 0.328 0.338 0.344 0.398 0.477 0.557 0.627 0.120 0.051 3.000 0.006
GNRRW 0.303 0.321 0.335 0.342 0.398 0.474 0.581 0.682 0.107 0.054 3543.590 0.035
SR-GNN 0.300 0.313 0.328 0.332 0.391 0.450 0.563 0.621 0.113 0.055 3092 0.015
STAN 0.295 0.310 0.325 0.330 0.410 0.477 0.590 0.661 0.126 0.056 1.703 0.013
SFSKNN 0.295 0.309 0.321 0.325 0.391 0.456 0.550 0.609 0.098 0.051 2 0.009
MGS 0.295 0.311 0.326 0.331 0.385 0.456 0.566 0.642 0.109 0.054 84356.999 0.084
VSTAN 0.292 0.310 0.325 0.330 0.410 0.489 0.599 0.673 0.123 0.053 1.702 0.016
COTREC 0.275 0.292 0.307 0.312 0.376 0.453 0.560 0.639 0.122 0.046 9529.234 1.160
VSKNN 0.269 0.279 0.296 0.301 0.364 0.407 0.535 0.612 0.089 0.068 1.836 0.011
CM_HGNN 0.260 0.279 0.293 0.299 0.346 0.428 0.532 0.618 0.108 0.048 31861 0.005
FLCSP 0.260 0.273 0.284 0.290 0.343 0.398 0.480 0.560 0.114 0.059 420.283 0.004
TAGNN 0.244 0.269 0.281 0.288 0.321 0.431 0.520 0.621 0.128 0.057 9842 0.003
GCE-GNN 0.202 0.208 0.220 0.225 0.272 0.303 0.391 0.453 0.074 0.073 406684.620 3.154

One-way ANOVA

Ho: There is no difference in the model means
H1: At least one model's mean differs from the others
Significance level = 0.05
F-value = 0.486
P-value = 0.866

The P-value is greater than the value of significance level. Therefore, we do not have enough evidence to reject the Ho, which indicates that there is no significant difference between the mean MRR values of all compared models.

Statistical values based on MRR@20

  • Average: 0.269
  • Standard deviation: 0.003
  • Minimum value: 0.269
  • Maximum value: 0.284
  • Difference(%): 1.5
Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
embedding_size=16 0.228 0.251 0.267 0.272 0.312 0.408 0.526 0.581
embedding_size=32 0.236 0.262 0.277 0.281 0.324 0.439 0.543 0.598
embedding_size=64 0.234 0.257 0.273 0.278 0.329 0.425 0.543 0.616
embedding_size=80 0.240 0.260 0.275 0.281 0.338 0.422 0.535 0.613
embedding_size=120 0.245 0.265 0.278 0.284 0.344 0.434 0.529 0.618
embedding_size=150 0.236 0.257 0.272 0.277 0.335 0.428 0.543 0.613
embedding_size=200 0.226 0.247 0.264 0.270 0.315 0.405 0.526 0.610
embedding_size=250 0.232 0.253 0.270 0.275 0.329 0.422 0.543 0.621
embedding_size=300 0.232 0.257 0.272 0.277 0.327 0.434 0.543 0.616
embedding_size=320 0.231 0.255 0.271 0.276 0.318 0.422 0.540 0.607
embedding_size=350 0.234 0.259 0.274 0.279 0.332 0.439 0.555 0.624
embedding_size=370 0.235 0.258 0.276 0.280 0.318 0.422 0.555 0.618
embedding_size=400 0.232 0.256 0.273 0.278 0.329 0.431 0.555 0.633
embedding_size=450 0.230 0.253 0.271 0.275 0.321 0.419 0.549 0.618
embedding_size=500 0.235 0.255 0.271 0.276 0.338 0.428 0.543 0.613

Statistical values based on MRR@20

  • Average: 0.237
  • Standard deviation: 0.025
  • Minimum value: 0.206
  • Maximum value: 0.291
  • Difference(%): 8.5
Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
embedding_size=16 0.251 0.268 0.286 0.291 0.347 0.419 0.555 0.627
embedding_size=32 0.233 0.256 0.269 0.276 0.329 0.434 0.526 0.618
embedding_size=64 0.215 0.232 0.250 0.256 0.306 0.379 0.509 0.598
embedding_size=80 0.225 0.246 0.257 0.262 0.315 0.410 0.488 0.564
embedding_size=120 0.204 0.220 0.236 0.242 0.289 0.361 0.471 0.561
embedding_size=150 0.198 0.221 0.235 0.240 0.272 0.373 0.477 0.540
embedding_size=200 0.184 0.203 0.215 0.220 0.266 0.350 0.436 0.512
embedding_size=250 0.184 0.207 0.219 0.224 0.257 0.355 0.442 0.523
embedding_size=300 0.214 0.227 0.239 0.243 0.292 0.350 0.436 0.500
embedding_size=320 0.176 0.190 0.203 0.207 0.266 0.329 0.428 0.486
embedding_size=350 0.194 0.211 0.220 0.224 0.283 0.358 0.425 0.494
embedding_size=370 0.200 0.216 0.229 0.234 0.283 0.353 0.448 0.520
embedding_size=400 0.176 0.189 0.202 0.207 0.260 0.318 0.413 0.483
embedding_size=450 0.176 0.195 0.208 0.212 0.254 0.335 0.425 0.494
embedding_size=500 0.190 0.208 0.217 0.221 0.269 0.350 0.419 0.474

Statistical values based on MRR@20

  • Average: 0.195
  • Standard deviation: 0.021
  • Minimum value: 0.143
  • Maximum value: 0.226
  • Difference(%): 8.3
Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
embedding_size=16 0.120 0.130 0.139 0.144 0.176 0.220 0.295 0.353
embedding_size=32 0.179 0.194 0.211 0.217 0.237 0.303 0.431 0.520
embedding_size=64 0.185 0.201 0.218 0.226 0.257 0.327 0.445 0.572
embedding_size=80 0.169 0.185 0.198 0.205 0.257 0.327 0.434 0.526
embedding_size=120 0.158 0.178 0.190 0.198 0.243 0.327 0.410 0.535
embedding_size=150 0.158 0.174 0.189 0.195 0.217 0.283 0.402 0.491
embedding_size=200 0.175 0.188 0.198 0.205 0.243 0.298 0.379 0.465
embedding_size=250 0.134 0.152 0.165 0.171 0.197 0.272 0.376 0.460
embedding_size=300 0.172 0.187 0.199 0.204 0.257 0.324 0.408 0.488
embedding_size=320 0.168 0.186 0.196 0.203 0.263 0.344 0.422 0.514
embedding_size=350 0.152 0.166 0.178 0.185 0.243 0.303 0.393 0.486
embedding_size=370 0.189 0.205 0.215 0.219 0.275 0.347 0.416 0.480
embedding_size=400 0.171 0.187 0.199 0.205 0.240 0.309 0.405 0.480
embedding_size=450 0.150 0.163 0.175 0.182 0.225 0.283 0.370 0.465
embedding_size=500 0.143 0.161 0.173 0.179 0.217 0.292 0.382 0.462

Statistical values based on MRR@20

  • Average: 0.160
  • Standard deviation: 0.014
  • Minimum value: 0.135
  • Maximum value: 0.180
  • Difference(%): 4.5
Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
embedding_size=16 0.142 0.154 0.166 0.173 0.225 0.280 0.367 0.468
embedding_size=32 0.142 0.156 0.171 0.178 0.223 0.286 0.399 0.486
embedding_size=64 0.105 0.120 0.134 0.139 0.165 0.228 0.332 0.408
embedding_size=80 0.100 0.115 0.130 0.136 0.150 0.217 0.321 0.408
embedding_size=120 0.115 0.135 0.147 0.157 0.182 0.272 0.361 0.494
embedding_size=150 0.131 0.141 0.155 0.159 0.188 0.231 0.329 0.396
embedding_size=200 0.129 0.140 0.154 0.163 0.197 0.246 0.355 0.491
embedding_size=250 0.113 0.123 0.138 0.145 0.176 0.223 0.329 0.431
embedding_size=300 0.127 0.139 0.154 0.161 0.199 0.249 0.361 0.454
embedding_size=320 0.138 0.152 0.161 0.169 0.211 0.272 0.344 0.442
embedding_size=350 0.136 0.148 0.162 0.168 0.205 0.260 0.367 0.457
embedding_size=370 0.117 0.127 0.141 0.146 0.185 0.228 0.321 0.402
embedding_size=400 0.143 0.162 0.172 0.179 0.208 0.292 0.364 0.474
embedding_size=450 0.147 0.161 0.173 0.180 0.217 0.277 0.364 0.465
embedding_size=500 0.120 0.138 0.151 0.158 0.176 0.257 0.355 0.451

Statistical values based on MRR@20

  • Average: 0.234
  • Standard deviation: 0.010
  • Minimum value: 0.218
  • Maximum value: 0.250
  • Difference(%): 0.032
Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
embedding_size=16 0.217 0.233 0.248 0.253 0.324 0.393 0.506 0.590
embedding_size=32 0.217 0.237 0.251 0.260 0.298 0.384 0.494 0.624
embedding_size=64 0.193 0.217 0.233 0.243 0.277 0.382 0.503 0.639
embedding_size=80 0.206 0.226 0.243 0.250 0.289 0.373 0.506 0.610
embedding_size=120 0.207 0.223 0.240 0.248 0.301 0.367 0.494 0.604
embedding_size=150 0.203 0.217 0.235 0.242 0.298 0.355 0.491 0.590
embedding_size=200 0.205 0.222 0.234 0.242 0.295 0.367 0.460 0.564
embedding_size=250 0.205 0.222 0.236 0.244 0.309 0.384 0.491 0.598
embedding_size=300 0.189 0.208 0.223 0.230 0.283 0.370 0.488 0.584
embedding_size=320 0.194 0.216 0.230 0.237 0.277 0.370 0.486 0.578
embedding_size=350 0.196 0.211 0.226 0.232 0.280 0.347 0.460 0.558
embedding_size=370 0.179 0.195 0.211 0.218 0.246 0.315 0.434 0.540
embedding_size=450 0.190 0.205 0.215 0.221 0.266 0.332 0.413 0.494
embedding_size=500 0.192 0.206 0.218 0.225 0.289 0.353 0.439 0.546
embedding_size=400 0.189 0.206 0.220 0.228 0.269 0.344 0.451 0.561

Statistical testing based on MRR@20

COTREC GNRWW TAGNN FLCSP GGNN
0.272 0.291 0.144 0.173 0.253
0.281 0.276 0.217 0.178 0.260
0.278 0.256 0.226 0.139 0.243
0.281 0.262 0.205 0.136 0.250
0.284 0.242 0.198 0.157 0.248
0.277 0.240 0.195 0.159 0.242
0.270 0.220 0.205 0.163 0.242
0.275 0.224 0.171 0.145 0.244
0.277 0.243 0.204 0.161 0.230
0.276 0.207 0.203 0.169 0.237
0.279 0.224 0.185 0.168 0.232
0.280 0.234 0.219 0.146 0.218
0.278 0.207 0.205 0.179 0.221
0.275 0.212 0.182 0.180 0.225
0.276 0.221 0.179 0.158 0.228


One-way ANOVA

Null hypothesis (Ho): There is no difference in the model means UCOTREC = UGNRWW = UTAGNN = UFLCSP = UGGNN
Alternative hypothesis (H1): At least one model's mean differs from the others
Significance level = 0.05


Summary
Groups Count Sum Average Variance
COTREC 15 4.158371571 0.2772247714 0.00001331402297
GNRWW 15 3.559539174 0.2373026116 0.0006301708597
TAGNN 15 2.936099552 0.1957399701 0.0004493826357
FLCSP 15 2.412368664 0.1608245776 0.0002046703589
GGNN 15 3.574193547 0.2382795698 0.0001488912661
ANOVA
Source of Variation SS df MS F-value P-value F(critical)
Between Groups 0.1197136824 4 0.02992842061 103.4562279 0 2.502656463
Within Groups 0.02025000801 70 0.0002892858287
Total 0.1399636904 74

The F-value and critical F- value are 103.456 and 2.502, respectively. The F-value is greater than the critical F-value, therefore, we reject the Ho. The main purpose of the ANOVA test is to observe the variability between the groups/compared models. However, it does not explain about the magnitude of variability. Therefore, we use the effect size (η) to know the magnitude of variability between the models. The effect size uses the following table to explain the level of variability.


η Size
0.01 small
0.09 medium
0.25 large
Note: if less than .01, no effect is reported

η = 0.119713682434452 / 0.139963690442169
η = 0.8553
Here we observe the large effect size between the GNN models.

References:

  1. https://open.maricopa.edu/psy230mm/chapter/chapter-14-analysis-of-variance/
  2. https://en.wikipedia.org/wiki/Analysis_of_variance

Statistical values based on MRR@20

  • Average: 0.283
  • Standard deviation: 0.003
  • Minimum value: 0.275
  • Maximum value: 0.290
  • Difference(%): 1.5

MRR@20 varies across of random seeds

MRR@20 vs random seeds

Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
seed=1608302 0.239 0.263 0.279 0.283 0.338 0.445 0.564 0.618
seed=1912765 0.240 0.264 0.279 0.284 0.335 0.439 0.552 0.621
seed=1384447 0.245 0.267 0.282 0.288 0.341 0.436 0.540 0.633
seed=2072871 0.237 0.262 0.276 0.281 0.327 0.436 0.546 0.618
seed=1170492 0.245 0.264 0.280 0.284 0.355 0.442 0.561 0.621
seed=213035 0.239 0.261 0.277 0.281 0.335 0.431 0.543 0.604
seed=2166169 0.243 0.265 0.279 0.283 0.344 0.442 0.546 0.610
seed=1265110 0.243 0.265 0.281 0.286 0.341 0.436 0.555 0.618
seed=2125190 0.238 0.266 0.279 0.284 0.329 0.451 0.558 0.618
seed=2502851 0.238 0.263 0.277 0.282 0.335 0.442 0.552 0.616
seed=2508701 0.245 0.267 0.283 0.288 0.344 0.439 0.561 0.621
seed=1758028 0.233 0.256 0.272 0.277 0.324 0.425 0.546 0.618
seed=1704390 0.243 0.265 0.282 0.287 0.344 0.439 0.564 0.642
seed=1189932 0.242 0.263 0.280 0.284 0.347 0.436 0.566 0.630
seed=15729 0.241 0.266 0.280 0.286 0.335 0.442 0.549 0.630
seed=1995263 0.239 0.261 0.275 0.281 0.347 0.442 0.549 0.627
seed=2870283 0.238 0.261 0.277 0.281 0.338 0.434 0.558 0.618
seed=2763395 0.239 0.262 0.274 0.280 0.344 0.445 0.538 0.618
seed=2317005 0.240 0.266 0.279 0.283 0.335 0.445 0.549 0.604
seed=2066421 0.242 0.262 0.276 0.281 0.347 0.434 0.540 0.616
seed=1985513 0.246 0.267 0.281 0.288 0.341 0.434 0.540 0.633
seed=813291 0.245 0.264 0.278 0.282 0.353 0.439 0.549 0.604
seed=277473 0.239 0.262 0.277 0.281 0.329 0.436 0.552 0.610
seed=1338188 0.237 0.261 0.278 0.283 0.324 0.428 0.558 0.624
seed=163956 0.237 0.261 0.275 0.281 0.329 0.431 0.543 0.624
seed=678954 0.244 0.268 0.281 0.285 0.347 0.448 0.549 0.604
seed=1879916 0.237 0.262 0.277 0.282 0.329 0.436 0.555 0.621
seed=2143309 0.236 0.259 0.274 0.279 0.332 0.434 0.546 0.618
seed=206795 0.237 0.258 0.274 0.281 0.332 0.422 0.540 0.627
seed=515817 0.243 0.268 0.281 0.287 0.341 0.448 0.549 0.633
seed=419550 0.233 0.257 0.271 0.278 0.327 0.431 0.538 0.627
seed=2511881 0.240 0.266 0.280 0.284 0.338 0.457 0.558 0.627
seed=2033482 0.241 0.265 0.283 0.287 0.332 0.436 0.575 0.627
seed=1861406 0.244 0.266 0.281 0.285 0.344 0.439 0.546 0.613
seed=1314189 0.242 0.265 0.278 0.284 0.338 0.439 0.535 0.621
seed=56828 0.238 0.263 0.280 0.284 0.332 0.436 0.564 0.627
seed=1451856 0.241 0.262 0.278 0.283 0.341 0.434 0.546 0.621
seed=886069 0.241 0.265 0.283 0.286 0.335 0.442 0.572 0.624
seed=2798104 0.237 0.261 0.276 0.281 0.338 0.442 0.552 0.621
seed=566036 0.237 0.261 0.277 0.281 0.341 0.445 0.561 0.621
seed=83828 0.241 0.261 0.277 0.281 0.347 0.436 0.555 0.613
seed=2118860 0.240 0.263 0.278 0.284 0.338 0.436 0.540 0.618
seed=778551 0.241 0.263 0.279 0.284 0.344 0.439 0.561 0.636
seed=2257817 0.245 0.265 0.282 0.286 0.344 0.431 0.561 0.627
seed=2712306 0.245 0.264 0.280 0.284 0.353 0.436 0.555 0.613
seed=1665451 0.240 0.263 0.278 0.284 0.335 0.434 0.543 0.630
seed=480388 0.240 0.264 0.279 0.284 0.338 0.436 0.552 0.627
seed=2935621 0.243 0.265 0.279 0.286 0.344 0.436 0.540 0.624
seed=1471055 0.243 0.262 0.277 0.281 0.353 0.436 0.555 0.607
seed=1108034 0.243 0.265 0.280 0.285 0.344 0.439 0.549 0.627
seed=2415283 0.242 0.263 0.279 0.284 0.347 0.436 0.564 0.630
seed=158016 0.243 0.265 0.281 0.286 0.344 0.439 0.555 0.633
seed=2190378 0.240 0.264 0.279 0.284 0.332 0.436 0.549 0.613
seed=1152583 0.242 0.261 0.277 0.283 0.344 0.428 0.546 0.627
seed=1800477 0.241 0.264 0.279 0.284 0.338 0.439 0.558 0.630
seed=975827 0.231 0.255 0.273 0.277 0.321 0.425 0.561 0.618
seed=329912 0.247 0.267 0.281 0.286 0.353 0.445 0.543 0.616
seed=262473 0.242 0.265 0.280 0.284 0.341 0.439 0.555 0.618
seed=1849976 0.231 0.258 0.272 0.278 0.324 0.445 0.546 0.627
seed=1360718 0.246 0.269 0.286 0.290 0.338 0.439 0.561 0.630
seed=829040 0.241 0.262 0.280 0.285 0.335 0.425 0.558 0.630
seed=491938 0.241 0.264 0.277 0.282 0.347 0.448 0.543 0.613
seed=1681200 0.241 0.264 0.279 0.284 0.335 0.434 0.552 0.618
seed=837200 0.237 0.263 0.277 0.283 0.327 0.442 0.549 0.624
seed=2457522 0.240 0.267 0.281 0.286 0.332 0.442 0.555 0.624
seed=1841247 0.240 0.262 0.279 0.284 0.332 0.422 0.555 0.621
seed=2150269 0.239 0.262 0.278 0.283 0.341 0.436 0.561 0.624
seed=128137 0.242 0.266 0.280 0.284 0.347 0.454 0.558 0.621
seed=1346438 0.237 0.261 0.276 0.281 0.335 0.439 0.549 0.621
seed=2757515 0.237 0.262 0.276 0.280 0.327 0.434 0.538 0.601
seed=1677480 0.238 0.263 0.278 0.284 0.332 0.436 0.552 0.633
seed=2378594 0.235 0.260 0.275 0.280 0.332 0.442 0.552 0.624
seed=2835033 0.237 0.262 0.276 0.281 0.332 0.439 0.543 0.618
seed=1974833 0.239 0.263 0.280 0.284 0.335 0.436 0.558 0.621
seed=2937511 0.244 0.266 0.281 0.286 0.344 0.439 0.549 0.624
seed=2842293 0.239 0.262 0.277 0.281 0.344 0.445 0.558 0.616
seed=166626 0.240 0.263 0.279 0.283 0.335 0.436 0.555 0.610
seed=301322 0.237 0.262 0.276 0.281 0.338 0.445 0.558 0.618
seed=238084 0.234 0.262 0.277 0.281 0.324 0.445 0.558 0.618
seed=354871 0.234 0.256 0.273 0.277 0.332 0.431 0.555 0.610
seed=913698 0.232 0.255 0.270 0.276 0.329 0.431 0.543 0.624
seed=2333475 0.244 0.265 0.278 0.283 0.358 0.448 0.546 0.621
seed=461429 0.239 0.264 0.277 0.281 0.341 0.448 0.552 0.607
seed=1937694 0.243 0.265 0.279 0.285 0.347 0.439 0.549 0.624
seed=2443842 0.244 0.266 0.280 0.286 0.347 0.442 0.546 0.624
seed=2867853 0.246 0.266 0.283 0.287 0.347 0.431 0.558 0.621
seed=1630591 0.236 0.261 0.275 0.279 0.332 0.439 0.549 0.604
seed=2646488 0.239 0.264 0.278 0.283 0.335 0.442 0.543 0.610
seed=2094441 0.239 0.263 0.279 0.283 0.335 0.439 0.564 0.616
seed=2943271 0.240 0.264 0.280 0.284 0.338 0.439 0.561 0.621
seed=2717496 0.245 0.265 0.282 0.286 0.347 0.434 0.552 0.616
seed=687713 0.247 0.264 0.281 0.286 0.350 0.425 0.552 0.627
seed=2229677 0.235 0.260 0.276 0.280 0.324 0.431 0.555 0.613
seed=2634758 0.238 0.263 0.278 0.283 0.332 0.442 0.558 0.636
seed=1509064 0.239 0.260 0.278 0.283 0.338 0.431 0.558 0.627
seed=1647331 0.244 0.268 0.284 0.288 0.338 0.445 0.572 0.633
seed=2108780 0.239 0.265 0.279 0.283 0.335 0.445 0.552 0.618
seed=2382734 0.239 0.261 0.277 0.282 0.338 0.434 0.558 0.624
seed=517287 0.239 0.259 0.276 0.281 0.338 0.425 0.552 0.616
seed=287613 0.234 0.258 0.272 0.278 0.329 0.436 0.540 0.621

Statistical values based on MRR@20

  • Average: 0.273
  • Standard deviation: 0.009
  • Minimum value: 0.245
  • Maximum value: 0.293
  • Difference(%): 4.8

MRR@20 varies across of random seeds

MRR@20 vs random seeds

Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
seed=1483685 0.242 0.259 0.276 0.283 0.329 0.405 0.529 0.618
seed=1000006 0.232 0.243 0.263 0.270 0.335 0.384 0.532 0.627
seed=101467 0.249 0.261 0.280 0.286 0.350 0.402 0.543 0.630
seed=1536664 0.240 0.258 0.275 0.281 0.344 0.422 0.552 0.639
seed=1483475 0.234 0.254 0.272 0.279 0.329 0.422 0.555 0.636
seed=2252327 0.246 0.265 0.275 0.283 0.344 0.428 0.506 0.618
seed=1824687 0.260 0.274 0.289 0.294 0.364 0.425 0.538 0.610
seed=949667 0.235 0.249 0.266 0.272 0.344 0.408 0.532 0.618
seed=1298409 0.233 0.254 0.266 0.272 0.338 0.428 0.517 0.607
seed=1943124 0.253 0.272 0.286 0.292 0.364 0.445 0.546 0.624
seed=2582799 0.236 0.255 0.270 0.276 0.338 0.422 0.538 0.618
seed=1026136 0.249 0.268 0.282 0.288 0.355 0.445 0.546 0.630
seed=898189 0.235 0.255 0.269 0.274 0.332 0.419 0.532 0.592
seed=684984 0.237 0.260 0.277 0.283 0.324 0.422 0.538 0.630
seed=506338 0.233 0.257 0.272 0.277 0.327 0.431 0.538 0.613
seed=2181109 0.209 0.233 0.251 0.256 0.301 0.408 0.540 0.610
seed=648984 0.222 0.240 0.259 0.265 0.315 0.396 0.529 0.627
seed=1190412 0.238 0.263 0.278 0.284 0.324 0.431 0.543 0.630
seed=164496 0.228 0.250 0.267 0.273 0.303 0.399 0.523 0.610
seed=2088471 0.236 0.256 0.271 0.278 0.332 0.422 0.532 0.630
seed=987196 0.236 0.254 0.272 0.279 0.324 0.405 0.538 0.633
seed=2997990 0.219 0.237 0.251 0.258 0.327 0.408 0.514 0.613
seed=2336355 0.245 0.262 0.276 0.283 0.350 0.422 0.535 0.627
seed=1847246 0.236 0.250 0.265 0.272 0.338 0.399 0.514 0.616
seed=123727 0.230 0.247 0.263 0.268 0.332 0.408 0.523 0.595
seed=408270 0.220 0.237 0.252 0.260 0.312 0.390 0.500 0.601
seed=1276510 0.221 0.240 0.258 0.264 0.315 0.396 0.532 0.621
seed=470939 0.235 0.253 0.272 0.279 0.332 0.413 0.555 0.645
seed=1724429 0.223 0.248 0.260 0.266 0.324 0.434 0.529 0.607
seed=423780 0.247 0.260 0.278 0.284 0.361 0.422 0.549 0.624
seed=1544583 0.226 0.245 0.261 0.266 0.332 0.416 0.535 0.601
seed=1164372 0.224 0.245 0.261 0.267 0.329 0.422 0.546 0.621
seed=595946 0.250 0.270 0.286 0.289 0.341 0.434 0.552 0.604
seed=1681560 0.234 0.251 0.268 0.274 0.335 0.413 0.538 0.621
seed=2114690 0.227 0.242 0.263 0.268 0.329 0.396 0.549 0.616
seed=2548180 0.214 0.237 0.252 0.259 0.315 0.413 0.529 0.621
seed=890569 0.227 0.252 0.269 0.273 0.332 0.442 0.564 0.630
seed=1080794 0.228 0.251 0.267 0.273 0.312 0.410 0.535 0.607
seed=1515664 0.228 0.249 0.264 0.270 0.321 0.413 0.523 0.610
seed=1295349 0.230 0.251 0.265 0.271 0.321 0.416 0.520 0.604
seed=1607042 0.240 0.263 0.281 0.287 0.338 0.436 0.578 0.653
seed=121987 0.243 0.262 0.278 0.283 0.347 0.428 0.546 0.621
seed=1081424 0.230 0.249 0.266 0.272 0.327 0.410 0.532 0.616
seed=1599692 0.252 0.271 0.284 0.290 0.373 0.460 0.558 0.630
seed=1593812 0.226 0.248 0.261 0.266 0.335 0.428 0.526 0.598
seed=1993463 0.240 0.260 0.275 0.281 0.350 0.436 0.546 0.627
seed=2506181 0.227 0.244 0.261 0.269 0.335 0.408 0.535 0.636
seed=2999970 0.214 0.232 0.253 0.259 0.306 0.387 0.552 0.633
seed=2093661 0.235 0.255 0.272 0.279 0.327 0.410 0.538 0.636
seed=248974 0.240 0.256 0.272 0.278 0.332 0.405 0.523 0.604
seed=1904395 0.237 0.255 0.272 0.278 0.335 0.416 0.540 0.616
seed=1557003 0.241 0.258 0.272 0.279 0.344 0.419 0.526 0.624
seed=581036 0.244 0.261 0.278 0.283 0.344 0.419 0.546 0.627
seed=2585109 0.248 0.270 0.282 0.288 0.341 0.436 0.520 0.607
seed=1198422 0.237 0.256 0.270 0.278 0.332 0.416 0.523 0.642
seed=1868426 0.240 0.261 0.277 0.283 0.332 0.428 0.546 0.630
seed=2378024 0.228 0.245 0.263 0.268 0.335 0.405 0.538 0.618
seed=173285 0.234 0.253 0.267 0.273 0.335 0.419 0.520 0.604
seed=1297509 0.235 0.256 0.271 0.277 0.321 0.416 0.532 0.610
seed=556347 0.241 0.256 0.275 0.282 0.338 0.408 0.549 0.636
seed=2689357 0.237 0.258 0.273 0.280 0.329 0.425 0.535 0.627
seed=1758808 0.227 0.249 0.266 0.272 0.321 0.416 0.543 0.630
seed=450839 0.229 0.251 0.265 0.271 0.315 0.410 0.514 0.601
seed=2601669 0.230 0.252 0.267 0.273 0.327 0.425 0.535 0.610
seed=463439 0.231 0.250 0.267 0.273 0.332 0.416 0.538 0.621
seed=984167 0.224 0.247 0.264 0.270 0.318 0.416 0.546 0.621
seed=2511251 0.248 0.266 0.279 0.286 0.347 0.428 0.529 0.633
seed=2484042 0.228 0.248 0.264 0.269 0.335 0.422 0.535 0.607
seed=2472222 0.220 0.238 0.257 0.262 0.309 0.390 0.526 0.601
seed=223984 0.240 0.258 0.272 0.279 0.338 0.416 0.526 0.616
seed=1051935 0.216 0.239 0.256 0.263 0.309 0.410 0.535 0.636
seed=20019 0.224 0.244 0.264 0.269 0.315 0.408 0.549 0.624
seed=1243420 0.219 0.235 0.253 0.259 0.327 0.399 0.532 0.621
seed=523407 0.224 0.251 0.266 0.272 0.306 0.425 0.535 0.616
seed=506398 0.240 0.257 0.273 0.277 0.355 0.434 0.549 0.624
seed=364261 0.216 0.237 0.253 0.259 0.303 0.396 0.520 0.598
seed=2891582 0.227 0.251 0.267 0.273 0.324 0.428 0.543 0.621
seed=1879196 0.237 0.261 0.274 0.280 0.335 0.439 0.535 0.630
seed=1235291 0.224 0.248 0.264 0.269 0.321 0.422 0.538 0.610
seed=377731 0.227 0.247 0.259 0.265 0.335 0.422 0.512 0.601
seed=646944 0.244 0.258 0.275 0.281 0.347 0.408 0.538 0.627
seed=129666 0.233 0.257 0.270 0.277 0.329 0.434 0.526 0.618
seed=2604579 0.251 0.269 0.285 0.290 0.347 0.428 0.546 0.613
seed=1669681 0.237 0.253 0.266 0.273 0.358 0.431 0.523 0.616
seed=1269400 0.224 0.241 0.256 0.261 0.335 0.410 0.523 0.595
seed=1754969 0.222 0.243 0.258 0.264 0.327 0.419 0.540 0.624
seed=2311996 0.228 0.244 0.263 0.270 0.329 0.399 0.532 0.630
seed=14379 0.215 0.234 0.252 0.257 0.321 0.405 0.535 0.592
seed=883669 0.231 0.252 0.270 0.275 0.318 0.408 0.546 0.616
seed=661254 0.220 0.240 0.255 0.260 0.329 0.419 0.526 0.604
seed=653364 0.203 0.225 0.239 0.245 0.301 0.396 0.497 0.584
seed=958097 0.236 0.249 0.265 0.271 0.341 0.399 0.512 0.601
seed=146556 0.231 0.253 0.265 0.272 0.344 0.442 0.535 0.624
seed=1413007 0.236 0.255 0.269 0.276 0.335 0.419 0.523 0.621
seed=2732586 0.226 0.249 0.265 0.270 0.321 0.419 0.535 0.618
seed=129126 0.233 0.260 0.272 0.278 0.335 0.454 0.552 0.633
seed=2577369 0.243 0.261 0.275 0.281 0.355 0.434 0.543 0.627
seed=125887 0.225 0.243 0.261 0.267 0.321 0.402 0.538 0.618
seed=1078244 0.232 0.253 0.269 0.275 0.324 0.413 0.535 0.621
seed=1055295 0.221 0.238 0.256 0.263 0.315 0.387 0.520 0.616

Statistical values based on MRR@20

  • Average: 0.205
  • Standard deviation: 0.011
  • Minimum value: 0.175
  • Maximum value: 0.232
  • Difference(%): 5.7

MRR@20 varies across of random seeds

MRR@20 vs random seeds

Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
seed=1638300 0.169 0.181 0.195 0.201 0.251 0.306 0.413 0.500
seed=7993400 0.186 0.206 0.219 0.224 0.260 0.347 0.451 0.526
seed=6202100 0.192 0.209 0.223 0.229 0.277 0.353 0.460 0.549
seed=9069700 0.168 0.182 0.193 0.201 0.223 0.283 0.367 0.474
seed=1045000 0.177 0.192 0.205 0.211 0.260 0.327 0.422 0.509
seed=7350100 0.168 0.180 0.197 0.204 0.251 0.306 0.436 0.532
seed=6441400 0.178 0.192 0.207 0.214 0.260 0.321 0.436 0.538
seed=5570300 0.169 0.194 0.205 0.213 0.240 0.350 0.436 0.543
seed=7824600 0.177 0.192 0.205 0.211 0.269 0.338 0.436 0.520
seed=8758800 0.148 0.165 0.180 0.186 0.220 0.292 0.405 0.491
seed=5251900 0.174 0.190 0.205 0.212 0.246 0.315 0.419 0.520
seed=264600 0.182 0.198 0.211 0.216 0.257 0.329 0.428 0.491
seed=8849800 0.174 0.191 0.205 0.210 0.251 0.327 0.428 0.506
seed=9571600 0.177 0.195 0.209 0.214 0.260 0.338 0.436 0.509
seed=1735100 0.172 0.188 0.201 0.207 0.246 0.315 0.410 0.491
seed=9140700 0.184 0.201 0.212 0.218 0.263 0.338 0.422 0.506
seed=7940900 0.175 0.193 0.207 0.212 0.243 0.321 0.425 0.494
seed=469800 0.162 0.177 0.191 0.198 0.231 0.298 0.402 0.506
seed=1592900 0.140 0.154 0.168 0.175 0.225 0.286 0.399 0.500
seed=1612500 0.172 0.187 0.200 0.206 0.243 0.312 0.405 0.488
seed=9250200 0.179 0.194 0.208 0.214 0.260 0.329 0.428 0.520
seed=4668800 0.159 0.178 0.195 0.200 0.220 0.301 0.425 0.509
seed=7187300 0.190 0.206 0.223 0.229 0.277 0.353 0.471 0.561
seed=6443200 0.166 0.180 0.196 0.200 0.237 0.301 0.419 0.471
seed=2588700 0.178 0.193 0.208 0.213 0.257 0.324 0.431 0.506
seed=5806800 0.164 0.179 0.191 0.199 0.237 0.303 0.396 0.512
seed=96000 0.167 0.187 0.200 0.206 0.240 0.327 0.428 0.509
seed=8404100 0.157 0.174 0.186 0.195 0.228 0.303 0.402 0.520
seed=3903300 0.154 0.176 0.186 0.192 0.228 0.324 0.402 0.491
seed=3013300 0.148 0.163 0.182 0.188 0.220 0.283 0.422 0.506
seed=6278700 0.173 0.191 0.205 0.211 0.249 0.327 0.434 0.517
seed=8744800 0.179 0.195 0.208 0.216 0.243 0.309 0.408 0.512
seed=2348000 0.171 0.190 0.205 0.210 0.231 0.315 0.425 0.488
seed=5995000 0.179 0.197 0.212 0.217 0.249 0.327 0.445 0.520
seed=5331800 0.171 0.183 0.199 0.207 0.243 0.292 0.416 0.523
seed=948300 0.173 0.193 0.207 0.213 0.249 0.338 0.442 0.520
seed=6668000 0.160 0.175 0.186 0.195 0.237 0.303 0.387 0.512
seed=555500 0.180 0.195 0.210 0.217 0.251 0.321 0.436 0.532
seed=7366400 0.147 0.170 0.188 0.193 0.199 0.295 0.428 0.509
seed=1189200 0.167 0.179 0.194 0.201 0.243 0.295 0.408 0.503
seed=1501600 0.192 0.208 0.224 0.229 0.263 0.332 0.451 0.517
seed=8325200 0.162 0.186 0.199 0.205 0.231 0.335 0.428 0.506
seed=3566100 0.159 0.179 0.192 0.198 0.234 0.321 0.422 0.509
seed=2613600 0.153 0.170 0.186 0.193 0.220 0.295 0.413 0.503
seed=9626800 0.164 0.183 0.197 0.203 0.228 0.309 0.413 0.497
seed=4776800 0.167 0.183 0.198 0.205 0.246 0.312 0.425 0.529
seed=2238500 0.165 0.182 0.196 0.202 0.254 0.329 0.434 0.523
seed=8682400 0.170 0.186 0.197 0.204 0.234 0.306 0.396 0.486
seed=6913400 0.153 0.170 0.187 0.192 0.243 0.321 0.442 0.514
seed=9199900 0.190 0.209 0.227 0.232 0.257 0.338 0.465 0.540
seed=5388500 0.172 0.194 0.206 0.212 0.240 0.338 0.422 0.512
seed=6270700 0.172 0.188 0.204 0.211 0.243 0.312 0.434 0.538
seed=6014100 0.144 0.164 0.178 0.184 0.214 0.306 0.408 0.494
seed=6896400 0.153 0.165 0.178 0.183 0.225 0.283 0.382 0.451
seed=552300 0.173 0.192 0.204 0.211 0.257 0.338 0.431 0.529
seed=5733900 0.181 0.204 0.221 0.227 0.246 0.347 0.471 0.569
seed=9014400 0.160 0.180 0.196 0.201 0.223 0.309 0.431 0.500
seed=3534900 0.184 0.201 0.216 0.223 0.251 0.324 0.439 0.532
seed=3740800 0.166 0.180 0.197 0.202 0.246 0.309 0.439 0.512
seed=258300 0.168 0.188 0.201 0.207 0.243 0.327 0.419 0.520
seed=6835500 0.159 0.177 0.192 0.197 0.231 0.309 0.416 0.494
seed=3980200 0.175 0.193 0.209 0.214 0.243 0.324 0.439 0.520
seed=5385000 0.155 0.173 0.186 0.191 0.225 0.303 0.405 0.480
seed=9641900 0.168 0.185 0.201 0.207 0.217 0.289 0.408 0.503
seed=322100 0.164 0.185 0.198 0.205 0.234 0.324 0.416 0.514
seed=8776400 0.162 0.185 0.201 0.208 0.231 0.329 0.454 0.549
seed=498400 0.162 0.180 0.192 0.198 0.251 0.329 0.419 0.503
seed=4633600 0.184 0.202 0.215 0.220 0.269 0.347 0.442 0.517
seed=9592700 0.149 0.165 0.177 0.184 0.223 0.292 0.384 0.483
seed=5275400 0.179 0.193 0.205 0.211 0.254 0.318 0.402 0.488
seed=5519800 0.154 0.170 0.185 0.192 0.217 0.286 0.390 0.494
seed=9677200 0.179 0.197 0.212 0.218 0.260 0.338 0.445 0.543
seed=3379300 0.181 0.196 0.206 0.213 0.277 0.344 0.416 0.523
seed=7936000 0.166 0.184 0.198 0.205 0.234 0.312 0.419 0.514
seed=3869900 0.189 0.209 0.220 0.224 0.263 0.347 0.428 0.500
seed=2739800 0.186 0.198 0.211 0.215 0.266 0.315 0.413 0.477
seed=6493300 0.174 0.188 0.202 0.209 0.257 0.315 0.422 0.529
seed=909300 0.154 0.174 0.188 0.192 0.237 0.324 0.422 0.486
seed=6865600 0.184 0.199 0.211 0.218 0.260 0.327 0.410 0.517
seed=7408800 0.171 0.189 0.201 0.208 0.249 0.332 0.416 0.520
seed=1873400 0.166 0.184 0.194 0.200 0.254 0.332 0.410 0.503
seed=8812700 0.148 0.170 0.184 0.190 0.225 0.321 0.425 0.514
seed=6646900 0.172 0.186 0.201 0.205 0.249 0.309 0.419 0.491
seed=6330900 0.171 0.184 0.201 0.208 0.246 0.303 0.428 0.523
seed=8798900 0.145 0.166 0.180 0.190 0.223 0.312 0.416 0.555
seed=5342900 0.172 0.192 0.205 0.212 0.251 0.335 0.434 0.538
seed=1329100 0.171 0.188 0.204 0.211 0.243 0.315 0.434 0.538
seed=8988000 0.161 0.170 0.189 0.194 0.254 0.295 0.431 0.509
seed=3468700 0.164 0.178 0.191 0.199 0.240 0.301 0.408 0.520
seed=8300900 0.167 0.185 0.202 0.207 0.231 0.309 0.434 0.509
seed=9994900 0.148 0.166 0.181 0.187 0.220 0.301 0.419 0.497
seed=1277500 0.163 0.182 0.197 0.202 0.231 0.312 0.431 0.491
seed=2221000 0.154 0.168 0.188 0.193 0.223 0.289 0.442 0.514
seed=8214800 0.152 0.174 0.188 0.193 0.228 0.327 0.428 0.506
seed=4222400 0.170 0.182 0.198 0.205 0.251 0.306 0.431 0.529
seed=6730500 0.175 0.186 0.203 0.209 0.249 0.295 0.422 0.506
seed=3738200 0.166 0.183 0.200 0.204 0.246 0.321 0.448 0.517
seed=6967700 0.179 0.190 0.207 0.213 0.263 0.315 0.439 0.532
seed=5886800 0.184 0.204 0.218 0.224 0.254 0.341 0.448 0.538
seed=7553700 0.156 0.175 0.186 0.192 0.234 0.318 0.405 0.488

Statistical values based on MRR@20

  • Average: 0.192
  • Standard deviation: 0.022
  • Minimum value: 0.159
  • Maximum value: 0.250
  • Difference(%): 9.1

MRR@20 varies across of random seeds

MRR@20 vs random seeds

Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
seed=8673000 0.153 0.166 0.178 0.184 0.234 0.295 0.384 0.465
seed=1882100 0.175 0.194 0.208 0.214 0.246 0.327 0.439 0.532
seed=9028000 0.144 0.161 0.174 0.181 0.208 0.283 0.390 0.483
seed=5024800 0.161 0.180 0.192 0.201 0.251 0.329 0.422 0.543
seed=969300 0.177 0.202 0.213 0.221 0.249 0.358 0.445 0.546
seed=5168300 0.151 0.169 0.184 0.190 0.225 0.301 0.410 0.497
seed=2329500 0.126 0.145 0.161 0.168 0.197 0.277 0.399 0.494
seed=4539500 0.146 0.162 0.177 0.186 0.202 0.275 0.384 0.503
seed=7118700 0.159 0.176 0.188 0.195 0.217 0.286 0.379 0.474
seed=9942500 0.179 0.201 0.218 0.224 0.269 0.367 0.500 0.584
seed=9563600 0.135 0.147 0.159 0.165 0.205 0.260 0.350 0.434
seed=766200 0.141 0.159 0.173 0.179 0.211 0.295 0.402 0.480
seed=9200 0.183 0.199 0.212 0.219 0.280 0.350 0.454 0.558
seed=9209600 0.157 0.177 0.190 0.196 0.225 0.315 0.413 0.497
seed=5066700 0.170 0.187 0.206 0.212 0.257 0.335 0.474 0.561
seed=6826100 0.173 0.191 0.210 0.217 0.243 0.324 0.460 0.566
seed=7699600 0.177 0.199 0.216 0.223 0.246 0.344 0.471 0.569
seed=4357900 0.149 0.167 0.181 0.187 0.220 0.295 0.402 0.488
seed=6495800 0.144 0.164 0.175 0.181 0.220 0.312 0.396 0.480
seed=6701600 0.143 0.158 0.171 0.177 0.231 0.298 0.396 0.486
seed=7379200 0.151 0.171 0.185 0.190 0.225 0.318 0.416 0.500
seed=39200 0.151 0.170 0.181 0.188 0.220 0.301 0.387 0.486
seed=4742600 0.137 0.154 0.168 0.174 0.205 0.283 0.379 0.471
seed=4445900 0.135 0.158 0.171 0.176 0.205 0.303 0.408 0.483
seed=3911200 0.147 0.163 0.176 0.182 0.214 0.283 0.387 0.468
seed=5088400 0.148 0.169 0.182 0.188 0.208 0.298 0.399 0.486
seed=572000 0.146 0.165 0.175 0.182 0.205 0.283 0.361 0.462
seed=7749000 0.139 0.157 0.170 0.177 0.211 0.292 0.387 0.477
seed=1863100 0.145 0.161 0.177 0.183 0.211 0.280 0.405 0.486
seed=7164900 0.214 0.229 0.244 0.250 0.327 0.390 0.500 0.590
seed=8097100 0.128 0.143 0.158 0.166 0.199 0.266 0.376 0.486
seed=9404000 0.134 0.153 0.170 0.177 0.191 0.277 0.399 0.497
seed=4677200 0.187 0.202 0.222 0.228 0.266 0.332 0.474 0.558
seed=1874000 0.119 0.138 0.152 0.160 0.194 0.277 0.379 0.494
seed=9631900 0.124 0.143 0.155 0.161 0.194 0.275 0.364 0.451
seed=2983500 0.158 0.179 0.195 0.202 0.240 0.329 0.445 0.546
seed=7087400 0.144 0.160 0.175 0.183 0.220 0.295 0.402 0.514
seed=992200 0.174 0.197 0.211 0.217 0.240 0.341 0.442 0.529
seed=6030100 0.163 0.188 0.199 0.209 0.237 0.344 0.431 0.578
seed=2546500 0.137 0.158 0.173 0.179 0.202 0.295 0.408 0.486
seed=3547900 0.150 0.167 0.182 0.189 0.217 0.292 0.408 0.509
seed=1084000 0.163 0.180 0.195 0.201 0.237 0.312 0.422 0.520
seed=6871000 0.145 0.161 0.174 0.179 0.217 0.286 0.382 0.460
seed=4384700 0.177 0.197 0.213 0.220 0.272 0.358 0.480 0.575
seed=1056100 0.153 0.168 0.179 0.184 0.231 0.298 0.379 0.448
seed=7675400 0.131 0.146 0.160 0.167 0.208 0.277 0.382 0.477
seed=3331600 0.155 0.175 0.189 0.197 0.249 0.338 0.442 0.555
seed=7303100 0.149 0.168 0.178 0.184 0.228 0.309 0.387 0.480
seed=2577100 0.199 0.219 0.237 0.241 0.295 0.384 0.523 0.578
seed=9923600 0.142 0.159 0.167 0.175 0.214 0.289 0.358 0.468
seed=6754600 0.188 0.209 0.225 0.233 0.272 0.364 0.483 0.590
seed=1532200 0.180 0.198 0.213 0.220 0.280 0.358 0.465 0.572
seed=4595400 0.133 0.150 0.160 0.168 0.199 0.275 0.355 0.465
seed=1602600 0.134 0.151 0.169 0.176 0.191 0.263 0.396 0.500
seed=1309300 0.158 0.181 0.195 0.203 0.246 0.347 0.451 0.558
seed=6419200 0.147 0.164 0.174 0.180 0.211 0.283 0.364 0.439
seed=473100 0.153 0.171 0.185 0.192 0.223 0.301 0.408 0.509
seed=5723400 0.137 0.151 0.165 0.172 0.214 0.280 0.379 0.477
seed=2954600 0.179 0.199 0.211 0.219 0.257 0.347 0.434 0.546
seed=6254500 0.125 0.142 0.157 0.163 0.188 0.266 0.370 0.465
seed=5665800 0.149 0.159 0.176 0.182 0.231 0.275 0.393 0.483
seed=4550900 0.156 0.174 0.190 0.196 0.223 0.306 0.419 0.506
seed=240100 0.159 0.173 0.185 0.191 0.240 0.298 0.387 0.471
seed=9950900 0.133 0.147 0.164 0.169 0.199 0.260 0.373 0.454
seed=8520600 0.204 0.220 0.237 0.243 0.309 0.382 0.500 0.587
seed=1898600 0.133 0.149 0.164 0.169 0.217 0.283 0.399 0.460
seed=234300 0.184 0.209 0.225 0.232 0.260 0.373 0.488 0.598
seed=1599600 0.182 0.199 0.214 0.222 0.254 0.329 0.442 0.566
seed=1121100 0.150 0.163 0.180 0.185 0.202 0.260 0.382 0.460
seed=4001200 0.122 0.144 0.158 0.163 0.176 0.272 0.379 0.451
seed=610900 0.179 0.205 0.220 0.227 0.251 0.364 0.471 0.575
seed=5379100 0.159 0.174 0.186 0.193 0.220 0.283 0.379 0.483
seed=3562300 0.127 0.142 0.158 0.164 0.194 0.263 0.382 0.462
seed=4352300 0.132 0.144 0.159 0.167 0.208 0.260 0.376 0.488
seed=7845400 0.138 0.154 0.167 0.174 0.188 0.257 0.350 0.460
seed=7906300 0.138 0.158 0.171 0.178 0.211 0.301 0.399 0.500
seed=5783900 0.181 0.202 0.219 0.224 0.269 0.364 0.491 0.575
seed=1442600 0.189 0.208 0.221 0.228 0.266 0.350 0.451 0.546
seed=1798100 0.132 0.148 0.159 0.165 0.211 0.286 0.367 0.451
seed=9030100 0.128 0.147 0.167 0.174 0.194 0.277 0.431 0.532
seed=4472400 0.159 0.174 0.186 0.193 0.225 0.292 0.384 0.488
seed=3486000 0.187 0.205 0.219 0.226 0.301 0.382 0.480 0.578
seed=7576800 0.132 0.150 0.160 0.167 0.211 0.289 0.364 0.465
seed=8990100 0.166 0.180 0.196 0.203 0.257 0.318 0.439 0.538
seed=6097300 0.136 0.148 0.163 0.169 0.202 0.257 0.376 0.462
seed=9617300 0.141 0.158 0.173 0.180 0.197 0.275 0.382 0.477
seed=9794200 0.130 0.147 0.161 0.167 0.194 0.266 0.361 0.445
seed=7332600 0.135 0.151 0.165 0.171 0.211 0.283 0.384 0.471
seed=6628100 0.178 0.198 0.217 0.223 0.254 0.341 0.483 0.564
seed=4500500 0.145 0.161 0.178 0.183 0.211 0.283 0.416 0.494
seed=3901100 0.176 0.191 0.203 0.209 0.266 0.329 0.425 0.506
seed=416700 0.176 0.193 0.206 0.214 0.243 0.315 0.422 0.538
seed=9329200 0.135 0.153 0.166 0.175 0.194 0.272 0.376 0.506
seed=5922500 0.140 0.164 0.176 0.182 0.205 0.312 0.399 0.491
seed=9235600 0.150 0.164 0.174 0.182 0.214 0.280 0.361 0.468
seed=2059400 0.136 0.153 0.170 0.175 0.202 0.275 0.408 0.468
seed=4034900 0.164 0.177 0.191 0.197 0.237 0.292 0.396 0.480
seed=9749500 0.146 0.158 0.173 0.178 0.205 0.257 0.364 0.434
seed=8676200 0.208 0.227 0.245 0.249 0.298 0.382 0.514 0.575
seed=8310200 0.148 0.165 0.178 0.184 0.223 0.301 0.402 0.494

Statistical values based on MRR@20

  • Average: 0.249
  • Standard deviation: 0.005
  • Minimum value: 0.236
  • Maximum value: 0.264
  • Difference(%): 2.8

MRR@20 varies across of random seeds

MRR@20 vs random seeds

Metrics MRR@3: MRR@5: MRR@10: MRR@20: HitRate@3: HitRate@5: HitRate@10: HitRate@20:
seed=915200 0.206 0.224 0.244 0.252 0.295 0.376 0.526 0.630
seed=678400 0.198 0.215 0.232 0.240 0.301 0.370 0.503 0.613
seed=4190900 0.209 0.231 0.246 0.254 0.301 0.399 0.514 0.616
seed=4773200 0.203 0.222 0.235 0.244 0.298 0.384 0.480 0.613
seed=4376200 0.221 0.238 0.253 0.260 0.318 0.390 0.503 0.601
seed=9109200 0.197 0.223 0.234 0.241 0.298 0.410 0.491 0.592
seed=8080500 0.208 0.228 0.245 0.252 0.303 0.390 0.526 0.624
seed=4753200 0.208 0.227 0.244 0.251 0.303 0.384 0.514 0.607
seed=3047900 0.213 0.229 0.246 0.254 0.309 0.379 0.506 0.621
seed=2893500 0.208 0.226 0.241 0.249 0.303 0.382 0.497 0.604
seed=687900 0.205 0.223 0.239 0.247 0.295 0.373 0.497 0.604
seed=6282300 0.209 0.226 0.244 0.252 0.303 0.373 0.506 0.616
seed=9653700 0.213 0.231 0.246 0.253 0.303 0.384 0.497 0.592
seed=8544400 0.207 0.227 0.246 0.253 0.301 0.387 0.529 0.630
seed=7460100 0.197 0.221 0.236 0.243 0.298 0.402 0.512 0.610
seed=8945700 0.214 0.233 0.249 0.256 0.318 0.402 0.523 0.616
seed=4232000 0.211 0.224 0.238 0.247 0.329 0.387 0.494 0.618
seed=6110100 0.208 0.225 0.238 0.244 0.312 0.387 0.494 0.584
seed=1173200 0.198 0.218 0.235 0.242 0.303 0.387 0.520 0.607
seed=9591400 0.202 0.222 0.237 0.245 0.306 0.396 0.514 0.616
seed=7416200 0.206 0.225 0.240 0.248 0.309 0.396 0.509 0.624
seed=8234700 0.211 0.228 0.243 0.250 0.318 0.390 0.500 0.601
seed=2894600 0.213 0.230 0.245 0.252 0.327 0.399 0.514 0.607
seed=5979400 0.207 0.224 0.240 0.249 0.303 0.379 0.491 0.613
seed=5214100 0.208 0.227 0.242 0.248 0.318 0.402 0.512 0.592
seed=7505100 0.203 0.222 0.238 0.247 0.301 0.387 0.503 0.624
seed=3081900 0.207 0.225 0.241 0.248 0.309 0.387 0.503 0.616
seed=2459900 0.202 0.223 0.240 0.247 0.298 0.387 0.512 0.610
seed=151200 0.203 0.220 0.237 0.245 0.309 0.384 0.500 0.616
seed=3619900 0.213 0.231 0.245 0.251 0.312 0.390 0.500 0.587
seed=3181300 0.215 0.236 0.251 0.258 0.318 0.410 0.529 0.618
seed=4002700 0.203 0.221 0.232 0.241 0.315 0.396 0.483 0.607
seed=3951800 0.200 0.223 0.235 0.245 0.298 0.399 0.497 0.627
seed=6240000 0.221 0.239 0.256 0.262 0.327 0.405 0.535 0.627
seed=8789000 0.210 0.227 0.242 0.250 0.309 0.382 0.491 0.598
seed=2429300 0.203 0.226 0.241 0.249 0.306 0.405 0.523 0.630
seed=855700 0.199 0.223 0.238 0.244 0.301 0.405 0.514 0.610
seed=5226200 0.204 0.222 0.238 0.244 0.306 0.382 0.506 0.590
seed=284700 0.215 0.229 0.243 0.252 0.329 0.390 0.497 0.627
seed=2884100 0.223 0.242 0.254 0.262 0.324 0.408 0.503 0.607
seed=5895200 0.204 0.222 0.237 0.245 0.306 0.387 0.494 0.618
seed=1667000 0.208 0.223 0.238 0.246 0.306 0.373 0.483 0.595
seed=4751600 0.213 0.231 0.245 0.251 0.321 0.396 0.500 0.590
seed=454000 0.208 0.228 0.245 0.251 0.303 0.393 0.514 0.604
seed=8558000 0.212 0.231 0.249 0.256 0.315 0.399 0.543 0.647
seed=3780900 0.202 0.220 0.236 0.242 0.301 0.382 0.500 0.578
seed=7087000 0.209 0.233 0.249 0.256 0.298 0.402 0.523 0.633
seed=5662200 0.212 0.230 0.248 0.254 0.312 0.393 0.523 0.604
seed=3002200 0.211 0.228 0.243 0.250 0.315 0.387 0.506 0.607
seed=600300 0.207 0.229 0.242 0.250 0.309 0.402 0.503 0.613
seed=6381400 0.213 0.232 0.247 0.253 0.312 0.396 0.503 0.592
seed=2909000 0.213 0.230 0.244 0.253 0.324 0.399 0.509 0.624
seed=9961100 0.210 0.226 0.243 0.251 0.309 0.379 0.500 0.616
seed=8236600 0.204 0.226 0.242 0.249 0.306 0.405 0.529 0.621
seed=3325800 0.204 0.223 0.242 0.249 0.298 0.379 0.523 0.630
seed=5390800 0.206 0.223 0.240 0.246 0.315 0.390 0.520 0.607
seed=4293100 0.200 0.221 0.241 0.249 0.289 0.376 0.526 0.636
seed=5853800 0.200 0.218 0.233 0.240 0.309 0.387 0.506 0.601
seed=5443600 0.206 0.227 0.242 0.249 0.303 0.396 0.503 0.595
seed=9456600 0.211 0.224 0.241 0.248 0.321 0.376 0.497 0.601
seed=8568500 0.212 0.228 0.247 0.254 0.315 0.384 0.529 0.616
seed=4742100 0.222 0.237 0.249 0.259 0.327 0.393 0.483 0.621
seed=5880200 0.209 0.227 0.245 0.252 0.303 0.384 0.512 0.616
seed=8446600 0.210 0.231 0.244 0.252 0.301 0.393 0.497 0.613
seed=5402300 0.210 0.226 0.240 0.247 0.303 0.376 0.483 0.587
seed=5916600 0.208 0.226 0.241 0.249 0.318 0.399 0.506 0.604
seed=8981300 0.208 0.228 0.245 0.251 0.301 0.387 0.517 0.610
seed=2932400 0.212 0.227 0.241 0.251 0.321 0.384 0.497 0.630
seed=1018800 0.218 0.238 0.253 0.259 0.324 0.410 0.523 0.604
seed=2229600 0.207 0.223 0.239 0.247 0.312 0.384 0.503 0.613
seed=832500 0.223 0.243 0.255 0.263 0.338 0.428 0.512 0.624
seed=1750500 0.214 0.232 0.247 0.255 0.303 0.382 0.494 0.601
seed=6039900 0.204 0.222 0.235 0.243 0.292 0.370 0.474 0.575
seed=338700 0.196 0.215 0.231 0.239 0.298 0.382 0.503 0.610
seed=2205400 0.207 0.225 0.243 0.250 0.303 0.382 0.520 0.618
seed=8323300 0.220 0.241 0.257 0.264 0.303 0.399 0.512 0.616
seed=8852400 0.210 0.229 0.242 0.250 0.318 0.402 0.497 0.607
seed=1840400 0.213 0.232 0.252 0.259 0.289 0.367 0.520 0.621
seed=5281000 0.219 0.233 0.251 0.259 0.315 0.379 0.506 0.627
seed=1658100 0.210 0.231 0.248 0.255 0.303 0.399 0.526 0.621
seed=7928500 0.214 0.234 0.247 0.255 0.324 0.413 0.520 0.627
seed=4594800 0.200 0.220 0.236 0.244 0.298 0.384 0.497 0.613
seed=2425400 0.206 0.227 0.237 0.246 0.306 0.399 0.477 0.601
seed=5982700 0.203 0.222 0.236 0.243 0.306 0.387 0.494 0.598
seed=2539800 0.204 0.226 0.240 0.246 0.295 0.390 0.497 0.595
seed=1418200 0.202 0.224 0.240 0.248 0.303 0.399 0.517 0.639
seed=9060300 0.206 0.221 0.238 0.244 0.306 0.373 0.497 0.584
seed=3520500 0.213 0.233 0.245 0.252 0.315 0.402 0.500 0.587
seed=1607800 0.192 0.216 0.229 0.237 0.286 0.390 0.488 0.590
seed=9596600 0.217 0.239 0.253 0.260 0.309 0.405 0.506 0.607
seed=378600 0.205 0.221 0.238 0.245 0.312 0.382 0.512 0.618
seed=2692500 0.215 0.235 0.246 0.254 0.312 0.399 0.480 0.598
seed=6751800 0.197 0.216 0.234 0.241 0.306 0.390 0.523 0.616
seed=5823900 0.198 0.217 0.233 0.241 0.301 0.384 0.506 0.616
seed=72300 0.214 0.233 0.247 0.256 0.315 0.399 0.509 0.636
seed=4140300 0.215 0.231 0.246 0.254 0.306 0.376 0.488 0.604
seed=1659600 0.210 0.229 0.247 0.254 0.292 0.376 0.509 0.613
seed=6299600 0.213 0.234 0.250 0.255 0.309 0.399 0.526 0.610
seed=8707500 0.197 0.218 0.231 0.239 0.295 0.387 0.488 0.601
seed=7817000 0.215 0.233 0.245 0.252 0.335 0.416 0.512 0.621

Statistical testing based on MRR@20

COTREC GNRWW TAGNN FLCSP GGNN
0.286 0.257 0.206 0.219 0.256
0.284 0.269 0.207 0.188 0.245
0.281 0.286 0.216 0.232 0.252
0.284 0.283 0.205 0.191 0.239
0.286 0.268 0.198 0.214 0.245
0.281 0.267 0.198 0.192 0.251
0.283 0.278 0.211 0.182 0.250
0.281 0.277 0.217 0.227 0.240
0.281 0.272 0.192 0.179 0.247
0.281 0.273 0.213 0.221 0.263
0.284 0.273 0.211 0.217 0.244
0.281 0.279 0.201 0.184 0.252
0.278 0.278 0.202 0.201 0.259
0.281 0.259 0.211 0.185 0.242
0.286 0.265 0.229 0.203 0.248
0.277 0.260 0.175 0.228 0.237
0.278 0.284 0.206 0.220 0.255
0.281 0.271 0.201 0.222 0.254
0.284 0.273 0.207 0.176 0.246
0.282 0.279 0.200 0.165 0.255
0.287 0.277 0.193 0.183 0.259
0.281 0.277 0.202 0.160 0.250
0.281 0.272 0.210 0.214 0.247
0.285 0.282 0.213 0.169 0.246
0.286 0.283 0.193 0.175 0.249
0.284 0.289 0.215 0.168 0.247
0.282 0.281 0.188 0.179 0.246
0.285 0.265 0.213 0.241 0.254
0.283 0.245 0.199 0.219 0.262
0.286 0.260 0.223 0.202 0.249
0.276 0.283 0.198 0.197 0.252
0.277 0.275 0.204 0.226 0.253
0.285 0.273 0.202 0.189 0.251
0.283 0.274 0.224 0.164 0.250
0.284 0.272 0.192 0.209 0.254
0.284 0.271 0.214 0.182 0.248
0.286 0.270 0.205 0.163 0.258
0.284 0.279 0.220 0.197 0.249
0.283 0.270 0.200 0.167 0.252
0.281 0.288 0.205 0.187 0.251
0.290 0.263 0.212 0.220 0.242
0.288 0.263 0.211 0.176 0.245
0.283 0.275 0.207 0.193 0.241
0.281 0.273 0.212 0.183 0.254
0.283 0.272 0.191 0.186 0.254
0.283 0.267 0.212 0.196 0.247
0.279 0.284 0.192 0.168 0.249
0.288 0.278 0.213 0.228 0.260
0.284 0.269 0.227 0.174 0.244
0.284 0.259 0.199 0.201 0.259
0.284 0.261 0.224 0.212 0.251
0.287 0.264 0.217 0.188 0.251
0.277 0.271 0.184 0.190 0.244
0.284 0.277 0.229 0.193 0.248
0.284 0.272 0.211 0.182 0.244
0.278 0.276 0.211 0.172 0.259
0.285 0.279 0.208 0.224 0.246
0.282 0.283 0.214 0.182 0.247
0.284 0.270 0.200 0.209 0.249
0.285 0.281 0.209 0.169 0.254
0.284 0.266 0.205 0.163 0.241
0.288 0.279 0.195 0.180 0.240
0.281 0.266 0.209 0.181 0.252
0.287 0.290 0.197 0.223 0.245
0.281 0.287 0.218 0.177 0.249
0.281 0.273 0.183 0.233 0.249
0.283 0.274 0.192 0.217 0.243
0.283 0.266 0.213 0.179 0.243
0.284 0.264 0.229 0.183 0.244
0.284 0.272 0.204 0.195 0.262
0.279 0.294 0.193 0.250 0.252
0.283 0.272 0.208 0.184 0.255
0.283 0.283 0.192 0.171 0.253
0.284 0.280 0.211 0.190 0.241
0.280 0.278 0.205 0.167 0.256
0.286 0.292 0.212 0.167 0.248
0.283 0.281 0.224 0.223 0.243
0.283 0.278 0.193 0.177 0.247
0.280 0.279 0.207 0.174 0.252
0.282 0.268 0.205 0.178 0.255
0.284 0.256 0.195 0.166 0.252
0.286 0.283 0.204 0.184 0.250
0.286 0.270 0.216 0.243 0.249
0.282 0.283 0.186 0.184 0.264
0.288 0.268 0.208 0.249 0.252
0.284 0.262 0.190 0.203 0.253
0.283 0.269 0.190 0.181 0.256
0.283 0.269 0.210 0.174 0.254
0.284 0.286 0.194 0.196 0.239
0.286 0.259 0.201 0.182 0.250
0.280 0.281 0.201 0.175 0.250
0.280 0.276 0.218 0.177 0.256
0.281 0.288 0.232 0.165 0.251
0.281 0.273 0.214 0.180 0.244
0.281 0.290 0.214 0.161 0.241
0.287 0.280 0.184 0.178 0.248
0.281 0.270 0.203 0.167 0.245
0.286 0.273 0.207 0.175 0.260
0.286 0.258 0.218 0.224 0.253
0.284 0.259 0.187 0.169 0.251

One-way ANOVA

Null hypothesis (Ho): There is no difference in the model means UCOTREC = UGNRWW = UTAGNN = UFLCSP = UGGNN
Alternative hypothesis (H1): At least one model's mean differs from the others
Significance level = 0.05

Summary
Groups Count Sum Average Variance
COTREC 100 28.30582445 0.2830582445 0.000007556691741
GNRWW 100 27.3716453 0.273716453 0.00008213772324
TAGNN 100 20.56988143 0.2056988143 0.0001312726767
FLCSP 100 19.22924615 0.1922924615 0.0005139556325
GGNN 100 24.97711682 0.2497711682 0.00003411900491
ANOVA
Source of Variation SS df MS F-value P-value F critical
Between Groups 0.6534750782 4 0.1633687696 1062.15803 0 2.389947844
Within Groups 0.07613513118 495 0.0001538083458
Total 0.7296102094 499

The F-value and critical F- value are 1062.158 and 2.389, respectively. The F-value is greater than the critical F-value, therefore, we reject the Ho. The main purpose of the ANOVA test is to observe the variability between the groups/compared models. However, it does not explain about the magnitude of variability. Therefore, we use the effect size (η) to know the magnitude of variability between the models. The effect size uses the following table to explain the level of variability.


η Size
0.01 small
0.09 medium
0.25 large
Note: if less than .01, no effect is reported

η = 0.653475078241932 / 0.7296102094
η = 0.8956
Here we observe the large effect size between the GNN models.

References:

  1. https://open.maricopa.edu/psy230mm/chapter/chapter-14-analysis-of-variance/
  2. https://en.wikipedia.org/wiki/Analysis_of_variance