Revision of архиваторы.md

1

+

Отличные данные! Вот подробный анализ и сравнительная таблица:

2

+

3

+

## **Анализ результатов**

4

+

5

+

### **Исходный файл:** 47news.sql = 1,04 GiB (1111885684 байт)

6

+

7

+

## **Сравнительная таблица**

8

+

9

+

10

+

|--------------|---------|--------------|---------------|----------------|------------------|--------------|

11

+

| **Исходный** | - | - | 1,111,885,684 | 0% | - | - |

12

+

| **gzip (1)** | `gzip -c` | 0:54 | 257,271,058 | 76.8% | 19.6 | умеренная |

13

+

| **gzip (9)** | `gzip -c -9` | 2:01 | 252,694,481 | 77.3% | 8.79 | высокая |

14

+

| **pigz (1)** | `pigz -c` | 0:06 | 257,703,551 | 76.8% | 172 | очень высокая |

15

+

| **pigz (9)** | `pigz -c -9` | 0:12 | 253,075,037 | 77.2% | 86.5 | очень высокая |

16

+

| **bzip2 (1)** | `bzip2 -c` | 1:09 | 163,078,834 | 85.3% | 15.4 | высокая |

17

+

| **bzip2 (9)** | `bzip2 -c -9` | 1:08 | 163,078,834 | 85.3% | 15.5 | высокая |

18

+

| **xz (1)** | `xz -c` | 0:54 | 142,393,068 | 87.2% | 26.2 | очень высокая |

19

+

| **xz (9)** | `xz -c -9` | 1:47 | 128,962,872 | 88.4% | 3.03* | очень высокая |

20

+

| **zstd (1)** | `zstd -c` | 0:01 | 239,551,209 | 78.5% | 823 | высокая |

21

+

| **zstd (T0)** | `zstd -c -T0` | 0:01 | 239,551,209 | 78.5% | 1330 | очень высокая |

22

+

| **zstd (19)** | `zstd -c -19 --ultra` | 3:33 | 141,769,237 | 87.2% | 5.50 | экстремальная |

23

+

| **zstd (T0,19)** | `zstd -c -T0 -19 --ultra` | 2:03 | 141,769,237 | 87.2% | 10.6 | экстремальная |

24

+

25

+

\* *xz -9 показывает 3.03 GiB/s в pv, но реальная скорость обработки ~10.4 MiB/s*

26

+

27

+

## **Ключевые выводы**

28

+

29

+

### **По скорости (быстрее → медленнее):**

30

+

1. **zstd -T0** (0.8 сек) - абсолютный лидер скорости

31

+

2. **zstd** (1.3 сек) - почти так же быстро

32

+

3. **pigz** (6-12 сек) - многопоточный gzip

33

+

4. **gzip/xz базовый** (~54 сек)

34

+

5. **bzip2** (~68 сек)

35

+

6. **zstd максимальное** (2-3.5 мин)

36

+

37

+

### **По степени сжатия (лучше → хуже):**

38

+

1. **xz -9** (88.4%) - лучший размер

39

+

2. **zstd -19 / xz -1** (87.2%) - отличное сжатие

40

+

3. **bzip2** (85.3%) - хорошее сжатие

41

+

4. **zstd -1** (78.5%) - умеренное

42

+

5. **gzip/pigz** (76.8-77.3%) - базовое

43

+

44

+

### **По эффективности CPU:**

45

+

- **pigz/zstd -T0** - максимально используют CPU, быстрее

46

+

- **zstd -19** - экстремальная нагрузка (10 мин CPU на 2 мин реального времени)

47

+

- **gzip** - сбалансированная нагрузка

48

+

49

+

## **Рекомендации по использованию:**

50

+

51

+

### **Для ежедневного использования:**

52

+

- **zstd -T0** - если установлен, идеальный баланс

53

+

- **pigz** - если нужна совместимость с gzip

54

+

55

+

### **Для максимального сжатия:**

56

+

- **xz -9** - если можно ждать и важен каждый байт

57

+

- **zstd -19** - если нужен баланс сжатия/распаковки

58

+

59

+

### **Для максимальной совместимости:**

60

+

- **gzip** - работает везде

61

+

- **bzip2** - хорошая альтернатива

62

+

63

+

### **Для SQL дампов:**

64

+

```bash

65

+

# Быстрое сжатие для частых бэкапов

66

+

mysqldump db | pv | zstd -T0 > backup.sql.zst

67

+

68

+

# Максимальное сжатие для архивных копий

69

+

mysqldump db | pv | xz -9 > backup.sql.xz

70

+

```

71

+

72

+

**Итог:** zstd на уровне по умолчанию показывает феноменальную скорость при хорошем сжатии, делая его лучшим выбором для большинства задач.

KarelWintersky / архиваторы.md

KarelWintersky revised this gist 1 week ago. Go to revision

		@@ -0,0 +1,72 @@
1	+	Отличные данные! Вот подробный анализ и сравнительная таблица:
2	+
3	+	## Анализ результатов
4	+
5	+	### Исходный файл: 47news.sql = 1,04 GiB (1111885684 байт)
6	+
7	+	## Сравнительная таблица
8	+
9	+	\| Метод сжатия \| Команда \| Время (real) \| Размер (байт) \| Степень сжатия \| Скорость (MiB/s) \| CPU нагрузка \|
10	+	\|--------------\|---------\|--------------\|---------------\|----------------\|------------------\|--------------\|
11	+	\| Исходный \| - \| - \| 1,111,885,684 \| 0% \| - \| - \|
12	+	\| gzip (1) \| `gzip -c` \| 0:54 \| 257,271,058 \| 76.8% \| 19.6 \| умеренная \|
13	+	\| gzip (9) \| `gzip -c -9` \| 2:01 \| 252,694,481 \| 77.3% \| 8.79 \| высокая \|
14	+	\| pigz (1) \| `pigz -c` \| 0:06 \| 257,703,551 \| 76.8% \| 172 \| очень высокая \|
15	+	\| pigz (9) \| `pigz -c -9` \| 0:12 \| 253,075,037 \| 77.2% \| 86.5 \| очень высокая \|
16	+	\| bzip2 (1) \| `bzip2 -c` \| 1:09 \| 163,078,834 \| 85.3% \| 15.4 \| высокая \|
17	+	\| bzip2 (9) \| `bzip2 -c -9` \| 1:08 \| 163,078,834 \| 85.3% \| 15.5 \| высокая \|
18	+	\| xz (1) \| `xz -c` \| 0:54 \| 142,393,068 \| 87.2% \| 26.2 \| очень высокая \|
19	+	\| xz (9) \| `xz -c -9` \| 1:47 \| 128,962,872 \| 88.4% \| 3.03* \| очень высокая \|
20	+	\| zstd (1) \| `zstd -c` \| 0:01 \| 239,551,209 \| 78.5% \| 823 \| высокая \|
21	+	\| zstd (T0) \| `zstd -c -T0` \| 0:01 \| 239,551,209 \| 78.5% \| 1330 \| очень высокая \|
22	+	\| zstd (19) \| `zstd -c -19 --ultra` \| 3:33 \| 141,769,237 \| 87.2% \| 5.50 \| экстремальная \|
23	+	\| zstd (T0,19) \| `zstd -c -T0 -19 --ultra` \| 2:03 \| 141,769,237 \| 87.2% \| 10.6 \| экстремальная \|
24	+
25	+	\* xz -9 показывает 3.03 GiB/s в pv, но реальная скорость обработки ~10.4 MiB/s
26	+
27	+	## Ключевые выводы
28	+
29	+	### По скорости (быстрее → медленнее):
30	+	1. zstd -T0 (0.8 сек) - абсолютный лидер скорости
31	+	2. zstd (1.3 сек) - почти так же быстро
32	+	3. pigz (6-12 сек) - многопоточный gzip
33	+	4. gzip/xz базовый (~54 сек)
34	+	5. bzip2 (~68 сек)
35	+	6. zstd максимальное (2-3.5 мин)
36	+
37	+	### По степени сжатия (лучше → хуже):
38	+	1. xz -9 (88.4%) - лучший размер
39	+	2. zstd -19 / xz -1 (87.2%) - отличное сжатие
40	+	3. bzip2 (85.3%) - хорошее сжатие
41	+	4. zstd -1 (78.5%) - умеренное
42	+	5. gzip/pigz (76.8-77.3%) - базовое
43	+
44	+	### По эффективности CPU:
45	+	- pigz/zstd -T0 - максимально используют CPU, быстрее
46	+	- zstd -19 - экстремальная нагрузка (10 мин CPU на 2 мин реального времени)
47	+	- gzip - сбалансированная нагрузка
48	+
49	+	## Рекомендации по использованию:
50	+
51	+	### Для ежедневного использования:
52	+	- zstd -T0 - если установлен, идеальный баланс
53	+	- pigz - если нужна совместимость с gzip
54	+
55	+	### Для максимального сжатия:
56	+	- xz -9 - если можно ждать и важен каждый байт
57	+	- zstd -19 - если нужен баланс сжатия/распаковки
58	+
59	+	### Для максимальной совместимости:
60	+	- gzip - работает везде
61	+	- bzip2 - хорошая альтернатива
62	+
63	+	### Для SQL дампов:
64	+	```bash
65	+	# Быстрое сжатие для частых бэкапов
66	+	mysqldump db \| pv \| zstd -T0 > backup.sql.zst
67	+
68	+	# Максимальное сжатие для архивных копий
69	+	mysqldump db \| pv \| xz -9 > backup.sql.xz
70	+	```
71	+
72	+	Итог: zstd на уровне по умолчанию показывает феноменальную скорость при хорошем сжатии, делая его лучшим выбором для большинства задач.