Расчет объема данных

Что такое объем данных

Объем данных – это количество информации, хранимой в цифровом виде, измеряемое в байтах и их производных (килобайтах, мегабайтах, гигабайтах, терабайтах). В отличие от статистического понятия «объем выборки» (количество наблюдений), расчет объема данных в IT означает оценку места на диске или в памяти, которое займет набор значений.

Зачем нужен такой расчет:

• Проектирование хранилища – перед развертыванием БД или файловой системы
• Планирование ресурсов – оценка стоимости облачного хранилища
• Оптимизация запросов – понимание, сколько данных помещается в оперативную памяти
• Собеседования – задачи на оценку масштабов систем

Единицы измерения

Система единиц измерения объема данных использует степени числа 1024 (для двоичной системы) и 1000 (для десятичной). В документации производителей накопителей и провайдеров обычно используется десятичная система (1 ГБ = 1000³ байт), тогда как операционные системы часто показывают двоичную (1 ГБ = 1024³ байт, называемый гибибайтом).

Для упрощения расчетов в быстрой оценке используют степени 1000. При точных вычислениях – степени 1024.

Формулы расчета объема данных

Строковые данные (текст, VARCHAR)

Формула расчета для строки:

объем*строки = количество*символов × байт*на*символ

UTF-8 кодирует символы переменным количеством байт:

• ASCII (латиница, цифры, базовые знаки) – 1 байт
• Кириллица, латиница с диакритикой – 2 байта
• Символы CJK (китайский, японский) – 3 байта
• Emoji и редкие символы – 4 байта

Для консервативной оценки используйте 4 байта на символ (максимум UTF-8). Для текста на русском языке – 2 байта.

Пример: поле «ФИО клиента», средняя длина 30 символов, русский текст:

30 символов × 2 байта = 60 байт на запись

Числовые типы данных

Размер числа зависит от его диапазона:

Формула определения необходимого размера:

минимальный*размер = ceil(log₂(максимальное*значение + 1) / 8)

Пример: поле «возраст клиента», максимальное значение 150:

минимальный_размер = ceil(log₂(151) / 8) = ceil(7,23 / 8) = 1 байт

Достаточно TINYINT (1 байт).

Даты и время

В MySQL DATETIME занимает 5 байт без микросекунд, 8 байт с микросекундами.

Булевы значения

Булевы значения в большинстве СУБД хранятся как 1-байтовое целое число (0 или 1). В некоторых системах (например, PostgreSQL с типом boolean) используется 1 байт с тремя состояниями: TRUE, FALSE, NULL.

Перечисления (ENUM)

Перечисления обычно занимают 1–2 байта в зависимости от количества вариантов:

• ≤ 255 значений – 1 байт
• ≤ 65 535 значений – 2 байта

Практические примеры расчета

Пример 1: Таблица клиентов

База данных интернет-магазина, таблица customers на 100 000 записей:

Общий объем данных без индексов:

237 байт × 100 000 = 23 700 000 байт ≈ 23 МБ

С учетом накладных расходов СУБД (≈30%):

23 МБ × 1,3 ≈ 30 МБ

Пример 2: Логи посещений

Таблица веб-аналитики, 1 000 000 записей в день:

За день:

720 байт × 1 000 000 = 720 000 000 байт ≈ 720 МБ

За месяц (30 дней):

720 МБ × 30 ≈ 21,6 ГБ

Пример 3: Расчет объема JSON-данных

Документ профиля пользователя в NoSQL (MongoDB):

{
  "user_id": "650a2...",
  "name": "Иван Петров",
  "email": "ivan@example.com",
  "preferences": {
    "theme": "dark",
    "notifications": true,
    "language": "ru"
  },
  "orders_count": 42,
  "last_login": "2024-01-15T10:30:00Z"
}

Расчет объема строки (json):

Символы (с пробелами): ~200
UTF-8 (русский + базовые): ~1,5 байта/символ в среднем
Итого: ~300 байт на документ

При 1 миллионе пользователей:

300 байт × 1 000 000 ≈ 300 МБ (без индексов)

Дополнительные факторы

Индексы

Индексы значительно увеличивают объем хранимых данных. Простой индекс на одно поле обычно занимает 30–50% от размера самого поля на каждую строку. Составной индекс пропорционален сумме размеров полей.

Правило: полный индекс на все поля таблицы удваивает её размер.

Репликация

При использовании репликации (Master-Slave, MongoDB Replica Set) объем умножается на количество копий:

• 2 реплики – ×2
• 3 реплики – ×3
• Кворум 3 из 5 – ×3

Сжатие

Коэффициент сжатия зависит от типа данных:

• Текстовые данные: 0,3–0,5 (экономия 50–70%)
• Числовые данные: 0,8–0,9 (экономия 10–20%)
• Индексы: 0,6–0,8 (экономия 20–40%)
• JSON/Logs: 0,2–0,4 (экономия 60–80%)

Резервные копии

Резервные копии обычно занимают:

• Без сжатия: размер базы данных × 1
• Со сжатием (gzip): размер БД × 0,3–0,5
• Инкрементные: зависят от частоты изменений

Быстрая оценка: множители для запоминания

Для грубой оценки объема данных используйте следующие коэффициенты:

Формула быстрой оценки таблицы:

объем_МБ = количество_строк × средний_размер_строки_байт / 1 000 000

Затем добавьте:

• Индексы: ×1,5–2,0
• Репликация: ×количество_реплик
• Сжатие текста: ×0,5

Калькулятор объема данных

Для точного расчета используйте калькулятор – введите количество записей и типы полей, получите оценку объема с учетом индексов и репликации.

Зная объем данных, вы сможете точнее планировать инфраструктуру, выбирать тарифы облачных провайдеров и оптимизировать производительность системы.