IT и интернет

Взаимная информация таблицы 2 × 2

Оценивает информацию об одной бинарной переменной, содержащуюся в другой, по четырём наблюдаемым частотам.

</>быстрый расчёт
онлайн

Введите данные

Частота X=0, Y=0

Частота X=0, Y=1

Частота X=1, Y=0

Частота X=1, Y=1

Данные не отправляются на сервер

Результат

Взаимная информация I(X;Y)0,188722бит

Совместная энтропия H(X,Y)1,8113 бит

Условная энтропия H(X|Y)0,8113 бит

Формула

Как считается результат

Совместные вероятности pij=nij/N, маргинальные pi и pj — суммы строк и столбцов. I=H(X)+H(Y)−H(X,Y), H(X|Y)=H(X,Y)−H(Y). Каждая H вычисляется как −Σp log2p, нулевая ячейка вносит ноль без деления на нулевую маргинальную долю.

Пример с тестовыми данными

Частота X=0, Y=0: 3; Частота X=0, Y=1: 1; Частота X=1, Y=0: 1; Частота X=1, Y=1: 3

Взаимная информация I(X;Y): 0,1887218755 бит; Совместная энтропия H(X,Y): 1,811278124 бит; Условная энтропия H(X|Y): 0,8112781245 бит

О расчёте

Как пользоваться
калькулятором

Оценивает информацию об одной бинарной переменной, содержащуюся в другой, по четырём наблюдаемым частотам.

01
Подготовьте данные
Используйте исходные величины именно для рассматриваемого случая: частота x=0, y=0; частота x=0, y=1; частота x=1, y=0; частота x=1, y=1.
02
Проверьте единицы и условия
Непустая таблица частот, одинаковые категории для всех наблюдений. Это эмпирическая оценка без поправки на малую выборку и без проверки независимости наблюдений. Не устанавливает причинность; для статистической значимости нужны отдельная модель и критерий.
03
Прочитайте результат
Взаимная информация симметрична и не имеет знака положительной или отрицательной связи. Независимая таблица даёт I=0; детерминированная связь может давать I>0 при обеих ориентациях меток. Значение в битах не является p-значением.

Подробное объяснение

Как читать результат

Расшифровка показателей, пример вычисления и ограничения метода — без лишних терминов.

Что означают результаты

Взаимная информация симметрична и не имеет знака положительной или отрицательной связи. Независимая таблица даёт I=0; детерминированная связь может давать I>0 при обеих ориентациях меток. Значение в битах не является p-значением.

Когда модель применима

Непустая таблица частот, одинаковые категории для всех наблюдений. Это эмпирическая оценка без поправки на малую выборку и без проверки независимости наблюдений. Не устанавливает причинность; для статистической значимости нужны отдельная модель и критерий.

Разбор по шагам

Пример расчёта

Пример 1

Исходные данные: Частота X=0, Y=0: 3; Частота X=0, Y=1: 1; Частота X=1, Y=0: 1; Частота X=1, Y=1: 3
Вычисление: Совместные вероятности pij=nij/N, маргинальные pi и pj — суммы строк и столбцов. I=H(X)+H(Y)−H(X,Y), H(X|Y)=H(X,Y)−H(Y). Каждая H вычисляется как −Σp log2p, нулевая ячейка вносит ноль без деления на нулевую маргинальную долю. Взаимная информация I(X;Y): после вычисления по описанной формуле получаем 0,1887218755 бит. Совместная энтропия H(X,Y): после вычисления по описанной формуле получаем 1,811278124 бит. Условная энтропия H(X|Y): после вычисления по описанной формуле получаем 0,8112781245 бит.
Результат: Взаимная информация I(X;Y): 0,1887218755 бит; Совместная энтропия H(X,Y): 1,811278124 бит; Условная энтропия H(X|Y): 0,8112781245 бит

Пример 2

Исходные данные: Частота X=0, Y=0: 1; Частота X=0, Y=1: 1; Частота X=1, Y=0: 1; Частота X=1, Y=1: 1
Вычисление: Взаимная информация I(X;Y): после вычисления по описанной формуле получаем 0 бит. Совместная энтропия H(X,Y): после вычисления по описанной формуле получаем 2 бит. Условная энтропия H(X|Y): после вычисления по описанной формуле получаем 1 бит.
Результат: Взаимная информация I(X;Y): 0 бит; Совместная энтропия H(X,Y): 2 бит; Условная энтропия H(X|Y): 1 бит

Этот вариант использует другие исходные данные: Частота X=0, Y=0 — 1; Частота X=0, Y=1 — 1; Частота X=1, Y=0 — 1; Частота X=1, Y=1 — 1. Взаимная информация симметрична и не имеет знака положительной или отрицательной связи. Независимая таблица даёт I=0; детерминированная связь может давать I>0 при обеих ориентациях меток. Значение в битах не является p-значением.

Формула и обозначения

first — частота x=0, y=0.

second — частота x=0, y=1.

third — частота x=1, y=0.

fourth — частота x=1, y=1.

Практическое применение

Оценивает информацию об одной бинарной переменной, содержащуюся в другой, по четырём наблюдаемым частотам. Совместные вероятности pij=nij/N, маргинальные pi и pj — суммы строк и столбцов. I=H(X)+H(Y)−H(X,Y), H(X|Y)=H(X,Y)−H(Y). Каждая H вычисляется как −Σp log2p, нулевая ячейка вносит ноль без деления на нулевую маргинальную долю.

Частые ошибки

Используйте исходные величины именно для рассматриваемого случая: частота x=0, y=0; частота x=0, y=1; частота x=1, y=0; частота x=1, y=1.

Источники и допущения

Основание расчёта

Метод, правило или ставка сверены с указанным источником. Последняя проверка этой реализации: 2026-09-30.

Непустая таблица частот, одинаковые категории для всех наблюдений. Это эмпирическая оценка без поправки на малую выборку и без проверки независимости наблюдений. Не устанавливает причинность; для статистической значимости нужны отдельная модель и критерий.
Используйте исходные величины именно для рассматриваемого случая: частота x=0, y=0; частота x=0, y=1; частота x=1, y=0; частота x=1, y=1.

MIT: энтропия и взаимная информация ↗

Коротко о главном

Вопросы
и ответы

Что показывает «взаимная информация i(x;y)»?＋

Как проверить расчёт на конкретном примере?＋

Частота X=0, Y=0: 3; Частота X=0, Y=1: 1; Частота X=1, Y=0: 1; Частота X=1, Y=1: 3. Взаимная информация I(X;Y): 0,1887218755 бит; Совместная энтропия H(X,Y): 1,811278124 бит; Условная энтропия H(X|Y): 0,8112781245 бит. Совместные вероятности pij=nij/N, маргинальные pi и pj — суммы строк и столбцов. I=H(X)+H(Y)−H(X,Y), H(X|Y)=H(X,Y)−H(Y). Каждая H вычисляется как −Σp log2p, нулевая ячейка вносит ноль без деления на нулевую маргинальную долю.

Какие ограничения есть у метода?＋

Можно ли изменить исходные данные и сравнить варианты?＋

Да. Взаимная информация симметрична и не имеет знака положительной или отрицательной связи. Независимая таблица даёт I=0; детерминированная связь может давать I>0 при обеих ориентациях меток. Значение в битах не является p-значением. Сравнивайте варианты в одинаковых единицах и при неизменных допущениях: Непустая таблица частот, одинаковые категории для всех наблюдений. Это эмпирическая оценка без поправки на малую выборку и без проверки независимости наблюдений. Не устанавливает причинность; для статистической значимости нужны отдельная модель и критерий.