정보 (Information)

정보 이론에서 정보는 여러 가능한 메시지 가운데 하나를 고를 때의 선택의 자유, 곧 결과를 알기 전의 불확실성이 얼마나 줄어드는지를 재는 양입니다. 가능한 선택지의 수에 로그를 취해 측정하며, 밑이 2인 로그를 쓰면 단위는 비트(bit)입니다.

하틀리의 정의: 선택지 수의 로그

랠프 하틀리는 1928년, 똑같이 가능한 선택지가 N개일 때 하나를 지정하는 데 필요한 정보량을 log N으로 정의했습니다. 로그를 쓰는 이유는 독립적인 선택을 이어 붙일 때 경우의 수는 곱해지지만 정보량은 더해지게 하기 위해서입니다.

• 동전 던지기(2가지): log₂ 2 = 1비트
• 십면체 주사위(10가지): log₂ 10 ≈ 3.32비트
• 선택지가 하나뿐이면 log₂ 1 = 0비트로, 결과를 알려 줘도 새 정보가 없습니다.

섀넌의 자기 정보와 엔트로피

클로드 섀넌은 1948년 결과마다 확률이 다른 경우로 개념을 넓혔습니다. 확률 p인 사건이 일어났을 때의 자기 정보(self-information)는 −log₂ p 비트입니다. 드문 사건일수록 정보가 크고, 반드시 일어나는 사건(p = 1)의 정보는 0입니다. 모든 결과에 대한 자기 정보의 기댓값이 엔트로피 H = −Σ p_i log₂ p_i이며, N개의 결과가 모두 같은 확률일 때 최댓값 log₂ N이 되어 하틀리의 정의와 일치합니다.

예를 들어 앞면이 나올 확률이 0.9인 찌그러진 동전의 엔트로피는 약 0.47비트로, 공정한 동전의 1비트보다 작습니다. 결과를 미리 짐작하기 쉬울수록 실제 결과가 주는 정보가 적기 때문입니다.

암호학에서의 쓰임

• 키의 강도: 128비트 키를 균등한 무작위로 고르면 엔트로피는 128비트이고, 공격자가 전수 조사해야 할 경우의 수는 2¹²⁸입니다. 키 생성기가 치우쳐 있으면 같은 길이라도 실제 엔트로피는 줄어듭니다.
• 비밀번호와 니모닉: 영문 대소문자와 숫자 62종에서 무작위로 고른 8자 비밀번호의 엔트로피는 8 × log₂ 62 ≈ 47.6비트입니다. 사람이 직접 고른 비밀번호는 예측 가능한 패턴 때문에 이보다 훨씬 낮습니다. BIP-39 니모닉 12단어는 128비트의 무작위 엔트로피에 체크섬을 더해 만듭니다.
• 완전 비밀성: 섀넌은 암호문이 평문에 대한 정보를 전혀 주지 않으려면 키의 엔트로피가 평문의 엔트로피 이상이어야 함을 보였습니다.

이 밖에 정보량 개념은 데이터 압축(엔트로피가 평균 부호 길이의 하한)과 오류 정정 부호, 통신 채널 용량 분석의 기초가 됩니다.

정보와 의미의 구분

정보 이론의 정보량은 메시지의 뜻이나 가치와는 무관합니다. 섀넌과 위버가 강조했듯이, 정보량은 어떤 메시지가 실제로 선택되었는지가 아니라 선택될 수 있었던 메시지의 집합과 그 확률 분포의 성질입니다. 그래서 의미 없는 무작위 문자열도 최대의 엔트로피를 가질 수 있고, 중요한 내용이라도 미리 예상할 수 있으면 정보량은 작습니다.