(H= – ∑ p(x)logp(x. این معادله درسال ۱۹۴۹ در کتاب” نظریه ریاضی مخابرات” به نوشتهClaude Shannon و Warren Weaver به چاپ رسید. این معادله راهی زیبا برای نشان دادن این بود که یک کد چقدر می‌تواند کاربردی باشد، و توانست اطلاعات را از لغتی با تعریفی مبهم ، به این معنی که یک نفر چقدر درباره موضوعی می‌داند، به یک واحد دقیق ریاضی تبدیل کند که بتوان آن را اندازه گرفت، دستکاری کرد و انتقال داد. این آغاز علم “تئوری اطلاعات” بود، مجموعه‌ای از ایده‌ها که انسان را قادر ساخت تا اینترنت، کامپیوترهای دیجیتالی، و سیستم‌های ارتباطات مخابراتی را بسازد. وقتی در جایی صحبت از انقلاب اطلاعاتی می‌شود، منظور از اطلاعات گفته‌شده همان ایده Shannon می‌باشد.
Claude Shannon یک ریاضیدان و مهندس الکترونیک بود که در اواسط قرن بیستم در آزمایشگاه‌های Bell کار می‌کرد. محل کار او، بخش توسعه و تحقیقات آزمایشگاه‌های Bell بود که تامین‌کننده اصلی سرویس‌های تلفنی در ایلات متحده و یکی از بخش‌های تقدیرشده تا دهه ۸۰ بود که پس از ان به دلیل موقعیت انحصاری آن، فعالیت‌هایش متوقف شد. حین جنگ‌جهانی دوم، Shannon بر روی کدها و متودهایی کار می‌کرد که باعث فرستادن موثرتر و امن‌تر پیام‌ها در فواصل دور می‌شد، ایده‌هایی که زیربنای تئوری اطلاعات او را تشکیل می‌داد.
قبل از تئوری اطلاعات، ارتباطات در فواصل دور با استفاده از سیگنال‌های آنالوگ امکان‌پذیر بود. فرستادن پیام به شکل ضربان ولتاژی متغیر در امتداد سیم بود، که در انتهای دیگر سیم قابل‌اندازه‌گیری و قابل‌تفسیر به کلمات بود. این متود در ارتباطات کوتاه خوب عمل می‌کرد، ولی وقتی که می‌خواستند تا پیامی را به آ« طرف اقیانوس بفرستند، هیچ کاربردی نداشت. سیگنال آنالوگ الکتریکی به ازای هر متر از سیمی که در آن حرکت می‌کند، ضعیف‌تر و دچار بی‌ثباتی در مواد اطرافش می‌شود که این پدیده به نویز هم معروف است. شما می‌توانید سیگنال را در ابتدا نیز تقویت کنید اما ناخواسته نویز را نیز تقویت خواهید کرد.
تئوری اطلاعات به حل این مشکل کمک کرده‌است. در آن، Shannon واحدهای اطلاعات را به کوچک‌ترین تکه‌های ممکن تقسیم کرد و آن را bit نامید که با استفاده از مجموعه‌ای از آن‌ها می‌توان هر پیامی را کدگزاری کرد. پرکاربردترین کدهای دیجیتالی که در علم الکترونیک مدرن استفاده می‌شود، براساس bit هایی می‌باشد که تنها دو مقدار را می‌پذیرند: ۰ و ۱.
این ایده ساده به سرعت کیفیت اطلاعات را افزایش داد. پیام شما را حرف به حرف به کدی تبدیل می‌کرد که از ۱ها و ۰ها تشکیل شده‌بود، سپس این رشته از کدها را به وسیله سیم، که ۰ با سیگنال‌هایی با ولتاژ کم و ۱ با جرقه‌هایی با ولتاژ بالا نشان داده می‌شد، انتقال داده می‌شد. این سیگنالها همان مشکلات سیگنال‌های آنالوگی را داشتند. ولی سیگنال‌های دیجیتالی یک مزیت داشتند: ۰ها و ۱ها چون به شکل بسیار متفاوتی از هم نشان داده می‌شدند، حتی با وجود افت کیفیت، می‌توان حالت اولیه این سیگنالها را در مقصد بازسازی کرد. راه دیگر برای حفظ شفافیت پیام‌ها استفاده از وسایل الکترونیکی برای خواندن متعدد پیام‌ها در بازه‌های مشخص می‌باشد.
Shannon قدرت واقعی این bitها را با قرار دادن آن‌ها در قالب ریاضی نشان داد. این معادله کمیتی به نام H را دارد که به انتروپی Shannon معروف است و می‌توان آن را به عنوان واحد اندازه‌گیری اطلاعات در یک پیام در نظر گرفت که با bits بیان می‌شود.
ر یک پیام احتمال رخداد یک نشانه مشخص(که با “x” نشان داده می‌شود) با (P(x نشان داده می‌شود. طرف راست معادله، جمع احتمالات رخداد همه نشانه‌هایی است که ممکن است در یک پیام دیده شود، که با تعداد bitهایی که برای نشان دادن مقدار x موردنیاز است ارزیابی می‌شود ، و با ترم (logp(x نشان داده می‌شود.
برای مثال در پرتاب سکه، دو برون‌ده وجود دارد، x می‌تواند شیر یا خط باشد. هر یک از این برون‌ده ها ۵۰% احتمال رخداد دارند و در این مثال، p(شیر) و p(خط) هر کدام برابر ½ است. تئوری Shannon از مخرج ۲ لگاریتم می‌گیرد و (Log۲(۱/۲ برابر ۱- می‌باشد. حاصل لگاریتم به ما مقدار اطلاعاتی را که قرار است از انداختن یک سکه عایدمان شود، مقدار H، را نشان می‌دهد که برابر ۱ bit می‌باشد. هنگامی که سکه‌ای انداخته می‌شود، ما یک bit اطلاعات بدست می‌آوریم یا یک bit از عدم قطعیت ما کم می‌شود. یک کاراکتر از حروف الفبا که تصادفی انتخاب شده‌باشد، حدود ۴.۷۶ bit اطلاعات را در خود دارد، یا همان (Log۲(۱/۲۷، چون کاراکتر انتخابی ممکن است جزو حروف الفبا باشد یا نباشد. چون حدود ۲۷ عدد از این احتمالات دوتایی وجود دارد، احتمال هر کدام ۱/۲۷ خواهدبود. این یک توصیف ساده از یک حروف الفبای ساده است، اگر احتمال دیده‌شدن هر کاراکتر در هر پیام با هم مساوی باشد. طبق این محاسبات، وسعت باند موردنیاز برای انتقال یا ذخیره هر یک از پیام‌ها برابر با حاصل‌ضرب تعداد کاراکترها در ۴.۷۶ خواهد بود. اما می‌دانیم که در زبان انگلیسی، احتمال رخداد هر کاراکتر با همدیگر یکی نمی‌باشد. مثلا احتمال اینکه یک “U” پس از “q” و “e” بیاید بیشتر از این است که پس از “z” بیاید. با در نظر گرفتن این آمارها ممکن است مقدار H برای کاراکترهای انگلیسی به کمتر از ۱ bit برسد. که برای افزایش سرعت ارتباطات و کاهش فضای اشغال‌شده در هارد دیسک بسیار مناسب خواهدبود.
تئوری اطلاعات برای یافتن راه‌های عملی جهت ساختن کدهایی بهتر و کاربردی‌تر و یافتن آستانه‌های سرعت پردازش سیگنال‌های دیجیتالی در رایانه‌ها ایجاد شد.امروزه هر تکه از اطلاعات دیجیتالی نتیجه کدهایی است که توسط معادله Shannon بررسی و بهبود یافته‌اند.
