シャノン の 定理。 シャノンの通信路符号化定理とは

シャノンの通信路符号化定理

シャノン の 定理

日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:澤田純、以下 NTT)は、シャノン限界を達成しかつ実行可能な通信路符号 (誤り訂正符号)「CoCONuTS」を実現しました。 本技術は、計算機科学者シャノンによって求められた、通信効率の限界(シャノン限界)を達成する誤り訂正符号を実現する技術です。 一つの通信路が与えられた時、そのシャノン限界を達成するためには、一般には膨大な計算量が必要だと考えられていました。 一方で、実用的な実装方法でシャノン限界を達成できる符号が知られていましたが、これらの符号がシャノン限界を達成するのは特殊な通信路に限られていました。 本技術により任意の通信路でシャノン限界を達成する通信路符号を構成できることを証明しました。 さらに、従来法ではシャノン限界を達成できなかった通信路に対して、実装した符号が従来法を超える性能を持つことを確認しました。 本技術を用いることで、既存の方法よりも効率の良い通信が実現できます。 今後、光通信や無線通信技術などに、本技術を応用していく予定です。 背景 通信を行ううえでは、雑音のある環境下でも正しく情報を伝える必要があります。 これを実現する技術は「通信路符号」あるいは「誤り訂正符号」と呼ばれており、光通信や無線通信に限らず、計算機の内部やハードディスク・光ディスク等の記録装置、スマートフォン等で情報を読み取るための二次元コード等に応用されています。 雑音のある環境(通信路)が与えられた時、正しくメッセージを伝えることができる効率には限界があります。 このような通信効率の限界は、1948年にこれを発表した計算機科学者シャノンにちなんで「シャノン限界」と呼ばれています。 しかしながら、シャノンが提案した符号は膨大な計算量を必要としていたため、その実行は困難でした。 実行可能なシャノン限界を達成する符号の構成は、シャノンが創始した情報理論の70年にわたる課題です。 その後、シャノン限界を達成する実用的な符号としてLDPC符号やポーラ符号が開発され、近年の第5世代移動通信システム(5G)に実装されています。 しかしながら、これらの符号がシャノン限界を達成するのはある特殊な通信路に限られており、一般の通信路では限界を達成できません。 技術のポイント (1)通信路符号(誤り訂正符号)が実現する通信システム は通信路符号が実現する通信システムを示しています。 ここでは通信会社の基地局がメッセージを送信する送信者となり、スマートフォンを持ったユーザーが受信者となっています。 符号器は送信したいメッセージ M を符号化して通信路入力 X へ変換します。 変換された信号は電波の周波数や位相や強度に変換(変調)されて送信されますが、電波を送受信して通信路に出力 Y を得る際に雑音が混入することを想定します。 この符号器では、メッセージを2回繰り返した後でメッセージの左右の2ビットの加えた「検算ビット」(排他的論理和)を付加するという操作を行っています。 この手続きが復号化と呼ばれるものです。 今回は正しいメッセージと再生メッセージが一致して正しい通信が行われましたが、雑音によっては正しくメッセージが再生できない場合もあります。 の例では、2ビットのメッセージを5ビットの通信路入力へ変換しました。 通信効率は2/5=0. 4 で評価できます。 この比が大きいほど効率は高くなり、高速な通信が可能であることを意味しています。 (3)シャノン限界 はシャノン限界(通信路容量)を説明しています。 では、符号が満たすべき条件として、復号誤り確率が0に限りなく近いことを要請しました。 一方ででは、送信したいシンボル数と送信信号数(例では符号化前後のビット数)の比を符号の効率と定義しました。 シャノン限界は復号誤りが0に限りなく近い符号の通信効率限界です。 シャノンは効率の限界がに示されている式に等しいことを示しました。 シャノン限界を超えた効率を持つ符号を設計することは理論上不可能であり、もしもこの限界を達成する方法が実現できれば、理論的にはこれ以上の性能向上が見込めないことになります。 なお、シャノン限界を達成するためには、通信路入力分布 P を最適化する必要があります。 (4)提案法CoCoNuTSの技術ポイント は、CoCoNuTSを用いた通信路符号の構成を示しています。 提案法では、二つの疎行列(成分のほとんどが0の行列) A, B とベクトル c を用いて構成しています。 さらに符号器と復号器に現れる写像 f A,B , g A (の赤枠の部分)として、後述の「拘束条件を満たす乱数生成器」を用いて最適な通信路入力分布 P を実現することにより、シャノン限界を達成することができるようになりました。 このため、得られる通信路入力の分布は一様分布になります。 従って、で示したシャノン限界の式で、通信路入力分布 P が一様分布の時に最大値(max)を達成していれば、LDPC符号はシャノン限界を達成していると言えます。 逆に、最大値を達成する通信路入力分布 P が一様分布ではない場合はシャノン限界を達成できないことが分かります。 (5)拘束条件を満たす乱数生成器 ,は、符号化・復号化で用いる「拘束条件を満たす乱数生成器」の具体的な説明を示しています。 それぞれのページで示した確率分布 Q を用いて発生させた乱数 x を用いることにより、にある写像 f A,B , g A の実現が容易になります。 そこでは、高次元の乱数 x を直接生成するかわりに、確率分布 q を用いて一次元の乱数 x j を逐次的に発生させることにより、計算の実行が可能になりました。 (6)シミュレーション実験 はシミュレーション実験で提案法とLDPC符号を比較した結果を示しています。 グラフの横軸は通信効率を示しており、右にあるほど性能が良いことになります。 グラフの縦軸は復号誤り確率を示しており、下にあるほど性能が良いことになります。 グラフは提案法がLDPCよりもよい性能を持つことを示しています。 例えば、縦軸の誤り確率 10 -4 で両者を比較したとき、提案法は符号化レートで0. 03、情報量に換算すると2000ビットあたり60ビットの情報を多く送信できることが分かりました。 続くでは、通信効率を固定して両者を比較したものを可視化しています。 図7にある実験条件で通信効率0. 6の符号化を1200回繰り返した時に、復号に失敗した場合を黒点で示して頻度を可視化しました。 LDPC符号では7回の復号誤りを観測したのに対して、提案法は一度も復号誤りを観測しませんでした。 この結果から、同じ雑音環境で同じ量のメッセージを送信した場合は、提案法は従来法に比べてより信頼性が高いことが分かりました。 では、提案法と従来法を実際の通信に近い状況で実行した場合を比較しました。 実際の通信は復号誤りがないことを想定して画像を圧縮したうえで符号化しています。 このため一箇所でも復号誤りが起こればファイルが破壊され、画像の大部分は再生不可能となります。 通信効率0. 5では、提案法も従来法のLDPC符号も正しく復号が行われていますが、通信効率0. 6のLDPC符号では、復号誤りが発生してファイルが破壊されていることが観測できました。 このことからLDPC符号による符号化の限界は0. 5と0. 6の間にあり、提案法はそれを超える性能を持つことが確認できました。 また最適な符号を用いた時の通信効率であるシャノン限界は0. 6よりも大きいことが分かります。 「拘束条件を満たす乱数生成器」を用いることにより限界を達成するあらゆる通信を実現することが可能であることから、CoCoNuTS( Code based on Constrained Numbers Theoretically-achieving the Shannon limit)と名付けました。 情報理論を創始した計算機科学者シャノン(C. Shannon) の名にちなんで名付けられています。 本発表の通信路符号(誤り訂正符号)の文脈においては、「通信路容量」という名称としても知られており、通信効率が大きいほど高速な通信が可能になります。 複数のシンボルをまとめて複数の信号へ符号化するため、 通信効率=(メッセージシンボル数)/(送信信号数) と定義されます。 送信信号数を増大させることにより,上記の通信効率がシャノン限界に近づく符号を設計します。 「低密度パリティ検査符号」とも呼ばれます。 「パリティ検査行列」と呼ばれる疎行列(成分のほとんどが0の行列)を用いて高速な復号を行います。 1962年に計算機科学者ガラガー(R. Gallager)が開発しました。 開発当初は計算機の能力が非力なため実用化はされませんでしたが、1990年代に再評価され、現在では衛星デジタル放送・無線LAN・第五世代移動通信システム(5G)で実用化されています。

次の

シャノンの情報量

シャノン の 定理

表記のシャノンの通信容量定理というのは、「通信容量のシャノン・リミット」と呼ばれ、通信容量の理論限界についての理論です。 このレベルへの到達は現在の技術を持ってしても未だ不可能です。 シャノンの通信容量定理は以下で示されます。 log2は2を底とする対数です。 ここで注目することは、Nはホワイトノイズであること、通信路の符号化(符号理論という意味と変調という意味の両方)が必要ということで、現実の無線のような受信レベルが刻々と変動するフェージング通信路ではこの話は直接、そのまま単純には当てはめられないということになります。 別の話として、「Bを拡大すれば」という話はスペクトル拡散通信に通じるところで、スペクトル拡散通信では 広い周波数帯域に電力スペクトルを拡散しますので、通信容量定理をうまく活用しているといえます。 とはいえ、現実問題として周波数資源の逼迫している現在 (社会でいろんな無線システムが利用されており、周波数がギュウギュウに使われている)では、そうやすやすとBを広げるわけにもいきません。 Bを制限しつつ、最適な通信を行う必要もあります。 この、Nが大きくなるのは、ホワイトノイズが周波数に関わり無く一様にノイズの電力が分布しているため、帯域が広くなればそれに比例して帯域内で検出される(無線屋は「帯域に落ち込む」といいます)ノイズが増えるということです。 特定小電力の10mW送信電力の無線機などは送信出力は決まっています。 一方でビットレートが高速化してくると、必要な帯域が広くなるため、帯域内の落ち込む雑音量が増えてしまいます。 同じ送信出力だと高速なほど遠くまで届きません。 無線LANやBluetoothなどと弊社無線システムを比較してみれば明らかです。 産業用途で「届かない」はできる限り避けなければならず、他の用途と比較してもより高い安定性が望まれます。 さらにはホワイトノイズだけで議論もできず、実際の通信ではマルチパス、フェージング、シャドウイングによるレベル変動や位相ズレが発生しやすいため、いろいろな条件を加味して無線システムを設計する必要があります。 弊社は無線回線を安定にして通信させる多種の技術を複数応用して、安定に通信が行える無線機を標榜し、研究開発ならびに製造を行っております。

次の

シャノンの通信路符号化定理とは

シャノン の 定理

概要 [ ] 波形の最大周波数の2倍を超えた周波数で標本化すれば完全に元の波形に再構成される。 標本化とは、数学的には連続関数の値からある点の値だけを標本として取り出して離散関数に変換する操作であり、与えられた連続関数と標本化関数の積を求めることと等しい。 1kHz よりも高い 周波数で標本化(1秒間に44100回超、値を取得)すれば、原信号を完全に復元することができる。 よって、連続信号の標本化においては、ナイキスト周波数 2 f よりも高い周波数で、標本化を行わなくてはならない。 なお、アナログ信号からデジタル信号への変換については、標本化のほかにが必要である。 標本化定理の証明 [ ] 標本化定理は、を用いると簡単に証明することができる。 この式から周波数スペクトルの図を描き検討すると証明ができる。 これは一般のから基礎づけられる。 これも歴史的には1つのの発見の例になっている。 歴史的背景 [ ] 標本化定理はが1928年に予想しており、これに対して1949年のの証明が有名である。 そのため、 シャノンの標本化定理、 ナイキスト=シャノンの標本化定理と呼ばれることが多い。 しかし、その後の研究で、シャノンとは独立に標本化定理の証明していた人物が次々と見つかった。 ソビエト連邦の(1935年)、ドイツのH. ラーベ(1938年)、日本の(1949年)の論文が発見され、それぞれ標本化定理の証明をした数学者として取り上げられた。 このうちコテルニコフは1999年にドイツのエドゥアルト・ライン財団から「標本化定理を最初に証明した」として基礎研究賞を受賞している。 また、標本化定理の展開式と同じものを補間法の公式として、イギリスのが1915年に証明している。 そのため、ホイッテーカーも標本化定理の証明者としてみなされる場合がある。 またホイッテーカーの証明方法からの日本のの論文(1920年)が、世界で最初の標本化定理の証明であると、2011年にブッツァーらによって発表されている。 脚注 [ ] []• 『物理学辞典』 培風館、1984年 関連項目 [ ]• - 1933年に標本化定理に関する論文を執筆していたソ連の無線工学者。 - ナイキストレートとも呼ばれる。 - 折り返しひずみとも呼ばれる。

次の