各种正交以及正交和
20200924
笛卡爾積里面選取交集為空或者交集等于恒值(自己定義其他條件)的 相乘之和
https://www.59baike.com/a/365039-35#i
正交和
編程中,經(jīng)常出現(xiàn)正交這個詞。正交指相互獨立,不可替代,并且組合起來可實現(xiàn)其它功能。
為什么相互獨立,會使用正交這個詞呢?
正交,最開始是數(shù)學術語,被引到計算機領域。正交英文是 orthogonal,本意是垂直,幾何概念。線性代數(shù)中,兩向量正交指它們內積為 0。而函數(shù)正交,是指兩個函數(shù)相乘的積分為 0。
但就算知道這些,還是不明白正交是什么,數(shù)學上的正交概念跟編程上的正交概念有什么關系呢?
原則
無論什么領域,表象都是無窮無盡的,會出現(xiàn)各種情形。假如出現(xiàn)情形 A, 就單獨去研究情形 A;出現(xiàn)情形 B, 就單獨去研究情形 B,各種情形分別去解決,根本就沒有盡頭。
人們不會單純研究表象,而是不斷簡化,最終產生幾條最基本的原理,和一套基本原理的組合法則。這幾條原理相互獨立,不可再進行簡化。假如 C 原理可以用 A、B 原理組合起來表示,這樣 C 原理就不是最基本的。
于是知道基本原理和組合規(guī)則,其它表象就可以歸結成基本原理和基本組合法則的重復推演。這樣只要研究好基本原理,研究好組合規(guī)則,其它的表象可以一大批統(tǒng)一地解決了。
?
向量正交
相同的思路,應用到向量。
所有的向量構成一個空間,而所有的向量是無窮無盡的。一個個向量分別分析也自然沒有盡頭。這樣我們挑選幾個相互獨立的基本向量,再定義一套組合規(guī)則。這樣其它的向量,就用基本向量組合起來表示。
于是很自然地產生問題,基本向量是什么?如何才叫相互獨立?組合規(guī)則是什么?
對于向量空間,組合規(guī)則其實就是線性疊加。乘法和加法很基本,不同的領域常常會重新定義類似乘法的概念和類似加法的概念。在線性疊加中,類似乘法的概念,就是向量的內積,當內積為 0 表示兩個向量相互獨立。
假設 A、B 為基本向量,C 可以用 A、B 疊加起來表示。于是
C = a * A + b * B 兩邊乘以 B,得到
C * B = a * A * B + b * B * B 這里的乘法符號其實是內積,假如 A * B = 0,就可以消去第一項,系數(shù) b 就只和 C 和 B 有關。而當 B * B = 1 時,可以再次簡化計算過程。
當將二維向量幾何化后,內積為 0,兩個向量剛好正交(orthogonal)。另外一個術語就是平行,跟正交對應。平行表示完全相關,正交表示完全不相關,有時會處于平行是正交之間,它們的夾角可以表示相關程度。
當 A * B = 0 ,A、B 正交;B * B = 1,B 標準化,也叫歸一化。當正交歸一的向量,作為獨立的基本向量,線性疊加成其它向量。會使得計算過程大大簡化。
函數(shù)正交
將相同的思路,應用到函數(shù)。
所有函數(shù)構成函數(shù)空間,取一些基本的、正交的函數(shù),再定義組合規(guī)則。每個具體領域,加法和乘法的含義有所不同。對于函數(shù),類似于乘法的概念是積分。兩函數(shù)的正交,就是相乘后積分為 0。當 f(x)、t(x) 作為基本函數(shù),這樣 k(x) 用兩個函數(shù)疊加的方式來表示。
k(x) = a f(x) + b t(x) 這時需要求出系數(shù) a 和 b 的。可以兩邊先乘以 f(x), 得出,
k(x) * f(x) = a f(x) * f(x) + b t(x) * f(x) 當 f(x) 和 t(x) 正交,兩邊取積分,就可以消去,t(x) * f(x)。這樣系數(shù) a 就只會跟 k(x) 和 f(x) 有關系。
還可以有多個函數(shù)相互正交,甚至無限多個函數(shù)正交。比如選取 cos、sin,作為基本函數(shù),疊加起來表示其它函數(shù),就演變成了傅里葉變換。
編程上的正交
從數(shù)學上引進正交這個詞,用于表示指相互獨立,相互間不可替代,并且可以組合起來實現(xiàn)其它功能。比如 if 和 for 語句是正交的,但 for 和 while 語句的功能是有重疊的。邏輯運算 not、and、or 也是正交的,其它復雜的邏輯運算都可以用這三種基本運算疊加起來。
編程語言經(jīng)常定義一組正交語法特性,相互間不可替代,組合起來可以其它功能。而為了更方便使用,在基礎特性之上,再添加一些額外特性。這些非基本的額外特性,稱為語法糖(Syntactic sugar)。語法糖對語言的功能沒有太大影響,有可以,沒有也可以,但有了之后,代碼寫起來更方便些。
總結
- 上一篇: 交叉熵理解深度学习互信息
- 下一篇: 动态规划 搜索