\[f:\mathbb{R}^n\to\mathbb{R}\]
הקלט הוא \(n\)-וקטור והפלט הוא מספר.
אלגברה ליניארית למדעי הנתונים
פונקציות ליניאריות ופונקציות אפיניות
מסופרפוזיציה ועד הייצוג \(f(x)=a^Tx+b\): הגדרות, משפטים, הוכחות ודוגמאות.
x ∈ ℝⁿ
→ f →
f(x) ∈ ℝ
linear
⊂
affine
01
פונקציה מווקטור לסקלר
כדי להגדיר פונקציה יש לומר מה היא מחזירה עבור כל קלט.
דוגמה
\[f(x)=x_1+2x_2-x_3\]
לכל וקטור קלט \(x\), הפונקציה מחזירה צירוף משוקלל של איבריו.
02
תכונת הסופרפוזיציה
הגדרת פונקציה ליניארית.
\[
f(\alpha x+\beta y)
=
\alpha f(x)+\beta f(y)
\]
הדרישה מתקיימת לכל וקטורים \(x,y\) ולכל סקלרים \(\alpha,\beta\).
הצד השמאלי
תחילה מחברים ומכפילים את הווקטורים, ואז מפעילים את הפונקציה.
\[x,y\to\alpha x+\beta y\to f(\alpha x+\beta y)\]
הצד הימני
תחילה מפעילים את הפונקציה על כל וקטור, ואז מחברים את הסקלרים.
\[x,y\to f(x),f(y)\to\alpha f(x)+\beta f(y)\]
03
סופרפוזיציה למספר וקטורים
המשפט המקורי והוכחתו.
\[
f\left(\sum_{i=1}^{k}a_i x_i\right)
=
\sum_{i=1}^{k}a_i f(x_i)
\]
עבור שני וקטורים זו בדיוק הגדרת הסופרפוזיציה.
מפרידים את האיבר האחרון מן הסכום.
\[f\left(\sum_{i=1}^{k-1}a_ix_i+a_kx_k\right)=f\left(\sum_{i=1}^{k-1}a_ix_i\right)+a_kf(x_k)\]
מפעילים שוב את התכונה על הסכום הראשון ומקבלים את הנוסחה הכללית.
04
פונקציית מכפלה פנימית
סכום משוקלל של איברי הקלט.
יהי \(a\) וקטור קבוע. נגדיר:
\[
f(x)=a^Tx=\sum_{i=1}^{n}a_ix_i
\]
פרשנות
כל איבר \(x_i\) מקבל משקל \(a_i\). הפלט הוא סכום משוקלל של איברי הקלט.
05
משפט: פונקציית מכפלה פנימית היא ליניארית
ההוכחה נשמרת שלב אחר שלב.
\[f(\alpha x+\beta y)=a^T(\alpha x+\beta y)\]
הגדרת הפונקציה.
\[a^T(\alpha x+\beta y)=\alpha a^Tx+\beta a^Ty\]
תכונות המכפלה הפנימית.
\[\alpha a^Tx+\beta a^Ty=\alpha f(x)+\beta f(y)\]
שוב הגדרת הפונקציה.
קיבלנו בדיוק את תכונת הסופרפוזיציה, ולכן \(f\) ליניארית.
06
כל פונקציה ליניארית היא מכפלה פנימית
משפט הייצוג המרכזי בחלק זה.
נגדיר וקטור \(a\) באמצעות ערכי הפונקציה על וקטורי היחידה:
\[
a_i=f(e_i)
\]
כל וקטור ניתן להצגה באמצעות וקטורי היחידה:
\[x=\sum_{i=1}^{n}x_ie_i\]
מפעילים ליניאריות:
\[f(x)=f\left(\sum_{i=1}^{n}x_ie_i\right)=\sum_{i=1}^{n}x_if(e_i)\]
מאחר ש-\(a_i=f(e_i)\):
\[f(x)=\sum_{i=1}^{n}a_ix_i=a^Tx\]
משמעות חישובית: אם יודעים כיצד \(f\) פועלת על \(n\) וקטורי היחידה, אפשר לחשב \(f(x)\) לכל \(x\) באמצעות \(O(n)\) פעולות.
07
הייצוג הוא יחיד
לא קיימים שני וקטורי משקלים שונים לאותה פונקציה ליניארית.
נניח שתי הצגות:
\[f(x)=a^Tx=b^Tx\]
נציב \(x=e_i\):
\[a^Te_i=b^Te_i\]
אך \(a^Te_i=a_i\) ו-\(b^Te_i=b_i\), ולכן \(a_i=b_i\) לכל \(i\).
מכאן \(a=b\), ולכן הייצוג יחיד.
08
דוגמאות: ממוצע ומקסימום
אחת ליניארית ואחת אינה ליניארית.
הממוצע הוא פונקציה ליניארית
\[
\operatorname{mean}(x)
=
\frac1n\mathbf1^Tx
\]
הצגנו אותו כפונקציית מכפלה פנימית.
המקסימום אינו ליניארי
\[
x=(1,-1),\quad y=(-1,1),\quad \alpha=\beta=\frac12
\]
\[
\max(\alpha x+\beta y)=0
\neq
\alpha\max(x)+\beta\max(y)=1
\]
אותו רעיון חל על מינימום, חציון וסטטיסטי סדר אחרים.
09
פונקציה אפינית
פונקציה ליניארית בתוספת קבוע.
\[
f(x)=a^Tx+b
\]
דוגמה
\[f(x_1,x_2)=5-2x_1+3x_2\]
כאן \(a=(-2,3)\) ו-\(b=5\).
מתי היא ליניארית?
רק כאשר \(b=0\). כל פונקציה ליניארית היא אפינית, אך לא כל פונקציה אפינית היא ליניארית.
10
סופרפוזיציה אפינית
הסכום של המקדמים חייב להיות 1.
\[
\alpha+\beta=1
\quad\Longrightarrow\quad
f(\alpha x+\beta y)=\alpha f(x)+\beta f(y)
\]
\[f(\alpha x+\beta y)=a^T(\alpha x+\beta y)+b\]
\[=\alpha a^Tx+\beta a^Ty+b\]
מאחר ש-\(\alpha+\beta=1\), נכתוב \(b=\alpha b+\beta b\).
\[=\alpha(a^Tx+b)+\beta(a^Ty+b)=\alpha f(x)+\beta f(y)\]
11
המקסימום אינו אפיני
אותה דוגמה נגדית משתמשת במקדמים שסכומם 1.
\[
x=(1,-1),\quad y=(-1,1),\quad \alpha=\beta=\frac12
\]
\[
\max(\alpha x+\beta y)=0\neq1=\alpha\max(x)+\beta\max(y)
\]
12
במשתנה אחד
הבדל חזותי בין פונקציה ליניארית לפונקציה אפינית.
פונקציה ליניארית עוברת דרך הראשית.
פונקציה אפינית יכולה לחתוך את ציר \(y\) בנקודה \(b\neq0\).
13
כל פונקציה המקיימת סופרפוזיציה אפינית היא אפינית
די לדעת את ערכיה על וקטורי היחידה ועל וקטור האפס.
נציג את \(x\) כצירוף אפיני של \(e_1,\ldots,e_n,0\):
\[
x=
\sum_{i=1}^{n}x_ie_i+
\left(1-\sum_{i=1}^{n}x_i\right)0
\]
סכום המקדמים הוא \(1\).
\[
f(x)=
\sum_{i=1}^{n}x_i f(e_i)+
\left(1-\sum_{i=1}^{n}x_i\right)f(0)
\]
נסדר מחדש:
\[
f(x)=
\sum_{i=1}^{n}x_i\bigl(f(e_i)-f(0)\bigr)+f(0)
\]
נגדיר \(a_i=f(e_i)-f(0)\) ו-\(b=f(0)\).
נקבל:
\[f(x)=a^Tx+b\]
משמעות: \(n+1\) ערכים — על \(0,e_1,\ldots,e_n\) — מספיקים כדי לחשב את הפונקציה לכל \(x\) בזמן ליניארי.
14
סיכום
הקשר בין שתי משפחות הפונקציות.
פונקציות ליניאריות
\[f(x)=a^Tx\]
מקיימות סופרפוזיציה לכל סקלרים.
בהכרח \(f(0)=0\).
פונקציות אפיניות
\[f(x)=a^Tx+b\]
מקיימות סופרפוזיציה כאשר סכום המקדמים שווה 1.
\(f(0)=b\).
15
תרגילים מן הספר
רשימת התרגילים המקורית של סעיף 2.2.
Exercise2.1
Exercise2.2
Exercise2.4
Exercise2.5
Exercise2.6
Exercise2.7
16
תרגול קצר נוסף
בדיקת ליניאריות ואפיניות.
משימה 1
האם \(f(x)=3x_1-2x_2\) ליניארית?
כן. \(f(x)=a^Tx\) עם \(a=(3,-2)\).
משימה 2
האם \(g(x)=3x_1-2x_2+5\) ליניארית? אפינית?
אינה ליניארית כי \(g(0)=5\neq0\). היא אפינית עם \(a=(3,-2)\), \(b=5\).
17
Take-home message
הסיום של הרצאה 1.
1ליניאריות פירושה סופרפוזיציה לכל סקלרים.
2כל פונקציה ליניארית מ-\(\mathbb R^n\) ל-\(\mathbb R\) היא \(a^Tx\).
3וקטור המשקלים מתקבל מן הערכים \(f(e_i)\).
4הייצוג הליניארי יחיד.
5פונקציה אפינית היא \(a^Tx+b\).
6לסופרפוזיציה אפינית נדרש שסכום המקדמים יהיה 1.
✓
מפת כיסוי
כל סעיפים 2.1–2.2 נשמרו והורחבו.