Найдём координаты векторов, найдя на рисунке координаты точек начала и точек конца каждого вектора:

$\vec a${$x_2-x_1;y_2-y_1$} = $\vec a${5 - 1; 8 - 2} = $\vec a${4;6}

$\vec b$ {$x_2-x_1;y_2-y_1$} = $\vec b$ {11 - 5; 3 - 5} = $\vec b$ {6; -2}

Найдём скалярное произведение векторов:

$\vec a\cdot\vec b=x_1\cdot x_2+y_1\cdot y_2$ = 4 • 6 + 6 • ( -2) = 24 - 12 = 12