Theo dòng lịch sử, môn đại số tuyến tính khởi đầu với việc giải và biện luận các hệ phương trình tuyến tính. Về sau, để có thể hiểu thấu đáo cấu trúc của tập nghiệm và điều kiện để một hệ phương trình tuyến tính có nghiệm, người ta xây dựng những khái niệm trừu tượng hơn như không gian vecto và ánh xạ tuyến tính.
Người ta cũng có nhu cầu khảo sát các không gian với nhiều thuộc tính hình học hơn, trong đó có thể đo độ dài vector và góc giữa hai vecto. Xa hơn, hướng nghiên cưu này dẫn tới một bài toán dạng toàn phương, và tổng quát hơn phân loại các tenxo, dưới tác động của một nhóm cấu trúc nào đó.