a) Mỗi cách xếp thứ tự vị trí cho 8 học sinh trong tổ là một hoán vị của 8 phần tử.
Vậy số cách xếp 8 học sinh trong tổ thành một hàng dọc là:
$P_{8} = 8! = 40320$ (cách xếp).
b) Giả sử các học sinh trong tổ được đánh số thứ tự từ 1 đến 8. Vì số học sinh nam và số học sinh nữ bằng nhau nên có hai trường hợp sau:
Trường hợp 1: Học sinh nam đứng đầu hàng.
Khi đó các học sinh nam có số thứ tự là số lẻ, còn các học sinh nữ có số thứ tự là số chẵn.
Như vậy, thứ tự của các học sinh nam và các học sinh nữ được cố định, chỉ thay đổi thứ tự giữa các học sinh nam, hoặc giữa các học sinh nữ.
Sắp xếp 4 học sinh nam thì có 4! (cách xếp).
Sắp xếp 4 học sinh nữ thì có 4! (cách xếp).
Khi đó, số cách xếp thứ tự các học sinh trong tổ trong trường hợp học sinh nam đứng đầu hàng là: 4! x 4! = 576 (cách xếp).
Trường hợp 2: Học sinh nữ đứng đầu hàng.
Tương tự như trường hợp 1, số cách xếp thứ tự các học sinh trong tổ trong trường hợp học sinh nữ đứng đầu hàng là: 4! x 4! = 576 (cách xếp).
Vậy số cách xếp thứ tự các học sinh trong tổ sao cho nam, nữ đứng xen kẽ nhau là:
576 + 576 = 1152 (cách xếp).