Не определенная строка..

Почему не выдает синтаксическую ошибку? как происходит анализ тут:
<?php
'Привет'
?>
или тут все верно, вроде работает без ошибок..

<?php
echo 'Привет';
?>

Если это последняя строка то не обязательно ставить ";" в конце.

?> тоже не обязательно ставить в конце, будет и так работать:
<?php
'Привет'

Хм.. я вообще хотел узнать почему он себя тут так ведет, как бы пояснить детально поведение PHP..

Не закрывают php скрипт тегом ?> для перестраховки от лишнего вывода. Например поставил пробел или перенос после ?>, скрипт между тегов отработает, а потом еще будет вывод этого самого пробела или переноса, что чревато, если вывод пойдет где нибудь перед отправкой заголовков.

Добавлено через 07:29 сек.
Ну а что касается <?php 'Привет' - такой вариант вывода одной строки предусмотрен интерпретатором. Ни каких глубоких смыслов тут нет - еще одна хреновина из сотен других (к примеру синонимы функций), которые в php не нужны, но их не убирают боясь обратной несовместимости.