Не очень хорошо с этим дружу, но что то типа того:
<?php
$message = preg_replace_callback('|\[youtybe=(.*?)](http://(www.)?youtube\.com[0-9a-z/\?\.\~&_=/%-:#]*)[/youtube]|si', 'youtube', $message);
function youtybe($set){
return '<b>'.$set[2].'</b><br>'.getVideo($set[3]).'<br>';
}
getVideo - заменить на хтмл код вывода флеш плеера, я его просто не знаю. Если где ошибся поправьте