Допустим у тебя нет ни одного вошедшего на сайт пользователя. Как только пользователь входит на сайт, ты записываешь информацию о нем в мемкеш в виде Users_User<ID>_Action, затем меняешь это значение с активностью пользователя. Параллельно записываешь в ключ Users_Actions массив ID активных пользователей, когда требуется, получаешь этот ключ и по нему проверяешь другие ключи. Это называется индексацией.
Вообще вариантов может быть много.