Вопрос просто никто ещё не видел 
Особо выбирать-то не приходится. Если у вас форум на PHP, значит и остальные скрипты на PHP пишите. Можно и бинарные приложения писать (на любом известном языке), если есть навыки.
Насчёт обработки больших файлов - это уже труднее. У вас ведь сервер будет внутри организации? Или же вы хотите сделать его доступным для всех? В любом случае, вам понадобится достаточно мощный сервер, т.к. обработка больших файлов будет занимать много процессорного времени и памяти.
Делайте на LAMP (Linux-Apache-MySQL-PHP). Если планируется серьёзная нагрузка на СУБД, то выбрать стоит не MySQL, а PostgreSQL (и соответствующий форумный движок).
Windows Web Server IIS хоть и поддерживает PHP, но я бы всё-таки не стал его использовать, несмотря на заверения MS о "безупречной репутации" и пр.
