[решено] Закончилось место на диске - Компьютерный форум OSzone.net

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Общий по Linux (http://forum.oszone.net/forumdisplay.php?f=9)

- - [решено] Закончилось место на диске (http://forum.oszone.net/showthread.php?t=283326)

CJ F.A.N.

08-06-2014 09:44 2361438

Закончилось место на диске

Всем привет! Такая проблема. Стоит сервер на Debian 7, выполняет роль прокси-сервера (стоит Squid3), все файлы на одном разделе. Неожиданно закончилось место, хотя раздел 250 ГБ. Буквально позавчера было занято гигабайт 10 максимум. Проверял логи, может быть они забили......нет.

Код:

du -h --max-depth=1 /

выдает, что занято 9.5 Гб. В чем может быть дело? Squid не стартует, кеш не пересоздает, ссылаясь на то, что нет свободного места. /var/spool/squid3 вообще пустой. И еще одна интересная особенность. Новые пакеты из Интернетов aptitude устанавливает, но частично.... не может установить man страницы, ссылаясь на недостаточное кол-во места. Хотя все остальные файлы пакета ставит. Кеш apt тоже чистил-бесполезно. Куда копать, не подскажете? Все логи, сообщения, которые надо, покажу, есть доступ к удаленке.
P.S.: сервер рестартовал, толку ноль

CJ F.A.N.

08-06-2014 10:11 2361448

забыл написать. Корень находится на lvm, а lvm находится на программном raid-1

CyberDaemon

08-06-2014 10:27 2361452

Цитата:

Цитата CJ F.A.N.

выдает, что занято 9.5 Гб. »

А файлов всего сколько? Что покажет

Код:

df -i

CJ F.A.N.

08-06-2014 10:34 2361454

root@shluz:/home/cjfan# df -i
Файловая система Iнодов IИспользовано IСвободно IИспользовано% Cмонтировано в
rootfs 15015936 674742 14341194 5% /
udev 126585 421 126164 1% /dev
tmpfs 128074 413 127661 1% /run
/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8 15015936 674742 14341194 5% /
tmpfs 128074 3 128071 1% /run/lock
tmpfs 128074 2 128072 1% /run/shm
/dev/sdc1 483834140 527401 483306739 1% /media/usb
tmpfs 128074 10 128064 1% /tmp
//192.168.1.25/server 0 0 0 - /media/fileserver

но!

Код:

oot@shluz:/home/cjfan# df -h

Файловая система                                       Размер Использовано  Дост Использовано% Cмонтировано в

rootfs                                                   226G         224G     0          100% /

udev                                                      10M            0   10M            0% /dev

tmpfs                                                    101M         1,4M   99M            2% /run

/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8   226G         224G     0          100% /

tmpfs                                                    5,0M            0  5,0M            0% /run/lock

tmpfs                                                    1,7G            0  1,7G            0% /run/shm

/dev/sdc1                                                932G         471G  461G           51% /media/usb

tmpfs                                                    1,7G         7,3M  1,7G            1% /tmp

//192.168.1.25/server                                    1,6T          59G  1,5T            4% /media/fileserver

zai	08-06-2014 18:11 2361649

Попробуй проверить на ошибки:
sudo touch /forcefsck
sudo reboot

CJ F.A.N.

08-06-2014 19:23 2361691

zai, результата ноль

vadblm

08-06-2014 19:34 2361694

CJ F.A.N., покажите /etc/fstab и вывод mount

CJ F.A.N.

08-06-2014 19:40 2361696

vadblm,
FSTAB

Код:

# /etc/fstab: static file system information.

#

# Use 'blkid' to print the universally unique identifier for a

# device; this may be used with UUID= as a more robust way to name devices

# that works even if disks are added and removed. See fstab(5).

#

# <file system> <mount point>   <type>  <options>       <dump>  <pass>

# / was on /dev/md0 during installation

UUID=b4aabde5-048f-4a08-8430-8c3eefda8bc8 /               ext4    errors=remount-ro    0       1

# swap was on /dev/sda1 during installation

UUID=c34a05a3-fb31-4dd4-b406-6227d54771c0 none            swap    sw              0       0

# swap was on /dev/sdb1 during installation

UUID=9cb74e65-4c36-4f5a-aa4a-8dbbdc3744c6 none            swap    sw              0       0

/dev/sr0        /media/cdrom0   udf,iso9660 user,noauto     0       0



UUID="5CC6FC6AC6FC4634" /media/usb ntfs-3g user,auto,rw 0 0

//192.168.1.25/server        /media/fileserver        cifs        user,file_mode=0666,dir_mode=0777,guest,iocharset=utf8        0        0

MOUNT

Код:

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)

proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)

udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=126585,mode=755)

devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)

tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=102460k,mode=755)

/dev/disk/by-uuid/b4aabde5-048f-4a08-8430-8c3eefda8bc8 on / type ext4 (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)

tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)

tmpfs on /run/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=1767120k)

fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)

/dev/sdc1 on /media/usb type fuseblk (rw,nosuid,nodev,noexec,relatime,user_id=0,group_id=0,allow_other,blksize=4096)

tmpfs on /tmp type tmpfs (rw,nosuid,nodev,relatime,size=1767120k)

//192.168.1.25/server on /media/fileserver type cifs (rw,nosuid,nodev,noexec,relatime,sec=ntlm,unc=\\192.168.1.25\server,username=,uid=0,noforceuid,gid=0,noforcegid,addr=192.168.1.25,file_mode=0666,dir_mode=0777,nounix,serverino,rsize=61440,wsize=65536,actimeo=1)

rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)

nfsd on /proc/fs/nfsd type nfsd (rw,relatime)

vadblm

08-06-2014 19:45 2361697

CJ F.A.N., lsblk -no NAME,UUID,MOUNTPOINT ещё попрошу

CJ F.A.N.

08-06-2014 20:06 2361701

vadblm,

Код:

sda                                          

├─sda1  c34a05a3-fb31-4dd4-b406-6227d54771c0 [SWAP]

└─sda2  7aa5290c-9062-170a-dde2-84f023c3b6c0 

  └─md0 b4aabde5-048f-4a08-8430-8c3eefda8bc8 /

sdb                                          

├─sdb1  9cb74e65-4c36-4f5a-aa4a-8dbbdc3744c6 [SWAP]

└─sdb2  7aa5290c-9062-170a-dde2-84f023c3b6c0 

  └─md0 b4aabde5-048f-4a08-8430-8c3eefda8bc8 /

sr0                                          

sdc                                          

└─sdc1  5CC6FC6AC6FC4634                     /media/usb

vadblm

08-06-2014 20:17 2361706

CJ F.A.N., теперь du наподобие

Код:

[vadblm@vblmpb ~]$ sudo du -xh -d 1 /

36K     /mnt

2,6M    /logs

12K     /.config

24M     /root

4,0K    /partimag

16K     /lost+found

1,2G    /opt

4,0K    /media

3,9M    /srv

64M     /etc

11G     /usr

5,0G    /var

17G     /

Смотрим, какая директория подозрительно большая, например /var и там тоже sudo du -xh -d 1 /var и так далее, пока не найдёте, где насрано.

CJ F.A.N.

08-06-2014 20:38 2361709

vadblm,

Код:

0        /proc

0        /dev

100K        /home

8,0K        /srv

1,5G        /usr

7,2M        /bin

60M        /etc

4,0K        /clamfs

829M        /var

5,3G        /tftpboot

0        /tmp

105M        /lib

20M        /opt

447M        /root

19M        /boot

4,0K        /mnt

14M        /sbin

0        /sys

16K        /lost+found

215G        /media

4,0K        /selinux

0        /run

223G        /

странно(((( уже весь мозг поломал. По файлам ничего странного нет, все весит столько, сколько должно, но корень, как видно, упорно занят(((

в Media смонтированs сетевой диск с Винды, внешний жесткий диск, и сетевой WD Live

vadblm

08-06-2014 20:47 2361716

215G /media

там у вас насрано

ключик -x у du:

Цитата:

-x Подсчитывать размеры только для той файловой системы, где расположен заданный
аргумент. (Если в иерархии встретятся каталоги, которые будут являться точками
монтирования других файловых систем, то их размеры учитываться не будут прим. перев.)

CJ F.A.N.

08-06-2014 20:49 2361717

vadblm, странно, там только точки монтирования...физически файлы располагаются удаленно

Код:

4,0K        /media/cdrom0

4,0K        /media/fileserver

215G        /media/backup_server

8,0K        /media/usb

215G        /media

хм... бекапсервер засрал все место. Вот что я могу сказать о нем. По идее это папка для монтирования по протоколу ftp папки из WD Live, делал это так:

Код:

curlftpfs ftp://admin:123321@192.168.1.238/ /media/backup_server

в эту папку rsync'ом пару раз в день делается инкрементальное резервное копирование файлового сервера

получается он делал копирование на локальную папку, а не на сервер по ftp протоколу

vadblm

08-06-2014 20:57 2361722

Я только одно могу сказать, судя по du -x никуда оно не примонтировано, потому по факту данные пишутся в рут ваш. Разбирайтесь.

CJ F.A.N.

08-06-2014 20:59 2361723

vadblm, спасибо за помощь! Буду разбираться, почему файлы не на бекап сервер копировались. Проблема можно сказать, решена=)

vadblm

08-06-2014 21:06 2361725

CJ F.A.N., настоятельно рекомендую завести мониторинг. zabbix например. Чтобы когда херня случается вы узнали не по факту, когда всё легло, а по уведомлению мониторинга типа "Low free disk space on <hostname> volume /: PROBLEM 10 %"

CJ F.A.N.

08-06-2014 21:11 2361727

vadblm, за последнее сообщение тройное спасибо) завтра займусь на работе) а то у меня мониторинг последние дни-это мой начальник) на выходных был, так как женился=)

vadblm

08-06-2014 21:31 2361737

Цитата:

Цитата CJ F.A.N.

а то у меня мониторинг последние дни-это мой начальник »

Было как-то, что мониторингом выступил саппорт (нода с мониторингом окочурилась, а дублёра не придумали тогда ещё) Так что весьма понимаю, как это бывает, когда на выходных приходится оживлять.

CJ F.A.N.

19-06-2014 20:12 2366269

Хотя тема и решенная, отпишусь еще немного. Настроил Zabbix, теперь проблем не знаю=))))) правда пришлось поднять еще и почтовый сервер, но это мелочи. Зато теперь мне на email приходят "волшебные" письма, если что-то меняется в системе. Причем, поставил zabbix-агент на все линуксовые и виндовз серверы, Zabbix со всех агентов собирает инфу. Так что теперь вся серверная под контролем. Спасибо товарищу vadblm за наводочку=)

vadblm

19-06-2014 22:15 2366305

Цитата:

Цитата CJ F.A.N.

Зато теперь мне на email приходят "волшебные" письма, если что-то меняется в системе. »

Ещё смсилку прикрутить не помешает на триггеры особой критичности. Почта почтой, но 3G не везде, а смс практически всюду дойдёт.

El Scorpio

30-06-2014 05:36 2370148

Цитата:

Цитата CJ F.A.N.

vadblm, спасибо за помощь! Буду разбираться, почему файлы не на бекап сервер копировались. Проблема можно сказать, решена »

Элементарно, Ватсон

Цитата:

Цитата CJ F.A.N.

хм... бекапсервер засрал все место. Вот что я могу сказать о нем. По идее это папка для монтирования по протоколу ftp папки из WD Live, делал это так:
Код:
curlftpfs ftp://admin:123321@192.168.1.238/ /media/backup_server
в эту папку rsync'ом пару раз в день делается инкрементальное резервное копирование файлового сервера »

Если устройство по какой-то причине не примонтировалось, значит файлы будут писаться по указанному адресу в локальную папку.

Во избежание оного рекомендуется
а) монтировать устройство непосредственно перед архивированием (и отключать по завершении)
б) проверять результат выполнения команды монтирования, в случае ошибки - не архивировать, а писать предупреждение в лог.

Время: 09:36.