В логе "console.log" сервиса "carbon-cache" появились следующие ошибки:
31/01/2020 05:57:45 :: Error writing to production.xxxxxxxxxx.yyyyyyyyyy.p10._S1_.field_data_01.xxx.yyy.t3.10-0.3-0: Unable to read header (/mnt/graphite/data/production/xxxxxxxxxx-yyyyyyyyyy/xxxxxxxxxxx/p10/_S1_/field_data_01/xxx/yyy_001/t3/10-0/3-0.wsp)
31/01/2020 05:57:46 :: Unhandled Error
Traceback (most recent call last):
File "/usr/lib/python2.7/dist-packages/twisted/python/threadpool.py", line 266, in <lambda>
inContext.theWork = lambda: context.call(ctx, func, *args, **kw)
File "/usr/lib/python2.7/dist-packages/twisted/python/context.py", line 122, in callWithContext
return self.currentContext().callWithContext(ctx, func, *args, **kw)
File "/usr/lib/python2.7/dist-packages/twisted/python/context.py", line 85, in callWithContext
return func(*args,**kw)
File "/usr/lib/python2.7/dist-packages/carbon/writer.py", line 149, in writeForever
writeCachedDataPoints()
--- <exception caught here> ---
File "/usr/lib/python2.7/dist-packages/carbon/writer.py", line 128, in writeCachedDataPoints
state.database.write(metric, datapoints)
File "/usr/lib/python2.7/dist-packages/carbon/database.py", line 100, in write
whisper.update_many(path, datapoints)
File "/usr/lib/python2.7/dist-packages/whisper.py", line 694, in update_many
return file_update_many(fh, points)
File "/usr/lib/python2.7/dist-packages/whisper.py", line 701, in file_update_many
header = __readHeader(fh)
File "/usr/lib/python2.7/dist-packages/whisper.py", line 267, in __readHeader
Возможная причина появления битых файлов, переполненый диск в момент создания файла. В любом случае, данные swp файлы нужно удалять. Так как они все же не пустые, поиск по директории пустых файлов не поможет. Поэтому просто распарсим лог и удалим файлы упоминаемые в нем:
grep 'Error writing to ' /var/log/carbon/console.log | awk '{print $NF}' |sort -u | xargs rm -f