FIX ERROR — carbon-cache: whisper.CorruptWhisperFile: Unable to read header

В логе «console.log» сервиса «carbon-cache» появились следующие ошибки:

31/01/2020 05:57:45 :: Error writing to production.xxxxxxxxxx.yyyyyyyyyy.p10._S1_.field_data_01.xxx.yyy.t3.10-0.3-0: Unable to read header (/mnt/graphite/data/production/xxxxxxxxxx-yyyyyyyyyy/xxxxxxxxxxx/p10/_S1_/field_data_01/xxx/yyy_001/t3/10-0/3-0.wsp)
31/01/2020 05:57:46 :: Unhandled Error
Traceback (most recent call last):
  File "/usr/lib/python2.7/dist-packages/twisted/python/threadpool.py", line 266, in <lambda>
    inContext.theWork = lambda: context.call(ctx, func, *args, **kw)
  File "/usr/lib/python2.7/dist-packages/twisted/python/context.py", line 122, in callWithContext
    return self.currentContext().callWithContext(ctx, func, *args, **kw)
  File "/usr/lib/python2.7/dist-packages/twisted/python/context.py", line 85, in callWithContext
    return func(*args,**kw)
  File "/usr/lib/python2.7/dist-packages/carbon/writer.py", line 149, in writeForever
    writeCachedDataPoints()
--- <exception caught here> ---
  File "/usr/lib/python2.7/dist-packages/carbon/writer.py", line 128, in writeCachedDataPoints
    state.database.write(metric, datapoints)
  File "/usr/lib/python2.7/dist-packages/carbon/database.py", line 100, in write
    whisper.update_many(path, datapoints)
  File "/usr/lib/python2.7/dist-packages/whisper.py", line 694, in update_many
    return file_update_many(fh, points)
  File "/usr/lib/python2.7/dist-packages/whisper.py", line 701, in file_update_many
    header = __readHeader(fh)
  File "/usr/lib/python2.7/dist-packages/whisper.py", line 267, in __readHeader

 

Возможная причина появления битых файлов, переполненый диск в момент создания файла. В любом случае, данные swp файлы нужно удалять. Так как они все же не пустые, поиск по директории пустых файлов не поможет. Поэтому просто распарсим лог и удалим файлы упоминаемые в нем:

grep 'Error writing to ' /var/log/carbon/console.log | awk '{print $NF}' |sort -u | xargs rm -f

Метки: Метки

Подписаться
Уведомить о
guest

0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии