Serveraussetzer alle 5 Minuten - Was kann der Grund sein?

Es gibt 75 Antworten in diesem Thema. Der letzte Beitrag () ist von Nitro-X.

    Serveraussetzer alle 5 Minuten - Was kann der Grund sein?

    Um dem Problem der aktuellen Serveraussetzer genauer auf den Grund gehen zu können, habe ich nun diesen neuen Thread eröffnet. Der Grund ist, dass meine beiden bereits zu dem Thema gestarteten Threads quasi eine Sackgasse waren und vor allem mittlerweile unübersichtlich geworden sind. Außerdem kann ich mittlerweile einiges ausschließen, was als Problem in Frage kommt.

    Folgende Fakten gibt es derzeit:
    - Die Aussetzer kommen exakt alle 5 Minuten.
    - Vor dem letzten Serverneustart vor einigen Tagen waren dies glatte Zeiten, wie z. B. 18:00, 18:05, 18:10 Uhr usw.
    - Mittlerweile (nach dem Neustart) sind diese um z. B. 17:59:23, 18:04:23, 18:09:23 Uhr usw.
    - Edit: Die Zeiten verschieben sich definitiv bei jedem Neustart, es bleibt lediglich der 5-Minuten-Intervall.
    - Zum Zeitpunkt der Aussetzer gibt das Tool "iotop" einen Eintrag auf Platz 1 aus, nämlich "md2_raid1". Dies steht bei 99,99% IO (was immer IO hier aussagt, denn Disk Read und Disk Write sind jeweils auf 0 Byte/s). Ansonsten gibt es keine relevanten Einträge in der Liste.
    - "nload" gibt zum Zeitpunkt des Aussetzers keinerlei Datenübertragung an, weder eingehend noch ausgehend.
    - "htop" (grafische Version von "top") gibt vor den Aussetzern einen Load von maximal 0.2 an, teilweise bis 0.02 (sehr gering), während des Aussetzers im Regelfall 4-6 (sehr hoch).
    - Weiterhin zeigt htop während des Aussetzers keinerlei CPU-Aktivität an.
    - Die Prozessliste (sortiert nach CPU-Auslastung) zeigt keine relevanten Prozesse. Es sind nur die üblichen bzw. während der Aussetzer sind sogar weniger aktiv.
    - Edit: Der Ping bleibt konstant niedrig. Keine Aussetzer, keine Erhöhungen.

    Was wurde geprüft/gemacht?
    - Sämtliche MySQL-Tabellen wurden (sofern dies aufgrund des Tabellentyps möglich war) optimiert ("OPTIMIZE")
    - Sämtliche System-Cronjobs und WBB-Cronjobs wurden geprüft - keiner ist Schuld an den Aussetzern bzw. es wird kaum etwas ausgeführt
    - Die PHP-Ausführung wurde von Fast-CGI auf mod_php umgestellt, bringt keinerlei Änderung
    - Es wurde kurzzeitig die Zeitmessung bei MySQL-Abfragen eingeschaltet. Ergebnis: Keine Abfrage braucht unnötig lange.
    - Das System wurde aktualisiert und neugestartet
    - Edit: Beide Festplatten wurden einem SMART-Langtest unterzogen. Ergebnis: Alles in Ordnung.
    - Edit: Mittlerweile kann ich durch einige Tests definitiv zu 100% ausschließen, dass Apache oder MySQL irgendwas mit den Aussetzern zu tun haben.

    Daten zum Server:
    - Debian 6.07 x64
    - CPU: 6x 2,8 GHz (AMD)
    - RAM: 16 GB DDR3
    - Festplatten: 2x 1 TB, RAID 1 (Software)
    - Jegliche Software ist auf dem neuesten Stand (zumindest auf dem neuesten Stand von Debian 6), Edit: Kernel ist Version 2.6.3.

    Was habt ihr noch für Ideen?
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    Dieser Beitrag wurde bereits 4 mal editiert, zuletzt von „Marcus Gräfe“ ()

    So ist es. Wobei ich ja schrieb, dass ich mittlerweile auch dort keine Infos mehr brauche. Es geht jetzt konkret nur noch um die Lösung des Problems. Dass ihr teilweise sagt, ihr habt keine Probleme, wird wohl einfach daran liegen, dass ihr zufällig nicht in den paar Sekunden die Seite aufruft, in denen es den Aussetzer gibt.

    Edit. bzgl. deinem Edit: Nein, das ist ja mein Thread.
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    könnte es vllt sein das alle 5 min irgentetwas auf dem server selber passiert?
    nur so eine idee
    ein server ist ja im grunde nix anderes als ein homerechner nur mit vielen weiteren extras (keine disskusion ich weiss was es ist)
    also könnte ja sein das sich alle 5 min irgentetwas startet? vllt ein virus oder so? vllt sollte man mal den ping vom server überprüfen um zu checken ob der serer alle 5min irgentwas runter bzw hochläd?
    könnte ja auch sein das das antivirprogramm alle 5 min die internetleitung kontrolliert und es dadurch zu laggs kommt...

    vllt kontrolliert der server auch nur die weltzeituhr und geht desshalb mit dem ping höher weil dan jeder wieder hier im forum auf "neu laden" klickt und der server für einige zeit überlastet ist?

    Das alles deutet auf kaputte Festplatten hin. SMART-Werte mal überprüfen mit einem Long-Test vorher.
    Siehe auch hier.
    To make foobar2000 a real random music player, I figured out the only way to achieve this is to use Windows Media Player.

    “At some point in time, you recognize that knowing more does not necessarily make you more happy.”

    @Renati: Habe parted nicht installiert. Ich kann's gerne installieren, aber evtl. erhält man die von dir erwartete Ausgabe auch von anderen Tools. Was würde man evtl. sehen können?

    @Chrisber: Den Thread hatte ich bei meiner Recherche auch gefunden. Aber warum tritt das Problem bei mir nur exakt alle 5 Minuten auf? Das müsste doch die ganze Zeit auftreten. Alles zwischen den 5 Minuten klappt wunderbar, Backups zippen (auch mit > 1 GB), Uploads, Downloads usw.
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    @da-kid: Definitiv nicht. Es sei denn, das Software-RAID synchronisiert sich alle fünf Minuten. Aber eigentlich sollte das doch konstant erfolgen, oder? Auf jeden Fall wird nichts extern gesichert.
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    Marcus Gräfe schrieb:

    @Renati: Habe parted nicht installiert. Ich kann's gerne installieren, aber evtl. erhält man die von dir erwartete Ausgabe auch von anderen Tools. Was würde man evtl. sehen können?


    Nach deinen Beschreibungen zu urteilen sind am ehesten regelmäßige I/O-Aktivitäten für die Aussetzer verantwortlich. Das könnte zum Beispiel das Schreiben des Caches sein. Abhängig vom Dateisystem könnte man sich dann auf diesem Weg weiter vorarbeiten. df -T sollte in dieser Hinsicht eine ebenso aufschlussreiche Tabelle liefern.

    Und /proc/mdstat sollte den Status des Soft-RAIDs anzeigen. Wäre ein komisches Symptom, aber man weiß ja nie. ;)

    /proc/mdstat prüfe ich regelmäßig. Nach meinem Wissen ist da nichts Auffälliges:

    Quellcode

    1. Personalities : [multipath] [faulty] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [linear]
    2. md0 : active raid1 sda1[0] sdb1[1]
    3. 488192 blocks [2/2] [UU]
    5. md2 : active raid1 sda3[0] sdb3[1]
    6. 972272320 blocks [2/2] [UU]
    8. md1 : active (auto-read-only) raid1 sda2[0] sdb2[1]
    9. 2000000 blocks [2/2] [UU]
    11. unused devices: <none>


    df -T liefert:

    Quellcode

    1. Dateisystem Typ 1K‐Blöcke Benutzt Verfügbar Ben% Eingehängt auf
    2. /dev/md2 ext3 957016428 99268512 809134300 11% /
    3. tmpfs tmpfs 8217912 0 8217912 0% /lib/init/rw
    4. udev tmpfs 8212896 132 8212764 1% /dev
    5. tmpfs tmpfs 8217912 0 8217912 0% /dev/shm
    6. /dev/md0 ext3 472744 28433 419902 7% /boot
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    Hm ja, RAID sieht normal aus. Dann würde ich jetzt mal die Mount-Optionen der EXT3-Platten anschauen. Die Standardwerte sollte sudo tune2fs -l /dev/md2 ausgeben, die aktuelle Konfiguration einfach auf herkömmliche Weise mit mount.

    Starte doch einfach mal einen SMART Long-Test in der Nacht. Dauert ein paar Stündchen. Danach schaust du dir die Werte an.
    Schaden tut es sicher nicht und du hast Gewissheit.

    "Das kann theoretisch nicht sein"-Haltungen haben bei mir schon oft zu langen Suchen bei Problemen geführt, obwohl ein einfacher Check des Offensichtlichen gereicht hätte ;-)
    To make foobar2000 a real random music player, I figured out the only way to achieve this is to use Windows Media Player.

    “At some point in time, you recognize that knowing more does not necessarily make you more happy.”

    Ich habe via smartctl -t short /dev/sda (bzw. sdb) einen SMART-Kurztest angestoßen. Allerdings frage ich mich, wo man das Ergebnis sieht. Es steht dann dort, dass der Test in einer Minute beendet ist, aber nicht, wo man das Ergebnis abrufen kann.

    Auf jeden Fall gibt smartctl -a /dev/sda (bzw. sdb) folgende Daten aus:

    sda

    Quellcode

    1. smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
    2. Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net
    4. === START OF INFORMATION SECTION ===
    5. Device Model: Hitachi HDS721010DLE630
    6. Serial Number: MSK5235H0BB4VG
    7. Firmware Version: MS2OA5R0
    8. User Capacity: 1.000.204.886.016 bytes
    9. Device is: Not in smartctl database [for details use: -P showall]
    10. ATA Version is: 8
    11. ATA Standard is: ATA-8-ACS revision 4
    12. Local Time is: Sat Jul 27 23:57:54 2013 CEST
    13. SMART support is: Available - device has SMART capability.
    14. SMART support is: Enabled
    16. === START OF READ SMART DATA SECTION ===
    17. SMART overall-health self-assessment test result: PASSED
    19. General SMART Values:
    20. Offline data collection status: (0x85) Offline data collection activity
    21. was aborted by an interrupting command from host.
    22. Auto Offline Data Collection: Enabled.
    23. Self-test execution status: ( 0) The previous self-test routine completed
    24. without error or no self-test has ever
    25. been run.
    26. Total time to complete Offline
    27. data collection: (8186) seconds.
    28. Offline data collection
    29. capabilities: (0x5b) SMART execute Offline immediate.
    30. Auto Offline data collection on/off support.
    31. Suspend Offline collection upon new
    32. command.
    33. Offline surface scan supported.
    34. Self-test supported.
    35. No Conveyance Self-test supported.
    36. Selective Self-test supported.
    37. SMART capabilities: (0x0003) Saves SMART data before entering
    38. power-saving mode.
    39. Supports SMART auto save timer.
    40. Error logging capability: (0x01) Error logging supported.
    41. General Purpose Logging supported.
    42. Short self-test routine
    43. recommended polling time: ( 1) minutes.
    44. Extended self-test routine
    45. recommended polling time: ( 137) minutes.
    46. SCT capabilities: (0x003d) SCT Status supported.
    47. SCT Error Recovery Control supported.
    48. SCT Feature Control supported.
    49. SCT Data Table supported.
    51. SMART Attributes Data Structure revision number: 16
    52. Vendor Specific SMART Attributes with Thresholds:
    53. ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
    54. 1 Raw_Read_Error_Rate 0x000b 088 088 016 Pre-fail Always - 5570560
    55. 2 Throughput_Performance 0x0005 139 139 054 Pre-fail Offline - 80
    56. 3 Spin_Up_Time 0x0007 115 115 024 Pre-fail Always - 200 (Average 199)
    57. 4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 60
    58. 5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0
    59. 7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0
    60. 8 Seek_Time_Performance 0x0005 115 115 020 Pre-fail Offline - 34
    61. 9 Power_On_Hours 0x0012 099 099 000 Old_age Always - 12275
    62. 10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0
    63. 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 60
    64. 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 69
    65. 193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always - 69
    66. 194 Temperature_Celsius 0x0002 162 162 000 Old_age Always - 37 (Lifetime Min/Max 23/39)
    67. 196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
    68. 197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0
    69. 198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0
    70. 199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0
    72. SMART Error Log Version: 1
    73. No Errors Logged
    75. SMART Self-test log structure revision number 1
    76. Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
    77. # 1 Short offline Completed without error 00% 12275 -
    78. # 2 Short offline Completed without error 00% 12275 -
    79. # 3 Short offline Completed without error 00% 8750 -
    80. # 4 Extended offline Completed without error 00% 303 -
    81. # 5 Extended offline Completed without error 00% 300 -
    82. # 6 Short offline Completed without error 00% 0 -
    84. SMART Selective self-test log data structure revision number 1
    85. SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
    86. 1 0 0 Not_testing
    87. 2 0 0 Not_testing
    88. 3 0 0 Not_testing
    89. 4 0 0 Not_testing
    90. 5 0 0 Not_testing
    91. Selective self-test flags (0x0):
    92. After scanning selected spans, do NOT read-scan remainder of disk.
    93. If Selective self-test is pending on power-up, resume after 0 minute delay.

    sdb

    Quellcode

    1. smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
    2. Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net
    4. === START OF INFORMATION SECTION ===
    5. Device Model: Hitachi HDS721010DLE630
    6. Serial Number: MSK5235H07XVLG
    7. Firmware Version: MS2OA5R0
    8. User Capacity: 1.000.204.886.016 bytes
    9. Device is: Not in smartctl database [for details use: -P showall]
    10. ATA Version is: 8
    11. ATA Standard is: ATA-8-ACS revision 4
    12. Local Time is: Sat Jul 27 23:57:33 2013 CEST
    13. SMART support is: Available - device has SMART capability.
    14. SMART support is: Enabled
    16. === START OF READ SMART DATA SECTION ===
    17. SMART overall-health self-assessment test result: PASSED
    19. General SMART Values:
    20. Offline data collection status: (0x85) Offline data collection activity
    21. was aborted by an interrupting command from host.
    22. Auto Offline Data Collection: Enabled.
    23. Self-test execution status: ( 0) The previous self-test routine completed
    24. without error or no self-test has ever
    25. been run.
    26. Total time to complete Offline
    27. data collection: (7361) seconds.
    28. Offline data collection
    29. capabilities: (0x5b) SMART execute Offline immediate.
    30. Auto Offline data collection on/off support.
    31. Suspend Offline collection upon new
    32. command.
    33. Offline surface scan supported.
    34. Self-test supported.
    35. No Conveyance Self-test supported.
    36. Selective Self-test supported.
    37. SMART capabilities: (0x0003) Saves SMART data before entering
    38. power-saving mode.
    39. Supports SMART auto save timer.
    40. Error logging capability: (0x01) Error logging supported.
    41. General Purpose Logging supported.
    42. Short self-test routine
    43. recommended polling time: ( 1) minutes.
    44. Extended self-test routine
    45. recommended polling time: ( 123) minutes.
    46. SCT capabilities: (0x003d) SCT Status supported.
    47. SCT Error Recovery Control supported.
    48. SCT Feature Control supported.
    49. SCT Data Table supported.
    51. SMART Attributes Data Structure revision number: 16
    52. Vendor Specific SMART Attributes with Thresholds:
    53. ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
    54. 1 Raw_Read_Error_Rate 0x000b 088 088 016 Pre-fail Always - 81
    55. 2 Throughput_Performance 0x0005 142 142 054 Pre-fail Offline - 70
    56. 3 Spin_Up_Time 0x0007 114 114 024 Pre-fail Always - 201 (Average 201)
    57. 4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 60
    58. 5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0
    59. 7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0
    60. 8 Seek_Time_Performance 0x0005 118 118 020 Pre-fail Offline - 33
    61. 9 Power_On_Hours 0x0012 099 099 000 Old_age Always - 12272
    62. 10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0
    63. 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 60
    64. 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 317
    65. 193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always - 317
    66. 194 Temperature_Celsius 0x0002 162 162 000 Old_age Always - 37 (Lifetime Min/Max 23/39)
    67. 196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
    68. 197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0
    69. 198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0
    70. 199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0
    72. SMART Error Log Version: 1
    73. No Errors Logged
    75. SMART Self-test log structure revision number 1
    76. Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
    77. # 1 Short offline Completed without error 00% 12272 -
    78. # 2 Short offline Completed without error 00% 8747 -
    79. # 3 Extended offline Completed without error 00% 297 -
    80. # 4 Short offline Completed without error 00% 0 -
    82. SMART Selective self-test log data structure revision number 1
    83. SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
    84. 1 0 0 Not_testing
    85. 2 0 0 Not_testing
    86. 3 0 0 Not_testing
    87. 4 0 0 Not_testing
    88. 5 0 0 Not_testing
    89. Selective self-test flags (0x0):
    90. After scanning selected spans, do NOT read-scan remainder of disk.
    91. If Selective self-test is pending on power-up, resume after 0 minute delay.

    Bei sda steht:

    Quellcode

    1. 1 Raw_Read_Error_Rate 0x000b 088 088 016 Pre-fail Always - 5570560

    Sieht nicht gut, aus, oder?
    Besucht auch mein anderes Forum:
    Das Amateurfilm-Forum

    schau dir ma folgenden seite an: de.wikipedia.org/wiki/Self-Mon…rting_Technology#Beispiel
    dort ist m.M.n. ziemlich gut erklärt wie man die werte interpretieren sollte

Facebook
Telefonspende