block device is write-protected
Hallo Liste, hat jemand eine Idee , woher mount diese Info überall her bezieht ? Folgendes ist passiert. ESX Server mit SAN. Dann passierte ein Fehler im SAN. Nachdem das wieder behoben war, sind alle Platten in der VM read only gemounted. LVM kommt zum Einsatz. Ich hab schon blockdev --setrw probiert. blockdev --getro sagt 0. mount -o remount,rw ist aber immer der Meinung das /dev/mapper/lvm-fs write-protected ist. lvscan --ignorelockingfailure sagt ACTIVE . Ist die einzige Möglichkeit ein Reboot ? Ralph
On Tue, Sep 29, 2015 at 10:48:11AM +0200, Ralph Meyer wrote:
Hallo Liste,
hat jemand eine Idee , woher mount diese Info überall her bezieht ? Folgendes ist passiert. ESX Server mit SAN. Dann passierte ein Fehler im SAN. Nachdem das wieder behoben war, sind alle Platten in der VM read only gemounted. LVM kommt zum Einsatz. Ich hab schon blockdev --setrw probiert. blockdev --getro sagt 0. mount -o remount,rw ist aber immer der Meinung das /dev/mapper/lvm-fs write-protected ist.
lvscan --ignorelockingfailure sagt ACTIVE .
Ist die einzige Möglichkeit ein Reboot ?
Hmmm - die BLOCK devices sind read-only? Das ist ja mal spannend - Ich kenne nur das nach einem i/o error die filesystems d.h. ext3/ext4 filesystems ro remounted. Ich würde mir ja mal das dmesg ansehen bzw das dmesg des hosts. Zur zeit des ausfalls wird ja was in den kernel buffer gelogged worden sein. Da wird ja vielleicht ein hinweis sein wer jetzt für die read-only geschichte verantwortlich ist. Ich kenne jetzt das Thema ESX nicht so - Als was sieht denn die VM die Platten? So wie ich den ESX verstanden habe ist das ja ein ziemlich minimaler hypervisor ... Vielleicht liegt das problem aber ja ausserhalb der VM - d.h. der host sieht die devices schon als read-only? flo -- Florian Lohoff f@zz.de We need to self-defense - GnuPG/PGP enable your email today!
Hallo, On 29.09.2015 10:48, Ralph Meyer wrote:
hat jemand eine Idee , woher mount diese Info überall her bezieht ? Folgendes ist passiert. ESX Server mit SAN. Dann passierte ein Fehler im SAN. Nachdem das wieder behoben war, sind alle Platten in der VM read only gemounted. LVM kommt zum Einsatz. Ich hab schon blockdev --setrw probiert. blockdev --getro sagt 0. mount -o remount,rw ist aber immer der Meinung das /dev/mapper/lvm-fs write-protected ist.
lvscan --ignorelockingfailure sagt ACTIVE .
Ist die einzige Möglichkeit ein Reboot ?
'read only' ist so 'ne Sache. SAN ist ja meist mit Fibrechannel verbunden. FC verhält sich bzgl. Congestion anders als IP. AJ. Casamento von Brocade beschreibt das in seinen blumigen Vorträgen immer mit einer vollen Autobahn. Während der IP Lastwagen einfach noch mal losgeschickt wird, fährt der FC Lkw auf den Parkplatz und wartet den Stau ab. Jetzt wieder etwas technischer: FC blockt die Ports, wenn bestimmte Probleme im SAN auftauchen. Das passiert, damit die Dateisysteme nicht inkonsistent geschrieben werden und funktioniert echt häufig. Auf Linux Servern kann man nach Behebung des Fehlers oft mit einem 'unmount;mount' das Volume wiederbekommen. Manchmal muß man das Device wegwerfen (echo 1
/sys/block/sd?/device/delete) und dann den SCSI Bus neu scannen.
Jetzt kommen wir zu VMWare: Vermutlich setzt der Hypervisor seine Datastores in vorauseilendem Gehorsam auf RO wenn ein Blocking w.o. auftritt. Wir haben in dieser Fragestellung schon erfolglose Supportcases durchgemacht. Bisher bekomme ich die Volumes nur durch reboot wieder. Ich hätte so gern eine elegantere Möglichkeit. Vielleicht hilf hier ja die Schwarmintelligenz. Falls jemand eine Möglichkeit kennt, ein geblocktes Volume ohne reboot wiederzubekommen, würde ich ein Bier spendieren. Liebe Grüße -- Hans-Joachim Hötger senior hosting architect Telefónica Germany GmbH & Co. OHG Überseering 33a 22297 Hamburg Tel +49 40 237267420 Fax +49 40 23726787420 Mobil +49 176 6238 7033 hans-joachim.hoetger@telefonica.com Bitte finden Sie hier die handelsrechtlichen Pflichtangaben: http://www.telefonica.de/pflichtangaben.html
On Thu, Oct 01, 2015 at 02:18:19PM +0200, Hans-Joachim Hötger wrote:
Jetzt kommen wir zu VMWare: Vermutlich setzt der Hypervisor seine Datastores in vorauseilendem Gehorsam auf RO wenn ein Blocking w.o. auftritt. Wir haben in dieser Fragestellung schon erfolglose Supportcases durchgemacht. Bisher bekomme ich die Volumes nur durch reboot wieder. Ich hätte so gern eine elegantere Möglichkeit. Vielleicht hilf hier ja die Schwarmintelligenz. Falls jemand eine Möglichkeit kennt, ein geblocktes Volume ohne reboot wiederzubekommen, würde ich ein
Die variante von Jörn geht schon - Nur leider nicht wenn das root filesystem auf dem SAN liegt. - umount - dann das scsi volume wegwerfen - den scsi bus neu scannen (alle devices gehen unter linux mittlerweile durch den scsi stack) - und neu mounten Problematisch ist halt das man das root fs nicht unmounten kann. Auch bei usr oder var kann das schwer werden wenn da noch files offen sind. Dazu kommt ja das man dann daemons killen muss die ggfs da was offen haben und hinterher neu starten. Ich denke der reboot ist meist die einfachste variante. Flo -- Florian Lohoff f@zz.de We need to self-defense - GnuPG/PGP enable your email today!
On Fri, Oct 02, 2015 at 08:30:42AM +0200, Florian Lohoff wrote:
Die variante von Jörn geht schon - Nur leider nicht wenn das root filesystem auf dem SAN liegt.
Hi, dafür könnte man den Sysrq-Trigger "u" nehmen. Allerdings gibt es dann vielleicht Probleme mit Services wie sshd (siehe http://tdyn.de/w9t8% ). Und letztlich kommt man dann um einen Reboot doch nicht herum. Aber man könnte das FS zumindest *vor* dem Boot reparieren. Frank
Teilnehmer (4)
-
Florian Lohoff
-
Frank Bergmann
-
Hans-Joachim Hötger
-
Ralph Meyer