2006年5月アーカイブ

ここ、数日、SAS3041X-R に構築した RAID 1E Volume が激しく degraded と resync を繰り返し、使い物にならなくなっていまつ。
Solaris の mpt driver では、 raidctl コマンドでしか各ディスクの状況がわからず、driver は、volume の報告しかしてくれません。
raidctl で、見ても、volume を構成している disk どもの status は OK とか抜かしてくれます。

ディスクが悪いのかと思いつつ、別な環境で利用している TK720 x3 を接続して RAID Volume を構築してみましたが、これでも発生。
HBA が壊れたかと思いつつ、RAID Volume は構築せず、zfs volume を構築してみると、write error がでます(´・ω・｀)
もう、ダメです。

で、まさかと思い、Hitachi の Drive Fitness Test で check したところ、不良セクタがボロボロと orz
これですが？これが原因ですか？
6 台のディスクすべて、テストしてみますヽ(;´Д｀)ノ

あたらしいのきました。 EFI label 対応もされてるみたいです。(support for zfs がそれです) Crypto Accelerator 6000 の support も入ったようですが、これも挿してあると起動しないとかだったのかな・・

• Bios updated to 2.2.3
  


• Support for ZFS
  


• Support for Sun Crypto Accelerator 6000 card
  


• Updated NVIDIA video drivers (Solaris, Windows and Linux)
  


• Updated Pc-Check diagnostics
  


• Updated Boot Menu (F8) capability
  


• Bug Fix for IPMI entry in dmi table
  

2nd からの参加なのですが。
Java とか Web 2.0 とか、さとうにはついて行けない世界が展開されています。
飛び込めないへたれですが、何か？

昨晩は、Solaris 10 1/06 x86 DVD を 20枚程持って行ったのですが、えらく好評でした(´・ω・｀)
次回は、勝手に 10 分プレゼンの枠で、「Java Java ばっかり言ってないで・・・・たまには Solaris のことも思い出してみてください。ウッ」というタイトルの Solaris 紹介でもしてみようかと思います。
Apache2、Tomcat, MySQL, GCC, Python, Perl などは、すでに OS の一部としてとりこまれているので Sun が support してくれます。
さらに Companion CD （こっちはサポートしません）もあります。
意外と、いまだに compiler もなく Web server も搭載していないと思っている人が結構いました。

http://www.sun.com/software/solaris/freeware/index.xml#supported

http://www.sun.com/x64/docs/MySQL-sysbench-benchmark.pdf

Ultra 1 移行計画を遂行中なのですが、久しぶりにやってみると、いろいろと忘れてること多すぎますね。やばす。

Solaris 10 は、cyrus sasl library が標準搭載され、sendmail もそれを link しているから、SMTP Auth 楽勝だぜっ。とか思っていたのですが、sasl library は、SMTP Auth に使われているわけではなく・・・
しかも、package 名に SASL v2 とかあるけど、これ、激しく v1 じゃないのかと。しかも、saslpasswd とかのコマンドはつけてくれないし・・・まぁ、いっか。

-DSASL 付きでコンパイルしてくれてもいいのに(´・ω・｀)
 

--
$ /usr/lib/sendmail -bt -d0.10 < /dev/null
Version 8.13.6+Sun
 Compiled with: DNSMAP LDAPMAP LOG MAP_REGEX MATCHGECOS MILTER MIME7TO8
                MIME8TO7 NAMED_BIND NDBM NETINET NETINET6 NETUNIX NEWDB NIS
                NISPLUS PIPELINING SCANF STARTTLS TCPWRAPPERS USERDB
                USE_LDAP_INIT XDEBUG
    OS Defines: HASCLOSEFROM HASFCHOWN HASFCHMOD HASFDWALK
                HASGETUSERSHELL HASINITGROUPS HASLDAPGETALIASBYNAME HASLSTAT
                HASNICE HASRANDOM HASRRESVPORT HASSETREGID HASSETREUID
                HASSETRLIMIT HASSETSID HASSETVBUF HASURANDOMDEV HASSTRERROR
                HASULIMIT HASUNAME HASUNSETENV HASWAITPID IDENTPROTO
                IP_SRCROUTE SAFENFSPATHCONF SYS5SETPGRP SYSTEM5 USE_DOUBLE_FORK
                USE_SA_SIGACTION USE_SIGLONGJMP USESETEUID
Kernel symbols: /dev/ksyms
     Conf file: /etc/mail/submit.cf (default for MSP)
     Conf file: /etc/mail/sendmail.cf (default for MTA)
      Pid file: /var/run/sendmail.pid (default)
Canonical name: mao.mao-plus.co.jp
 UUCP nodename:あれ
        a.k.a.: loghost
        a.k.a.: [なんとか]
Warning: Option: AuthMechanisms requires SASL support (-DSASL)
        a.k.a.: [127.0.0.1]
     Conf file: /etc/mail/sendmail.cf (selected)
      Pid file: /var/run/sendmail.pid (selected)

============ SYSTEM IDENTITY (after readcf) ============
      (short domain name) $w = あれ
  (canonical domain name) $j = あれ.なんとか.co.jp
         (subdomain name) $m = なんとか.co.jp
              (node name) $k = なんか
========================================================

ADDRESS TEST MODE (ruleset 3 NOT automatically invoked)
Enter <ruleset> <address>
--


まぁ、マニュアルにも書かれていたわけだが( ´_ゝ｀)
--
表 14–4 sendmail の Solaris 版に使用されない一般的なフラグ

--

upgrade install しようとしたものの、なんか挙動が変なので、中止に。
とりあえず、RAID Volume の再構築をしたいのだが 95G のデータをどうしようかと・・・
リモートでやっているので、新しいディスクをつけれるわけでもなく・・・
というわけで、動いている Ultra 60 のディスクの空きが 100G くらいあったので、tar を駆使して nfs で持って行くことに。
Ultra60 (Solaris 10 1/06)には bge を装着し、Nevada から Jumbo Frame 対応の driver を持ってきていたので、Blade 1000 の e1000g で Gigabit 接続。
ptime ではかったら、95G を転送するのに 2時間30かかってる・・・あ、e1000g 側は、mtu 1500 のままだった orz
まぁ、これで、データは待避できたのでよしとしますか・・・
Solaris 10 同士だと NFS v4 でしゃべるのでつね。

SAS3041X-R に構築した filesystem (RAID 1E 上を )が、さとうの使いっぷりに耐えきれず、ぶっ壊れてしまったようで、mount できなくなってしまいました。
fsck かけることで、なんとか mount できるようになったのですが、いろいろなものが remove されてしまいました。
mirroring してても、filesystem がぶっ壊れたら意味ないでつね。
/dev 配下のものが、けっこうなくなったのはイタイ。

さて、これをどうやって復旧させようか・・・
一番、てっとりばやそうなのは、アップグレードインストールでつかね・・・

こんなの待ってました。
Firefox Extensions として実装されているので、Solaris 上の Firefox でも利用できます。

add したものは、google の server に保存されるのでどこでも閲覧可能です。
一昔前に言われていた、Web Browser が desktop に。
いい意味で地味に、なってきてますね。

http://www.google.com/notebook/

キタ――(゜∀゜)――!!
iSCSI target がリリースされました。

http://opensolaris.org/os/project/iscsitgt/

network install しようとしたけど、copyright message が表示されたとこでハング(´・ω・｀)
なので、grub entry を開き、kernel のオプションに acpi-user-options=0x0 を追加してみたら、回避できますた。

ON nightly 20060508 を Nevada b37 に BFU してみる。
これが噂に聞く、zfs upgrade でつね。

zfs upgrade mypool でサクッと upgrade 完了。

 

ディスク 1 台で zfs を構成した場合、パフォーマンス的には、パッと見、あまり違いが見えないので、compression on/off での違いを見てみました。

compression on/off は、

    # zpool create -f mypool c2t0d0
    # zfs set compression=on (or off) mypool

で。default は、off です。
ちなみに、property を見るには、

    # zfs get all mypool

などで見れます。mypool の部分は、pool 名 or zfs volume になります。


mkfile で 1G のファイルを作成し、Nevada b37 で実装された fsstat と sar を使って4秒間隔で統計とってみました。
compression を on にすると、爆速になりますね・・・
まぁ、mkfile で使ったファイルが圧縮されるわけですから、それなりに小さくなるので速くなると・・・
こんな安易な方法で、比べる意味ねぇなと orz

わかったことと言えば、compression: on にすると、CPU 使用率が結構上がってしまうということでしょうか。

compresson: off

--
# ptime mkfile 1g 1g

real       20.561
user        0.019
sys         3.979


# fsstat /mypool 4  
 new  name   name  attr  attr lookup rddir  read read  write write
 file remov  chng   get   set    ops   ops   ops bytes   ops bytes
   27    13     0   408    11    470    92    20 1.48K 1.20M 17.8G /mypool
    1     0     0     2     0      0     0     0     0 1.49K  191M /mypool
    0     0     0     0     0      0     0     0     0 1.49K  191M /mypool
    0     0     0     0     0      0     0     0     0 1.49K  191M /mypool
    0     0     0     0     0      0     0     0     0 1.49K  191M /mypool
    0     0     0     0     0      0     0     0     0 1.62K  207M /mypool
    0     0     0     0     1      1     0     0     0   431 53.9M /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool

# sar 4 6

SunOS empress-240 5.11 snv_37 sun4u    05/10/2006

18:59:59    %usr    %sys    %wio   %idle
19:00:03       0      20       0      80
19:00:07       0      21       0      79
19:00:11       0      22       0      78
19:00:15       0      21       0      78
19:00:19       0      30       0      70
19:00:23       0       8       0      92

Average        0      20       0      79

--

 compression: on

--

# ptime mkfile 1g 1g          

real        6.929
user        0.018
sys         3.234

# fsstat /mypool 4
 new  name   name  attr  attr lookup rddir  read read  write write
 file remov  chng   get   set    ops   ops   ops bytes   ops bytes
   28    14     0   413    12    475    92    20 1.48K 1.20M 18.8G /mypool
    1     0     0     2     0      0     0     0     0 3.24K  414M /mypool
    0     0     0     0     1      1     0     0     0 4.76K  610M /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool
    0     0     0     0     0      0     0     0     0     0     0 /mypool

# sar 4 6

SunOS empress-240 5.11 snv_37 sun4u    05/10/2006

19:01:52    %usr    %sys    %wio   %idle
19:01:56       0      31       0      69
19:02:00       0      48       0      51
19:02:04       0       8       0      92 <- この時点の統計では、すでに書き込みが終わっている
19:02:08       0      11       0      89

--
 

わかりやすく説明されているかと思います。

zfs の compression property を使う説明があるけど、これってどうなんだろ。
b27 でリリースされたときは、compression が default: on になっていたみたいだけど、問題があったようで b29 で default: off になった。
compression: on にすると、確かに書き込む前に圧縮しているようで書き込み時間は短くなるけど・・・

http://www.sun.com/software/solaris/howtoguides/zfshowto.jsp

快調に動いている SAS3041X-R 搭載の Blade 1000 ですが、昨日、ログインできなくなりますた。
ping には反応するものの、やっぱりログインできず。
どうしようもないので、電源落として再起動。
あらら、RAID Volume を構成している 3 台の disk のうち１個が FAILED になってますよ・・・
こいつが原因ですか？ ってゆーか、１個壊れても動き続けないといけないんじゃないんですか！
むぅ。

でも、messages ファイルに、何も記録されてないんだよなー・・・
raidctl でみると確かに、FAILED になって、degraded になってるんですけど。
で、復旧させる方法ですが、電源落として disk 交換して再起動するということになりますが、換えのディスクなどなく・・・

確認のため、LSI logic の itmpt driver をインストールした環境を起動。
lsiutil でみると、やっぱり failed になっている。
とりあえず、exper tmode で、failed になっている disk を offline にし、それから online にしてみると、failed だったのが正常なディスクとして認識され、resync が開始されてしまいますた orz
うむむ、とりあえず様子見で orz

resync 完了後のメッセージ
--
May  9 12:15:12 empress scsi: [ID 107833 kern.notice] /pci@8,600000/LSILogic,sas@1 (mpt0):
May  9 12:15:12 empress         Physical disk 1 (target 1) is |online|
May  9 12:15:12 empress scsi: [ID 107833 kern.notice] /pci@8,600000/LSILogic,sas@1 (mpt0):
May  9 12:15:12 empress         Volume 0 is |enabled||degraded|
May  9 12:15:12 empress scsi: [ID 107833 kern.notice] /pci@8,600000/LSILogic,sas@1 (mpt0):
May  9 12:15:12 empress         Volume 0 is |enabled||optimal|
--

2ch に ZFS スレができてますた。
実家への帰省中、楽しませてもらいましたが、中には、環境で特定されている人もい(ry

storage pool から、適当な容量で切り出した volume を block device として扱える機能がありまつ。
これを使って、切り出した volulme に newfs かけて、その volume を UFS として利用してみるとどうなるかと思い実験してみますた。

すでに、構成されている storage pool: mypool から、 test という名前で 10GB の volume を切り出しまつ。
--
# zfs create -V 10g mypool/test
--

これで、/dev/zvol/{dsk,rdsk}/test という device ができあがり。
あとは、newfs /dev/zvol/rdsk/test して、UFS を構築。
mount -F ufs /dev/zvol/dsk/test /mnt なんてやってあげて、mkfile 1g とかしてみる。
いやー、あたりまえですけど、３倍くらい遅くなりますた。
まぁ、とりあえず block device にしてしまえば、Solaris が support している filesystem は、構築できるということがわかりました。
それだけでつ・・・

パスワード入力による認証を切りたくて、/etc/ssh/sshd_config の PasswordAuthentication を no に設定する。
あれ？ svcadm restart ssh してもパスワード認証できてしまいますよ。

こいつが犯人でした。
--
# Use PAM via keyboard interactive method for authentication.
# Depending on the setup of pam.conf(4) this may allow tunneled clear text
# passwords even when PasswordAuthentication is set to no. This is dependent
# on what the individual modules request and is out of the control of sshd
# or the protocol.

PAMAuthenticationViaKBDInt yes
--

ちゃんとコメント読んどけよって感じですが orz
PAMAuthenticationViaKBDInt も no にすることで、パスワード認証を切ることができました。

えっと、SATA のディスク 1 本突っ込んで、Nevada b37 で ZFS つくって reboot したら、Ultra 20 が起動しなくなりましたよ？
起動しないというか、電源入れると Sun ロゴ出たままかたまります(´・ω・`)
でも、そのディスク抜くと起動します。
(ノ ゜Д゜)ノ　＝＝＝＝　┻━━┻

で、いろいろ調べたところ、BIOS がEFI label のディスクをうまく処理できないとのこと。
Ultra 20 固有の問題らしい。
工エエェェ（´д｀）ェェエエ工工

bug 登録もされ、修正済み bios がテスト中みたい。
とりあえず、Blade 1000 の SAS3442X につないで EFI label を通常の label で re-labeling して回避。

というわけで、新宿ビックカメラで玄蔵x4 フロストシルバーをげっつ。
バラしてみると、なんのことはない、単発で出ていた PortMultipler アダプタをケースに組み込んで、電源を内蔵したものだった。
PortMultipler をはずして、4-Port MultiLane アダプタと交換。これが、いい感じに固定できる。
うっ、HD アクセスのLED はあきらめるしかないっぽいね。
電源 LED もつかないけど、こっちは、変換ケーブルで電源供給してあげればいい感じ。
電源入れると、FANが青色に光るから、後ろからみれば回避可能（ぉ
MultiLane ケースのできあがり(*゜ー゜)

気になっていた SAS3442X の External 4 Lane Connector なのですが、最近、出回っている SATA 用 Multi Lane Cable が使えますた。
4-port Multilane SATA2 Adapter (Device 側) と 4-port SATA2 Adapter(Host 側) と Multi Lane Cable をセットにしたもが、秋葉原の T-ZONE DIY ショップに売っているのですが、これを捕獲してきました。
＃ほんとうは、Host 側はいらなかったのですが、在庫確認だけして戻ってきたら Device 側が売り切れていたため、泣く泣くセットものを購入(´・ω・`)

とりあえず、SAS3442X とガッチャンコして、適当な Serial ATA の disk を接続したところ、認識してますた。
これで、SAS3442X には、HITACHI T7K250(250GB) が 3本つながりますた。
ZFS で、(*´д`*)ハァハァしてみたいと思います。
つか、外付けのケースどうしよ。
OLIO.SPEC ってゆーお店では、玄人志向の GW3.5X4-S2 を Multi Lane に改造したものを販売しているみたいだけど。

http://www.tzone.com/diy/goods.jsp?cat=0%2C114%2C290&goodsSeqno=57606
http://www.tzone.com/diy/goods.jsp?cat=0%2C114%2C290&goodsSeqno=57607
http://www.tzone.com/diy/goods.jsp?goodsSeqno=57697