やっぱりc.2ch.netもパワーアップしてみよう作戦

793 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 02:28:07 ID:qv+JAC1+0

ざざっと現在の状況を聞いてみて、
PHPの処理系フロントとdatキャッシュが同席してしまうことで、
ノード辺りのスペックが高いのを要求されてしまうのでどうしようと思ったのが正直だったりしたのですが
その"BGっぽいものが落ちたときにどうするか"、"現状はBGがよくおちるのでこうした"というのを聞いて同席を納得。。

まだこのスレッドの中身をきちんと理解できていないのですが、
その振り分けられるノードを一台作ってみようかなみたいな感じですよ。>まみらさん

794 ：root▲▲ ★：2007/12/30(日) 09:54:27 ID:???0 ?PLT(81818)

>>792-793
ひょっとして、先日どこかでお会いした萌え系の方ですかね。

なんだか、こころづよいですよ。

795 ：▲ ◆SANUKI/VII ：2007/12/30(日) 09:58:41 ID:MOwHF2Q8P ?PLT(12672)

ををを？

796 ：まみら ★：2007/12/30(日) 13:54:36 ID:???P ?2BP(369)

さあ、新しい風が吹いて来ました。
どんな手順で舵取りしましょうかねぇ。

797 ： ◆NopB2P/L/o ：2007/12/30(日) 13:56:24 ID:pTTcfWeoP

おおおー。

798 ：まみら ★：2007/12/30(日) 14:11:07 ID:???P

ああっでも>>789で何がどうなったか見ておかないとー

799 ：こうすけ ★：2007/12/30(日) 14:17:24 ID:???0

>>798
あっ、今は元に戻しています。
TESTって書いてあるあたりでコメントアウトしています
au8以外のコメントを外せば実験できます。

800 ：こうすけ ★：2007/12/30(日) 14:17:51 ID:???0

新しい風は大歓迎です

801 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 16:00:28 ID:qv+JAC1+0

よろしくお願いします。萌ではなく、普通の人のはずですよ！
むむむさんに最後に連絡先聞いたけど、結局何を送ればいいかわからず状態です。

2chの掲示板サーバーに対しての負荷を減らすことを最優先に、ちょっといろいろ考えてみていたりします。
ただ、BGがよく落ちる(squid?)というのはショックだなぁ、と。これをどうにかすれば悪い設計ではなかったと思うんだけど、、
(フロントのキャリア別はどうかなと思ったわけですが、)

802 ：▲ ◆SANUKI/VII ：2007/12/30(日) 16:19:29 ID:MOwHF2Q8P ?PLT(12672)

ゆうさんﾊｧﾊｧ

803 ：▲ ◆garnetGnNk ：2007/12/30(日) 16:46:54 ID:+4pOyhHK0

ぉ。

804 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 17:36:31 ID:qv+JAC1+0

- 差分取得
- ICPのような存在確認/取得
- メモリキャッシュ/ディスクキャッシュ
これは必須だなぁ、、dat管理。。

もういっかいスレ読み直す。。

805 ：動け動けウゴウゴ２ちゃんねる：2007/12/30(日) 19:45:20 ID:MUhqK+de0

arcさんから乗り換えたか

806 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 22:15:11 ID:qv+JAC1+0

VarnishはまだICPのハンドリングきてなかった。
差分取得する場合、普通のプロキシまかせにしようとすると
追記ができないので、データ(old)を読み込んで追記分をくっつけて、出力。
結局プロキシの他にも助っ人がうごくのでオーバーヘッド大きくてだめだなぁ。。->プロキシはやめよう

で、なんでそこまでしたかったというと、
- ICPのような存在確認/取得
- メモリキャッシュ/ディスクキャッシュ
の二つ。これを自前で管理するのをどうしようか、という感じ。

807 ：こうすけ ★：2007/12/30(日) 22:23:48 ID:???0

>>806
そうですね。
2chのdat管理に特化したプロキシみたいなものを作りたいですね。

808 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 22:25:25 ID:qv+JAC1+0

この二つさえできちゃえば大丈夫。
で、memcachedがいれば、他のサーバーにあるキーを簡単に取得でいいかなという感じ？

memcached protocol
http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

キーの一覧が取得できないので、何かとめんどくさそう。->前はそれであきらめた。
eAcceleratorの変数キャッシュは一覧で出せたりでよかったけど、まだ使い方に癖があるし、スケーリングが面倒なのが×。

ただ、今回みたいな本当のホットキャッシュ用だけであるとかなら、問題ないかもしれないかもしれない。
ひとまず、メモリキャッシュとICPみたいなノード毎の存在確認はこれで実装してみる感じ。

809 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 22:26:17 ID:qv+JAC1+0

datdか。。

810 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 22:38:35 ID:qv+JAC1+0

とりあえず、ディスクキャッシュの実装について考える。
一番心配なのは、高負荷時にApacheが落ちてdatが空になってしまうこと。(fwrite中に落ちると空になる系)
以前これにひっかかったことがあるので何かとPHPでのファイル操作をしていない。->かといってMySQLとかは×

問題の洗い出し。

- PHPにファイル操作は極力行わせたくない。
- LRUのような実装で、キャッシュプールの最大保存数を調節できるようにしないと、あふれたときに面倒。

と、これだけかなぁ、今のところ。
なんだかんだいっても、PHPでファイル操作になっちゃうんだろうけど。。

datdって結構期待値高いなぁ。。

811 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 22:45:32 ID:qv+JAC1+0

datdかぁ。。datd。。

812 ：こうすけ ★：2007/12/30(日) 22:53:42 ID:???0

そうそうdatd！













datdってどんなもの？

813 ：ゆう ◆rrrrrrrr1o ：2007/12/30(日) 23:08:43 ID:qv+JAC1+0

追記型proxy、みたいな感じかなぁ。
ただ、datのようなケースはsunosさんのいうようにきわめてまれなケースなのは確か。

既存のproxyの実装をみてみて、いけそうならそっちを改造してみる、というのも手かな、と。
普通のファイルはあったら追加、なければ削除、みたいな感じがメインだと思うので、
今回みたいな追記型でフラグメンテーションがおきやすい場合はどうするか、とか。
(別に今考えなくてもいいかもしれないけど。。)
reallocみたいに別エリアにどーんととるか、COSSみたいにストライプするか、分散気にしないか、とか。。

まぁ、そんなことを夢見てみたりしてみたわけですが、まずは既存の実装をみてみようかな、と。

814 ：こうすけ ★：2007/12/30(日) 23:18:06 ID:???0

>>813
いま、BGは遊んでいる状態なので、datd開発にはちょうどいいかも。

815 ：▲ ◆SANUKI/VII ：2007/12/30(日) 23:37:04 ID:MOwHF2Q8P ?PLT(12672)

|っ ブラジリアン ★

816 ：動け動けウゴウゴ２ちゃんねる：2007/12/31(月) 00:29:51 ID:56bq/U8d0

1datにつき、必ず512KBずつHDD上に領域を
確保すればフラグメントは起きないが、、、

激しく無駄ではあるけど、今のHDD容量なら
問題ないかな？

817 ：ゆう ◆rrrrrrrr1o ：2007/12/31(月) 00:43:08 ID:Ad4qjdKo0

>>814
今って、BGはsquidが動いていた跡地という認識であっていますか？
実際どんな感じにsquidが動かなくなるかみて、参考にしたいと思っていたりしています。
(溜めたキャッシュへのアクセスの様子が一番気になる感じです。)

>>815
さぬきくんの今のキャッシュ実装ってどうしているですか？

>>816
確かに、それはいいかもしれないです。
予約エリアを確保した場合って、やっぱり負担は減るものなんですかね。

818 ：▲ ◆SANUKI/VII ：2007/12/31(月) 01:58:40 ID:zlj8zF/jP ?PLT(12672)

キャッシュフォルダに直おき

819 ：動け動けウゴウゴ２ちゃんねる：2007/12/31(月) 07:26:26 ID:KteJZ4Fh0

>>816
512KBクラスタでフォーマットとか？
そんなんできるんかな

820 ：root▲▲ ★：2007/12/31(月) 11:37:52 ID:???0 ?PLT(81818)

なんだか動き始めている、、、。

もうすぐ来る来年が楽しみになってきましたですよ。

821 ：ゆう ◆rrrrrrrr1o ：2007/12/31(月) 11:53:59 ID:ZPJq+a2U0

>>818
ありがとうです。

>>819
現状のFreeBSD(UFS2)のblock最大値は64KBです。
また、これとは別にフラグメントサイズというのがあり、
ブロックサイズ以下のファイルを保存しようとするとフラグメントサイズ分の領域を確保します。
realloc()と固定長確保は運用面で調節していけばいいかな、という感じではあります。

ひとまず、newfsで64Kブロックを確保するパーティーションを切って、realloc()型で実装してみようかと。(楽そうだし)
それと、キャッシュが溢れない用のガベージコレクトのようなものですかね。
一つのディレクトリに全ファイルを置いて更新時間チェック、はさすがにDIRHASH効いていても優しくないので
ある程度分割して、一日一回find&rm回すぐらいで対処しておこうかな。

あとは、ホットキャッシュをメモリにのせるスレッショルドのようなものをどうするか、と。。
これが解決すれば、ひとまず
- memcachedでキャッシュデータの分散、フェイルオーバー、ディスクI/O軽減、ICP
- fsのパラメータ変更でちょっとでもI/Oを減らしてみるテスト
ができるかも。

やりつつ、他のproxyに追記型が実装できそうであれば、そちらをやってみる感じで。

822 ：root▲▲ ★：2007/12/31(月) 12:47:34 ID:???0 ?PLT(81818)

>>801
> 萌ではなく、普通の人のはずですよ！

うぷぷ。

> むむむさんに最後に連絡先聞いたけど、結局何を送ればいいかわからず状態です。

私のメアドは http://mumumu.mu/serverlist.html とかにあるリンクを見てくださいです。
でも、メールでなきゃいけないこと(パスワードとか呪文とか)以外は、
基本的にここでやりましょうです。

823 ：動け動けウゴウゴ２ちゃんねる：2007/12/31(月) 18:48:11 ID:k99NB0kG0

むーさんも、優くんに“普通のおじさん”扱いされていますけどｗ

824 ：動け動けウゴウゴ２ちゃんねる：2008/01/07(月) 09:03:39 ID:dYcJELLqO

PINKも2chと同じくcのフォームにしてほしいんですが、これはPINKで言うべきことですか？

825 ：動け動けウゴウゴ２ちゃんねる：2008/01/07(月) 12:20:21 ID:qNzyacYd0

さすがゆうくん

826 ：動け動けウゴウゴ２ちゃんねる：2008/01/07(月) 20:19:54 ID:tv7drWU7O

優くんて女性でしょか？

827 ：まみら ★：2008/01/07(月) 22:28:08 ID:???P ?2BP(369)

ゆうくんはサーバ屋さんですね。
私はスクリプト屋さんなんで、介入していいかどうか。

ゆうくんの欲求としてはBGを動かしてみて挙動を自分の目で見てみたいってのが
あると思うんですが、どうすかね？
スクリプト側から見るとレイドバックになってしまいますけど、
そのジャッジは誰がするんだろう。大殿を呼び出してみますか？

828 ：こうすけ ★：2008/01/07(月) 22:37:11 ID:???0

やるんならc-docomoをBGのどちらかにかな？
一番きつい条件は

829 ：動け動けウゴウゴ２ちゃんねる：2008/01/10(木) 15:55:29 ID:ULpkwwKF0

どうせならクラシック機能フルスペック版を走らせても平気なの構築してくれや。

830 ：動け動けウゴウゴ２ちゃんねる：2008/01/12(土) 02:15:07 ID:Eb3zmOKr0

費用は>>829持ちな

831 ：動け動けウゴウゴ２ちゃんねる：2008/01/12(土) 02:17:55 ID:17ddFoSl0

>>829
スイス銀行の俺の口座ｎ

832 ：ゆう ◆rrrrrrrr1o ：2008/01/13(日) 16:19:05 ID:qSi1UOsg0

あけましておめでとうございますです。

なんかいろいろ忙しくて全然何もしてなかったりするのですが、
別のところでいじっているsquid周りがおちついたら、こっち側でノウハウ展開できるといいなぁと。。

833 ：FOX ★：2008/01/26(土) 22:44:43 ID:???0

ここか?

834 ：SUCKS ◆SUCKSagYLU ：2008/01/26(土) 22:48:33 ID:YUc/76ic0

>>833
ある意味マルチポストだな
報告するぞｗ

835 ：女狐 ◆WGK3jfARpo ：2008/01/26(土) 22:54:38 ID:CqS6Y9WfO

>>833
FOX頑張ってね。ﾁｭｯ♥

836 ：動け動けウゴウゴ２ちゃんねる：2008/01/30(水) 18:00:30 ID:1HkgDc4SP

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part4 - ボーリング場
http://qb5.2ch.net/test/read.cgi/operate/1201374777/

837 ：動け動けウゴウゴ２ちゃんねる：2008/02/14(木) 22:33:41 ID:o6/5V4k40

(ﾟдﾟΞﾟдﾟ) ???

838 ：動け動けウゴウゴ２ちゃんねる：2008/02/15(金) 00:16:46 ID:/BoHiDsZ0

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part4.1 - ボーリング場2
http://qb5.2ch.net/test/read.cgi/operate/1202658805/

839 ：動け動けウゴウゴ２ちゃんねる：2008/03/26(水) 22:26:34 ID:kA1iMeUu0

保守

840 ：動け動けウゴウゴ２ちゃんねる：2008/03/27(木) 11:25:55 ID:If5GEpfl0

そんなこといいから新しいサーバー買えよぅ。

841 ：あぼーん：あぼーん

あぼーん

842 ：動け動けウゴウゴ２ちゃんねる：2008/05/15(木) 21:40:03 ID:y8sthYBJ0

http://qb5.2ch.net/test/read.cgi/operate/1208685863/307-

＞314 [2008/05/15(木) 20:23:54 ID:???0 BE:1094843-DIA(100256)] root▲▲ ★ <>
＞
＞ http://www2.2ch.net/img/Hello-502.gif
＞
＞ <center><a href="http://www2.2ch.net/img/Hello-502.gif"><img height=15 width=20 src="http://www2.2ch.net/img/Hello-502.gif"></a></center>
＞
＞ どうぞ、ごぞんぶんに。
＞
＞315 [2008/05/15(木) 20:25:45 ID:???0 BE:3192375-DIA(100256)] root▲▲ ★ <>
＞
＞ というわけで、>>314 を、
＞ UA に KDDI が含まれている時だけ、全ページの最初のところに表示するようにする、
＞ というのを仕込んでいただけると、とても効果が高いのではないかと。
＞
＞316 [2008/05/15(木) 20:26:55 ID:???0 BE:4104959-DIA(100256)] root▲▲ ★ <>
＞
＞ >>315 は、c の中のかた向けです。
＞
＞317 [2008/05/15(木) 20:31:59 ID:???0 BE:1276872-DIA(100256)] root▲▲ ★ <>
＞
＞ あと、
＞
＞ <meta http-equiv="Cache-Control" content="no-cache" />
＞
＞ これを<head>のセクションに入れることが重要ですね。
＞
＞ あと、くれぐれも、UA に KDDI が含まれている場合のみということで。
＞

843 ：動け動けウゴウゴ２ちゃんねる：2008/05/18(日) 17:25:53 ID:OSF2IYmB0

おいlive27の20行制限30にしてくれ頼むFOX愛してるからお願い

844 ：動け動けウゴウゴ２ちゃんねる：2008/06/28(土) 07:33:31 ID:yXXVtZWT0

繋がる？
アク禁されてる気がする

845 ：動け動けウゴウゴ２ちゃんねる：2008/09/08(月) 13:33:47 ID:EB6YJlEa0

あ