CIBEX to do

Kodama Okubo Nagai 2012-05-16

metadata example

=Assisting Meta data generation =
 * 1) CIBEX is a web-wizzard program and RDB to manage mata-data and data.
 * 2) CIBEX did not have data viewer.
 * 3) Dr.Ikeo and Mr.Yagi(Hitachi Software) made a web wizzard that output a "meta-data form"  to the client side.
 * 4) Submitter upload the "meta-data form" back to DDBJ CIBEX web server.
 * 5) Kodama tried to check as possible as time allows.
 * 6) *mata-data form is readable only on CIBEX wizzard software and it has a input data format for CIBEX-DB
 * 7) Kodama load the data to CIBEX-DB (RDB) and receive Accession # (One accession to metada )
 * 8) This RDB handles each field in matadata independently and allow data search in various conditions.

=Comparison of metadata between the three= Kodama said GEO: different may be ArrayExp: CIBEX has selected set of fields from ArrayExpress.
 * They are different.
 * How? in Fields? CIBEX has experiment, array, hybridization, sample, extract, protocol

=To do=
 * Revitalize Wizzard program contact Kouwatan (Nagai) and change the output file to final meta data form.
 * Change the corresponding person from Kodama (okubo) and accession Last# に一たす
 * Put the metadata into getentry and ARSA (Nagai consider the best way with Oga Moriyama)
 * Made a link from flat-metadata to ftp site. http://trace.ddbj.nig.ac.jp/cibex/


 * 受け渡しのやりかたも当座はCIBEXを引きずったほうが無駄なし(保存的）
 * データ受け渡しのD-way?が軌道にのつのを待ってファイル転送はその下に移動する

=History= 発現データ登録
 * INSDC事業ではないがNCBIはGEO 1999として長く集めている.
 * EBIもarray expresss 2002 として独自に集めている
 * CIB-DDBJもCIBEX事業を2004から開始池尾舘野先生のBIRD事業として開始した.(2007までSK委託八木さんがひとりで)
 * 2007年移行DDBJアノテーターで雇用された児玉さんが引き継いだ.
 * それ以降　担当エンジニアなし. 　児玉さんが一人でまわしている　サーバーまわりはSKがサービスでやってくれている.
 * データ交換はしていない


 * 登録は登録者がCIBEXに入って自由にアカウントを作る. Cibex web server
 * 登録用ツールでメタデータ入力
 * データファイル　タブ区切りテキスト　(アレイに関する情報とハイブリデータ(spotxsignal)データファイルをアップロードする
 * 児玉さんにメイルが来る
 * チェックしてあくセッションを発行　CBX999999
 * データはCIBEXサーバに記録され自動的にバックアップもしている. アクセスログもあり.
 * それで終わり　ですから利用者はデータについては登録者と同じファイルを得る


 * メタデータの形式　表形式　もとはMAGE TAB array express 製　バージョンアップに対応できずバージョン遅れになっている
 * GEO はsoft形式　MAGEは項目多くてオプション多く必須もおおい　softは値は自由　MAGE はコントロール
 * 2012-04-xx 池尾サーバー　hardware error でダウン　全て池尾サーバで行てたのでサービス停止
 * 2012-05-xx すでに登録を受けたデータだけFTP可能にして対処 http://trace.ddbj.nig.ac.jp/cibex/index.shtml

運用保守SE作業履歴(2009/09位から CIBEXdev@verossa.genes.nig.ac.jpメーリングリストログを漁った結果) 日付	作業	詳細 2009/08/31	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2009/09/10	CIBEXウェブページ監視エージェント構築	毎朝9時にwget、正常取得以外でメール発信 2009/11/09	CIBEX Web Server エラー	apache2とtomcatの再起動 2010/02/15	登録データ更新依頼	cbx69の登録内容を更新 2010/02/16	登録データ更新依頼	cbx111の登録内容を更新 2010/03/10	登録データ更新依頼	cbx61の登録内容を更新 2010/03/23	CIBEX Web Server エラー	apache2とtomcatの再起動 2010/03/24	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2010/04/05	システムバックアップログメールシステム変更	前日との差分発生時のみメール発信 2010/05/17	CIBEX Web Server エラー	apache2とtomcatの再起動 2010/05/31	登録データ更新依頼	cbx109の登録内容を更新 2010/07/13	CIBEX Web Server エラー	apache2とtomcatの再起動 2010/09/06	登録データ削除依頼	cbx136の登録内容を削除 2010/11/01	CIBEX Web Server エラー	apache2とtomcatの再起動 2011/03/29	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/04/04	CIBEX Web Server エラー	apache2とtomcatの再起動 2011/04/11	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/04/21	登録データ削除依頼	cbx164,166の登録内容を削除 2011/05/12	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/06/08	登録内容修正作業	DBに対して登録情報の一括置換をSQLで実行 2011/06/14	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/07/19	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/07/26	アノテータ追加権限許可作業	VNC設定追加、sambaアクセス許可IP追加 2011/07/27	CIBEX DBのスキーマ、データ型変更	文字数制限解除、ExperimentalDesign.titleをvarchar(255)→text型へ 2011/07/27	システムバックアップログメール宛先変更	アドレス追加（アノテータ野崎様） 2011/09/11	CIBEX Web Server エラー	apache2とtomcatの再起動 2011/09/22	VNC(リモートデスクトップ)サーバ再起動	VNCサーバプロセスkill、サーバ起動 2011/10/01	CIBEXサーバのセキュリティ対策	Apache HTTP Serverの脆弱性対応、拡張モジュール追加、設定ファイル書換、再起動