外部からスパイラルのDBにデータを渡して定期的に同期させる(バッチ処理)
最終更新日:2021年09月27日
外部からスパイラルのDBにデータを渡して定期的に同期させる方法をご案内します。
例えば、外部システムで管理する会員情報をスパイラルに定期的に渡すことで、
会員向けのメール配信や会員専用ページのログイン認証を、スパイラルで運用することができます。
※以下の案内にはオプション機能の利用を含みます。
オプション機能を利用する場合、基本利用料とは別にご料金がかかります。あらかじめご了承ください。
全体像
以下の機能を使って、定期バッチ処理を設定します。
データ一括処理
対象のDBや、取り込むファイルの形式、フィールドマッピング、処理設定(新規登録、更新、削除、その他詳細)をあらかじめ設定しておき、手動または自動で実行する機能です。
このページのご案内では、取り込んだデータに合わせてスパイラルのDBを以下の通り更新する設定を行います。
- 新規会員は新しいレコードにデータ登録
- 既存会員は最新データに更新
- 退会者(=取り込んだデータにいない方)はデータ削除
外部接続(※オプション)
外部とのファイル受け渡し用のディレクトリ環境を提供する機能です。
このページのご案内では、スパイラルのDBに取り込むデータを外部から渡す環境として使用します。
定期実行(※オプション)
データ一括処理を定期的に実行する機能です。
このページのご案内では、一日一回の定期実行で会員データを最新に更新する設定を行います。
データ一括処理の設定をする
データの一括処理が問題なく設定できるかどうか、以下手順でお試しください。
DBメニューから、データ一括処理を選択します。
「新規作成」ボタンを押します。
処理設定の名前を入力、処理対象のDBを選択します。
処理対象のDBをまだ作成していない場合には、データ一括処理の設定の前に、DBの作成を行ってください。
今回は、ファイルの会員データと登録先DBのデータを比較して、以下の処理をしますので、「一括更新」を選択してください。
- 新規会員は新しいレコードにデータ登録
- 既存会員は最新データに更新
- 退会者(=取り込んだデータにいない方)はデータ削除
最後に、「新規作成」ボタンを押して完了です。
一括処理の設定がひとつ作成されました。
名前をクリックして、設定内容画面を開きます。
まずはフィールド指定方法を変更します。
ファイル形式
手動、または外部から取り込むファイルの形式を設定します。
ファイル形式は拡張子の種類ではなく、ファイルの中身の形式を意味しています。
利用可能な拡張子等の情報は以下表をご確認ください。
拡張子 | 非圧縮:「.txt」「.tsv」「.csv」「拡張子なし」 ZIP形式:「.zip」のみ |
---|---|
ファイル名 | 半角英数、アンダースコア、のみ |
文字コード | EUC-JP |
改行コード | LF、CR、CR+LF ※複数の改行コードが混ざっている場合はエラーとなります。 |
フィールドマッピング
列ごとに指定するか、先頭のヘッダ行で指定するかを設定します。
列ごとに指定する場合は、「フィールドマッピング設定」ボタンを押して設定画面を開きます。
「一括更新」の場合、更新対象を特定する「検索キー」の設定が必要です。
処理対象
- 更新対象がDBにないファイルのデータの処理
- 新規会員は新しいレコードにデータ登録させるので、今回は「新規登録する」を選択します。
- 更新対象がファイルにないDBのレコードの処理
- 退会者(=取り込んだデータにいない方)はデータ削除しますので、今回は「レコードを削除する」を選択します。
設定が終わったら、最後に「保存」ボタンを押して設定を保存します。
設定が完了しました。
最後に、手動実行で、処理が正しく実行されるかテストします。
用意するファイルの形式
- 文字コード:EUC-JP
- 拡張子:txt
- 列数、区切り文字、圧縮形式:「処理設定」メニューで設定した内容に合わせてください。
ファイルを選択したら、「実行」ボタンを押します。
実行ログを確認します。
処理が正しく完了していれば、結果に「成功」と表示されます。
「失敗」と表示された場合は、処理設定とアップロードしたファイルを再度確認してください。
- よくある失敗理由
- 処理設定で設定したファイル形式とアップロードしたファイルの形式が異なる。
- ファイルの文字コードがEUC-JPでない。
また「成功」と表示された場合でも、更新のマッピングや新規登録、削除処理などの設定が正しいか、念のためDBオペレーションから登録データを確認してください。
外部接続の設定をする(※オプション)
外部からファイルを受け取るユーザ(ディレクトリ)の設定をします。
※外部接続のご利用開始までには、3営業日ほどかかります。
余裕を持ってオプションのお申込みをいただけますようお願いいたします。
外部接続オプションの申込手順
まずはオプションの申込手順をご案内します。
DBメニューから、外部接続を選択します。
「新規申込」ボタンを押します。
外部接続はオプション機能です。
申込/同意画面からお申込みいただくと、外部接続ディレクトリが設置された月より費用が発生いたします。
注意事項をお読みいただき、同意いただける場合にはチェックを入れて「アカウント設定へ」を押してください。
- 接続先ユーザ名・・・外部接続の際のユーザー認証に使用する名前です。任意のユーザ名を設定してください。
- 公開鍵、接続元のIPアドレスを設定して、「申込」ボタンを押します。
※公開鍵の鍵長は安全性の高い2048bitを推奨しております。お申込みの際は2048bit以上の鍵長でお申し込みください。
確認画面が出ましたら、申込み完了です。
また確認のメールが届きますので、合わせてご確認ください。
外部接続オプションの設定手順
外部接続オプションがご利用いただけるようになりましたら、メールでお知らせいたします。
操作画面で、DBメニューから外部接続を選択します。
接続先ユーザのステータスが「稼働中」になっているのをご確認ください。
ユーザ名をクリックすると、詳細情報が確認できます。
外部から接続する際には、これらの情報を参照に設定してください。
外部からディレクトリに接続できるか試します。
ここでは、WinSCP、Cyberduckの2つのクライアントソフトウェアでのテスト方法をご案内します。
WinSCP
WinSCPは、以下のページからダウンロードできます。(Window用のみ)
http://osdn.jp/projects/winscp/releases/
WinSCPをダウンロードし、インストールを行います。
インストールが完了したら、WinSCPを開きます。
操作画面の外部接続ディレクトリ情報を参考に、接続用の設定をします。
- 転送プロトコル・・・SFTP
- ホスト名・・・操作画面の「接続先ホスト」
- ポート番号・・・操作画面の「接続先ポート番号」
- ユーザ名・・・操作画面の「接続先ユーザ」
- パスワード・・・(使用しません)
「設定」ボタンから、秘密鍵の設定をします。
「ログイン」ボタンを押して、問題がなければ下記のような画面が表示されます。
エラーが出る場合には、再度WinSCPの接続設定をご確認ください。
テキストファイルを設置してみます。
/cooperation/importの下に設置してください。
設置ファイルを操作画面から確認します。
データ一括処理対象ファイルとして、設置したファイルが表示されています。
以上で、WinSCPによる外部接続のテストは終了です。
Cyberduck
CyberduckはWindows版、Mac版がありますが、ここではMac OS Xでの手順をご案内します。
Cyberduckは、以下のページからダウンロードできます。
https://cyberduck.io/index.html
またはMac App Storeからも入手できます。
Cyberduckをダウンロードし、インストールを行います。
インストールが完了したら、Cyberduckを開きます。
「新規接続」を押すと、設定画面が開きます。
操作画面の外部接続ディレクトリ情報を参考に、接続用の設定をします。
- 接続方法・・・SFTP
- サーバ・・・操作画面の「接続先ホスト」
- ポート・・・操作画面の「接続先ポート番号」
- ユーザ名・・・操作画面の「接続先ユーザ」
- 公開鍵認証を使用するにチェックを入れ、申請時に設定した公開鍵と対になる秘密鍵を選択します。
「接続」ボタンを押して、問題がなければ下記のような画面が表示されます。
エラーが出る場合には、再度Cyberduckの接続設定をご確認ください。
テキストファイルを設置してみます。
/cooperation/importの下に設置してください。
設置ファイルを操作画面から確認します。
データ一括処理対象ファイルとして、設置したファイルが表示されています。
以上で、Cyberduckによる外部接続のテストは終了です。
注意事項
- 外部から外部接続ディレクトリへの接続を制限する際は下記の接続を許可してください。
ホスト名 | 操作画面のドメインと同一です。 例)ログイン画面のURLが「https://ctr18.smp.ne.jp/login.html」の場合、「ctr18.smp.ne.jp」がホスト名です。 |
---|---|
IPアドレス | コマンドプロンプトや外部サービスなどからホスト名を正引きすることで確認できます。 |
ポート番号 | 8122 |
定期実行の設定をする(※オプション)
外部接続ディレクトリに置いたファイルを使って、定期的に一括処理を実行する設定をします。
定期実行オプションの申込手順
まずはオプションの申込手順をご案内します。
DBメニューから、定期実行を選択します。
「オプション申込」をクリックします。
必要な実行数を入力して「確認」ボタンを押します。
定期実行数は、実行させたいタイミングの数だけお申込みいただく必要があります。
例)
- 毎日6時、12時、18時、24時・・・4設定
- 毎週火曜日10時、木曜10時・・・2設定
- 毎月5日15時・・・1設定
定期実行はオプション機能です。
申込/同意画面からお申込みいただくと即時にオプションが適用になり、その月より費用が発生いたします。
注意事項をお読みいただき、同意いただける場合にはチェックを入れて「申込」を押してください。
定期実行数1の申込が完了しました。
定期実行オプションの設定手順
定期実行オプションのお申込みが完了しましたら、「新規作成」ボタンを押します。
定期実行の設定画面では、実行頻度、実行時刻、処理内容、接続先などを設定します。
今回は、「毎日」「00:00」に、データ一括処理「会員メール配信マスタ アップデート」を接続先ユーザ「support_user1」のディレクトリに置かれたファイルを使って実行する設定をします。
(※動作を確かめる場合には、実行時刻を現在から近い時間帯に設定してお試しください。)
準備するファイルは、記載の規則に従ってください。
例)
coop0000XXXXX_YYYYMMDDhhmm
※ データ一括処理の場合は [YYYYMMDDhhmm] は年月日時分を表す数値12桁を指定してください。
※ データ出力の場合は [YYYYMMDDhhmm] は年月日時分を表す数値12桁が自動付与されます。
( 例: 2015年4月1日 9:30 に実行予定のデータ一括処理の場合 → 201504010930 )
通知設定では、処理結果のメール設定ができます。
外部接続のディレクトリにファイルを置いて、動作をお試しください。
定期実行が成功すると、下記のようなメールが配信されます。