にわかSEは大忙し!

機種依存文字の対応

カテゴリ : 
つぶやき
執筆 : 
八雲町 2019-1-18 18:00

ども。
なかなかハードな日々が続いていて、週末が待ち遠しかった担当ちゅんです。

何がハードなのかといえば、実はこの1ヵ月ほどびっちり「ふるさと納税」の対応にあたっていました。1月10日が「ワンストップ特例申請」の申請書提出期限となっていることから、その申請受付処理に従事していたのです。来る日も来る日も申請書をチェックしてシステム入力を行い、今週でようやく終わりが見えてきた、そんな状況です。とはいえ、まだ全ての処理が終わったわけではないので、しばらくは忙しい状況が続きます。

そんななかで、業務主担当の職員から「困ったことになりました」と相談を受けました。ふるさと納税の申請処理に利用しているシステムがあるのですが、そのシステムから寄付者情報をExcelデータとして出力すると、氏名が正しく表示されない方が相当数いるとのこと。確認すると、そうした方は氏名の漢字として旧字体等が使われている方(例えばいわゆる「はしごだか」など)であることがわかりました。

氏名なのですから、旧字体であろうとあくまで正確に入力することは行政の職員としては当たり前のことです。しかし、これがシステムの事情だけで考えると大問題となります。
出力されたExcelデータを見ると、明らかに文字が抜け落ちてしまった方や、中には「U+2363A」みたいに文字コードに置き換わってしまっている方まで様々。こうした文字をシステム的にデータとして取り扱うためには、一般的な文字に置き換える必要があるのですが、受理している申請は数万件。これらをチェックして(現状では)手作業で文字の置き換えを行うという作業が必要となりました。途方にくれます。

ところで、そもそもなぜシステム上で機種依存文字を入力することができたのかという疑問が出ます。それは、システムが「Unicode」という文字コードで処理できるようになっているからなんですが、であれば出力するときもUnicodeで出力できないものなのか、と思ってしまいます。この辺はシステムの仕様にもよりますから何とも言えませんが、あらためて「日本語って難しいんだな」と感じます。アルファベットでは決して起きない問題ですからね。

機種依存文字
例えばこの文字。これは文字コードに置き換わって出力されてしまいます。

(投稿者:ちゅん)

トラックバック

トラックバックpingアドレス http://www.town.yakumo.lg.jp/modules/information_blog/tb.php/2120

コメントの投稿

コメント投稿に関するルール : コメントは全て承認が必要

コメント


投稿者 スレッド
ゲスト
投稿日時: 2019-1-18 21:45  更新日時: 2019-1-22 10:11
 Re: 機種依存文字の対応
勘違いだったらすいません。
出力されたエクセルデータとやらが単なるCSVならメモ帳で開けば読める気がします。
そうでないなら・・・難しいですね
返信

投稿者 スレッド
八雲町
投稿日時: 2019-1-22 10:14  更新日時: 2019-1-22 10:14
 Re: 機種依存文字の対応
コメントありがとうございます。担当ちゅんです。

出力されたデータがCSVならばその方法で大丈夫ですし、OpenOfficeなんかも上手に表示できるという情報はゲットしていました。
が、今回の案件では「XLSX」でファイル出力されてしまう案件でした。

結果として、システム側で環境依存文字1文字で対象者を検索して、その文字を手で直すという超アナログな方法に落ち着きました。
件数的には数百件程度、ものの1時間程度で完了でき、結局のところ「悩むよりやれ!」の精神で乗り切ってしまいました。
返信

投稿者 スレッド
ゲスト
投稿日時: 2019-1-21 16:00  更新日時: 2019-1-22 10:14
 Re: 機種依存文字の対応
初めて書き込みさせていただきます。西日本の小さな市のにわかSEです。
いつもブログを業務の参考に拝見しております。
おそらく高橋の「はし」の字だと思いますが,個人的にはこのU+2363Aの文字を担当の方がどうやって入力されたのだろう?というのが一番気になっているところです。
通常の文字入力で使うコードではないですからねぇ。
文字コードと外字の問題は基幹システムをリプレイスする際に頭を悩ます問題ではありますが,この漢字は(住基ネットの)統一コードAB08に当たる文字なので,統一コードが表示できるフォント(KAJO明朝等)が入っているPCならばそのまま表示出力できるかと思います。当市の場合はこのフォントを全PCに入れるのはコスト面で不可なため通常のPCはS-JISコードベースの運用になってましてこの漢字は外字として登録しているところです。
システムがcsvに吐く際に変換テーブルにより「AB08」を「Fxxx」に変換して表示出力を可能にしてますが,元の入力が想定外のU+2363Aで入力されていたらやっかいだなと思った次第です。
システムがどうやってcsvを吐いているか分からないのでちゃんと表示できていてもコード違いで違う漢字の可能性もあるでしょうから,とりあえずmid関数で漢字を1文字ずつとりだして,UNICODE関数でS-JIS外にあるコードを探して修正するくらいしか思いつきません。
漢字そのものは=UNICHAR(HEX2DEC("2363A"))で表示できると思いますが,UNICODE系の関数は確かExcel2013以降からだったと思うので注意してください。
返信

投稿者 スレッド
八雲町
投稿日時: 2019-1-22 10:21  更新日時: 2019-1-22 10:21
 Re: 機種依存文字の対応
コメントありがとうございます。担当ちゅんです。

> 初めて書き込みさせていただきます。西日本の小さな市のにわかSEです。
> いつもブログを業務の参考に拝見しております。

はじめまして。いつもご覧いただけているとのことで恐縮に存じます。

> おそらく高橋の「はし」の字だと思いますが,個人的にはこのU+2363Aの文字を担当の方がどうやって入力されたのだろう?というのが一番気になっているところです。

当町が事務処理に利用しているのはブラウザベースで動作する「SalesForce」です。ここに文字入力する際、MS-IMEで変換候補に出てくる文字を普通に入力してしまっていました。その変換候補にも「機種依存文字」という警告は出ていたのですが・・・。入力もできるし、画面上の表示もできる、システムから直で印字する場合も出力可能なので特に問題は起きないはずだったのです。

今回の場合、システム側で「漢字1文字での検索」に対応していたので助かりました。
あえて機種依存文字1文字で検索をかけ、対象の文字をひたすら手作業で置き換えました。面倒な作業ではあったのですが、そもそも対象者はそんなに多くなく、悩んでいる時間があったらやってしまったほうが早いということになりました。

> 文字コードと外字の問題は基幹システムをリプレイスする際に頭を悩ます問題

全くです。基幹システムであれば、あらかじめ「文字コードの統一」というのが課題として上がっているので対応できるのですが、今回のように情報系システムでこの課題にぶつかったときに、厄介な問題になるのだと再認識しました。
返信


ブログ カレンダー
« « 2019 2月 » »
27 28 29 30 31 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 1 2
最新のエントリ
カテゴリ一覧
アーカイブ
最新のコメント

open

町へのご意見 open

便利なサービス open