  |
はてなキーワード: CSVとは
高偏差値大学ではあるので，卒論そのものが生成AIによって書かれている，なんてことはさすがにあり得ない
大体，教員が与えたテーマは答えがまだないことが多いので，自動生成は難しいのだ
では，どこに出てくるかというと，卒論生が書くコードと計算結果だ
「こういうモデル作って，こういう計算してみたら，こういう結果になると思うから，計算してみて」と指示すると
1週間も経たずに計算結果を出してくる．すごい！今年の卒論生は優秀だ！と思い，計算結果をよくよく眺めると，何かおかしい．
「こういう傾向になるのは理屈上おかしい気がするなぁ．ほんとにこの結果だと大発見だけど，僕の勘では計算コードにバグがあると思う．確認してくれる？」
と尋ねると，全く進捗報告をしてくれなくなる．
「ChatGPTが書いたコードなので，どこが間違ってるのか自分で判断できないし，ChatGPTもわからないとのことです」という返事．
うん，別にいいんだよ．ChatGPT使ってコード書いても．便利だし．早いし．
別に既存のライブラリ使って計算回してるのと，やってることは大して変わらないし．
でもな，ChatGPTが出してきたコードが読めなかったり，そのコードによる計算結果がおかしかったりした時に自分で直せなかったら何のために卒業研究してるの？って話なのよ．
別に君にこのテーマ与えなくても，僕が自分でChatGPT使ってコード書いて分析したら，1-2週間で終わるのよ．
僕は計算結果が欲しいわけじゃないの．教育の機会として，君にやってもらってるの．
「あなたができるようになること」がゴールなの．「計算結果を出すこと」はゴールじゃないの．わかる？
これまでのわかってない学生，詰まってる学生って，計算結果自体出せなかったり，とてつもなく手前でつまづいていたから，
その子の理解度を教員が把握できて，その理解度に応じたサポートができたんだよね
勝手に実装して，勝手に論文見つけてきて，勝手に研究進める学生には，さらにこういう研究あるよ，と紹介するサポートができたし，
全然データ分析のやり方がわかりません，この数式の意味がわかりません，数式の意味はわかるけど，プログラミングの仕方がわかりません，みたいな学生には
既存のコードを渡して読んでもらったり，自分で改修させたりしながら，数式とコードの世界を行き来させつつ，理解をさせるようなサポートとか．
でも，生成AI以降は「理解していないのに，詰まっていないふりができる」ようになったことで，教員としてはサポートが非常に難しい．
複雑な計算できるのに，csvファイルの読み込みができない，とか
複雑な計算結果をグラフにできるのに，こっちのグラフと別のグラフの線の色が対応ついてないから，同じ色にした方がいいよ，と言ったらできないとか
とにかく出力と理解度がチグハグすぎてやばい．その結果として，出てきた結果全てを疑ってかかる必要があって，こっちもかなり負担．
スマート体重計の新規購入、または乗り換えを検討している人に役立つ内容なので、興味があればぜひ読んでみて。
いま、スマート体重計を購入するなら、Eufy (Anker) がおすすめ。
2011年から2025年1月まで、Withings（スマート体重計メーカーの名前）を利用していきました。
（ちなみに説明しておくと、2010年頃は、スマート体重計の機能、つまり「体重を測定するとクラウドにアップされ、自分でいちいち体重や体脂肪をメモする必要がない」というのは画期的であり、このスマート体重計の先駆者がWithingsでした）
体重を測定した後、メモしなくてもいつでもデータを振り返って見られる。しかも何年前のデータも瞬時に！これはすごい！便利！
そう思い、3台くらい乗り換えつつ使い続けてきました。
ちなみに初めて購入したWithingsの体重計は15000円くらいでした。ホームセンターにいけば、普通の体重計が1980円くらいで購入できる時代に、15000円の体重計を出していたわけです。
とまあ、私が13年ほど使い続けている間に、フランスのスタートアップであったWithingsは、Nokiaに買収され、ブランドが消滅するが、再び再独立してブランドが復活した、という道を歩んで現在に至ります。
おそらく、このブログを読んでいる人の多くは、Withingsという名前を聞いたことがないと思うが、その理由は以下の通りです。
特にイノベーションの停滞はひどく、2011年から2025年の現在で、大きな変化というと、スマホ対応したくらいでしょうか。
ユーザーにあっと驚かせる何かを提供できなければ、Withingsがかつてやっていたような「高付加価値を提供する代わりに高い値付けをするビジネスモデル」は無理です。
Withingsは新商品として、こめかみにタッチする体温計とか、スマートウォッチもどきなどをリリースしましたが、特段ヒットした記憶はないですね。こめかみ体温計は日本では発売もしていないはず。
私は、スマート体重体重計に求める要求は高くないです。体重と体脂肪が測定でき、クラウドの履歴が保存され、スマホアプリで閲覧できればOK、ただそれだけです。
しかし、Withingsに対する不満は徐々に大きくなっていきました。
理由としてはこれが一番大きいです。
Wifiが変更された、スマホが変更された、といった際の再設定が非常に面倒。
例えば、以下のようなもの。
よって、デバイスの再設定が起こるたびに、とっても面倒で鬱々した気持ちになります。
一つ一つは小さいことなのですが、小さなことが積もると、心底嫌になります。
体重計に乗ります。測定が開始されます。体重計に体重と体脂肪が表示されます。測定が終了します。
数分とか十数分経たないと反映されないので、データが正しくクラウドに登録されたのかどうか不安になります。
ちなみに昔はすぐに測定データが反映されていてのだが、ある時点から遅延するようになったので、サービスの基本機能が劣化したともいえます。
体重計に乗ります。体重が正しく測定されます、しかし、体脂肪はなぜか測定されません。体脂肪が測定されないまま、データはクラウドに保存されます。
不満をつらつらといっていますが、Withingsには素晴らしい点があります。それは、すべての測定データをCSVでダウンロードできる点です。
（「ちなみにGoogle Fitなどと同期の設定をしても、Withingsで保存されているデータのうち、5年を超えるデータは同期されません）
データを人質にとられると、ベンダーロックインされ脱出が困難になりますが、Withingsからの脱出は難しくありませんでした。
ありがとう、Withings。
ブラウザでログインしてダウンロード指示を出すと、15-30分程度でデータがダウンロードできるようになりましたメールが届きます。
私はダウンロードしたCSVを、Google Sheetsにインポートして保管しています。
Withingsの後釜を決めるにあたっての選定基準は以下の通り。
色々調べて、といっても、公式サイトだけではわかりにくいので、よさげなものを2種類購入しました。
1つめはシャオミのS400という体重計。Amazonで2480円で購入。
https://www.mi.com/jp/product/xiaomi-body-composition-scale-s400/
https://www.amazon.co.jp/dp/B0DP7DQ5G3
もう1つはEufy (Anker) のSmart Scale A1という体重計。Amazonで1980円で購入。
https://www.ankerjapan.com/products/t9120
https://www.amazon.co.jp/dp/B0CXH8SZ5S
Withings体重計ユーザーで乗り換えを検討している人、または新たにスマート体重計を購入検討している人は、Eufyがおすすめです。
blastmailを触ってみたけど、インターフェースが使いづらい
Mailchimp、Brevo (旧Sendinblue) も同じく
WiLL Mail、配配メール → 公式サイトに料金が掲載されてない、問い合わせしないと料金が分からないとか無理
やりたいこと
理想的にはSubstackくらいのインターフェースがいい 海外サービスでも可
私はExcelおじさんだ。
往々にそうであるように、ちょっとした好意と、悪ノリだったと思う。
個人が勝手に作ったツールなんか、存在しないほうがいいと思う。
しかし、私が作らなくてもだれかが作るんだと思う。
あるいは、誰も作らずにExcel音痴たちが延々と苦しむかで、便利なシステムが導入されることはないと思う。
ChatGPTによってとってかわられるかと言えば、たぶんそうはならない。
Excel音痴たちは、データを整理できないのかわかってないし、そもそもどうしたいかを分かってないからだ。
要件定義ができないんだから、外部に作ってもらうことも、AIに頼ることも無理だ。
糞みたいな仕事
私は、統計解析おじさんでもある。
これも、なんでそうなったのかわからない。
「統計的に有意であった」とか「統計的に有意ではなかった」みたいな錦の御旗がほしいという悩みに答えて、データをこねくり回す。
統計的に有意であったとかそうでかったかなど、帰無仮説の立て方次第だとコミュニケーションを取ろうと努力するが、「結局どうなの？」
と、私の今までの説明を全く理解してない質問が飛んできて、頭を悩ませるのだが、可能な限り、欲しい答えに近い回答が出るように結果を返す。改ざんじゃないし嘘ではないけれど、ペテンだ。
やめたほうがいい。
AIに代わってもらえないかと期待するが、たぶんAIは、本人もなにが言いたいのかなにがしたいのかわからない問題に解答はしてくれないだろう。
弊社、分析機器は機器が吐き出すデータを専用ソフトで解析してレポートをするようなものが多い。
で、メーカーが潰れたり、製品が廃盤になったりして、ソフトが更新されず、x64 では使えないみたいな糞なことがしばしば起きる。
しらない拡張子でも、たいがいは中身はzipで、csvやバイナリーファイルの詰め合わせで、そこから専用ソフトと同じ数字が出るようにアルゴリズムをリバースエンジニアリングする。AIのおかげでコーディングが楽だ。でも、たぶん私以外にできない仕事だ。
しかし、これも、やめたほうがいい。なんで、メーカー非公式のアプリを作って、私個人が契約してるサーバーにデプロイして、みな会社のデータを無断でアップロードして分析するのか。アウトだろう。
メールに添付ファイルでExcelのファイルのアンケートが送りつけられ、そこに書き込んで返信して、それを集計するというアンケートが取られたりする。かなり偉い、役員クラスが一斉メールで数百人にメールして、それを集計したりするから頭が下がる。
だれもが、タイプライターの代わりにしかパソコンを使えない変な会社なので、私みたいな、40代にもなって部下なしの平社員がこんなことをしてる。コンプラ的にも長期的にもよくないし、人事評価という意味でも評価されない。
偉い人はExcelも統計処理もアプリも理解できないので、どれだけ便利なのかもわかってない。
マイナスにもならない。コンプラ的にどう問題なのかも偉い人は理解できない。
Chat GPTがいくら賢かろうと、偉い人たちは、報告書の言葉尻にケチをつけたり、パワポのフォントに口を出したり、Excelのセルを結合したりするのが仕事だと思って邁進し続けるんだろう。
最近、私は無能の烙印が押され、本業が干されているので、こういう糞みたいな雑用が増えてる。
PythonやVBAを操ったところで、それでIT関連に転職できるはずがない。40代未経験で雇ってもらえというのか。
RもPythonも、身内の統計解析をどんだけしたところで、これが職歴として評価される見向きもされないだろう。
医療系ならSASでも使わなきゃ、ビジネス系ならtableauとかSPSSを実務で使わなきゃ話にならない。
簿記や会計の知識が必要であったり、サーバーにデータベースを構築したりしたって、誰が評価してくれるというのだ。
まあ、仕事はやめるんだけど。
法人はしらんけど、個人に関してはある程度同意。特にリーマンで還付申請とか。
：自分の例；医療費控除で、保険分と自費診療分を申請したいとき、以前は
→自費診療分がある場合、一旦保険分のCSVを書き出して、税務署のエクセルフォーマットに書き換えて、自費診療分を追記して提出
（しかもマイナポータルから出てくるCSVと、税務署のXLS書式がまったく違うので（縦横すら違う）、全部配列を手打ちで直さないといけない）
→去年 保険分（自動入力）に、追加分（税務署からダウンロードしたエクセルに記載した自費診療分）のエクセルを追加で読み込ませるだけでいい。
が…毎年やってないので、「ま、マイナポータルから医療費のCSVが出せなくなってる！」ってパニクった。
ラクになってはいるが、ラクになったのだと気がつくまで、やり方が変わるとパニクるから、それはそれで毎年勉強しないといけないことに変わりはない。
その時点でだいぶ振り落とされる人は多そう。
あとスマホでマイナンバーカード読ますのはリードエラー多くてやっとれん。
たまたまNTT製のICカードリーダー（別の目的で購入したけど使えずに放置してたもの）があったからPCで出来て助かったけど。
前は使えていたノーブランドのカードリーダーは弾かれた（Linuxドライバで動くやつ）
まあ、先は長いな…
レベル2：数式が組める
レベル3：Ctrl+S、Alt→E→L などのショートカットが使える
レベル4：フィルタ設定、ウィンドウ枠の固定、入力規則が使える
レベル5：VLOOKUPが使える(INDEX MATCHでも可。絶対参照と相対参照が分かる)
レベル6：条件式が組める
レベル7：データ形式が分かる(Excelのお節介機能を黙らせてCSVファイルを正しく開ける)
レベル8：Excelについて質問されるほどの知見/信用がある
レベル9：依頼側の要件を聞き、譲渡可能な(作成者に依存しない)Excelファイルを作成できる
たとえば ↓
https://www.launchexcel.com/what-jobs-use-excel/
https://www.fdmgroup.com/news-insights/advanced-excel-skills
ジャップランドで起こりがちなことはアメリカでは無いのかAIちゃんに尋ねてみたらこう言ってたよ
ワイ： 質問: 2024年において、アメリカの大企業および中小企業の間で、より一般的なデータ管理の方法はなんですか？ 検索して最新のトレンドを教えてください。 - 方法A:内部データベースからCSVファイルとしてデータをダウンロードし、Excelで修正してから、
ETLツール（例：Informatica PowerCenter、Talend Open Studio）、BIツール（例：Tableau Prep、Microsoft Power Query）、
または他のデータベース（例：OracleDB）などの他のシステムにインポートする。 - 方法B:Excelのステップをスキップし、内部データベースを他のシステムに直接接続する。 - 方法C:レガシーシステムや複雑なシステムには方法Aを使用し、その他のシステムには方法Bを使用する。状況やシステム要件に応じて使い分ける。 質問のポイント: - 大企業におけるExcelの使用:大企業はデータクリーニングのためにExcelを使用するのを完全にやめましたか？それとも、古いメインフレームシステム、ERPシステム、または特定の業務プロセスの問題のためにまだ使用されていますか？ - 方法A、B、Cのシナリオ:各方法の具体的なシナリオと製品名を教えてください。 - 2024年におけるCSVファイルのダウンロード:2024年現在、ETL/BIツールやクラウドベースのDWHを利用できないどころか、Oracle Gatewayなどの接続手段も利用できないデータベースの使用は完全になくなりましたか？
もしそのようなデータベースが2024年にもまだ存在する場合、直接的なデータ連携が困難なため、CSVファイルでのデータ抽出が唯一の方法となることがあります。
企業は膨大なコストがかかるために移行を延期していますか？それともすでに段階的に対応していますか？ - Excelを使い続ける理由: 内部データベースを他のシステムに直接接続した方がシンプルなのに、なぜ一部の企業はデータクリーニングのためにExcelを使い続けているのですか？
↓
2024年には、大企業の間でメソッドB（直接接続）へのシフトが顕著になっています。しかし、特定のシナリオに応じてメソッドC（ハイブリッドアプローチ）も採用されています。中小企業においても、直接接続の利便性と効率性が認識され、その採用が徐々に増加しています。しかし、リソースとコストの制約により、Excelを使用したデータクリーニングやハイブリッドアプローチが依然として一般的です。
使用状況: この方法は、中小企業、レガシーシステム、複雑なデータ構造を含むシナリオで依然として一般的です。Excelはその柔軟性と使いやすさから、データ操作のための多用途ツールとして広く使用されています。
シナリオ:
製品:
具体的なシナリオ:
使用状況: この方法は、大企業や技術に精通した中小企業の間でますます一般的になっています。直接接続を利用することで、データワークフローが効率化され、手動エラーが減少します。
シナリオ:
製品:
具体的なシナリオ:
使用状況: 多くの企業が、レガシーシステムや複雑なシステムにはメソッドAを、その他のシステムにはメソッドBを使用するハイブリッドアプローチを採用しています。この柔軟性により、既存の制約と近代化の努力をバランスさせることができます。
シナリオ:
製品:
具体的なシナリオ:
データ管理ツールの進歩にもかかわらず、Excelは大企業におけるデータクリーニングと操作のために広く使用されています。これは主に以下の理由によります：
ETL/BIツールやクラウドベースのDWHと直接統合できないシステムに対して、データをCSVファイルとしてダウンロードすることは依然として一般的です。企業は高コストと複雑さのために移行を遅らせることが多く、段階的に対処しています。
しかし、直接接続はより効率的で広く採用されており、長期的にはデータ管理におけるExcelへの依存が減少すると予想されます。
クラウドベースのデータ統合ソリューションの台頭により、データ収集、クリーニング、統合がAI/ML技術によって自動化され、手動作業が減少し、データの一貫性と精度が向上しています。AI/MLアルゴリズムは、異常検出、欠損値の補完、パターン認識などのタスクを効率的に処理し、データ品質を向上させます。リアルタイムデータ分析の利点が明らかになるにつれ、直接接続の採用が増加し、より迅速かつ正確なビジネス意思決定が可能になります。
データセキュリティ、コンプライアンス、およびデータガバナンスの重要性が増すにつれ、このトレンドは続くと予想されます。
今話題になってるニコニコ動画の個人情報流出の件、Xでもかなり話題になっていたこともあり、普段は見ない掲示板サイトのログまで漁って流れを追っていました。
その中でダークウェブから落としたと思われるcsvファイルが公開されており、僕も興味本位でこっそり中身を覗いてみました。
結果、csvデータに僕の本名、口座情報、町名までの住所が見事に含まれていました。
……うーん。
おそらく去年の夏頃始まった楽曲収益化サービスの加入に伴って、個人情報を提供したことが原因だと思います。
表題の通り僕は底辺ボカロPなので、今の段階で楽曲収益化サービスでもらっている金額は100円にも満たない物なんですが、
たった数十円と引き換えに、個人情報をばらまかれたのかなと思うとちょっとしんどいものがあります。
全ての元凶はハッカーですし、今更ニコニコを叩いてもどうにもならないし、
大した実績もないのに楽曲収益化サービスに加入したのも、リスク管理が甘かったのも僕の責任であることは分かっているのですが……。
正直今後ニコニコが復旧したところでまた使いたいとは思わないし、こんなリスクを冒すくらいならボカロPやめようかとまで思います。
ところで、掲示板のログを見ているとやはりほとんどの人が興味を持っているのはVTuberや配信者の個人情報なんですよね。
もちろん今回の場合は情報に興味を示されず一切スルーされるのが最善なのですが、有象無象の名前の羅列の中にもひとりひとり命のあるクリエイターがいることは忘れないでいただきたいです。
僕だって底辺ボカロPと自虐こそしていますが、一応ひとりのクリエイターではあります。そして無名の人間なら個人情報晒されても問題ないなんてことは決してありません。
そんなわけなのでボカロPの皆様はどうかお気をつけください。いまさら何を気をつけるんだって話だけど。
ボカコレに参加した方で楽曲収益化サービスに加入している方は結構いるかと思いますが、すでに個人情報流出しまっていると思った方がいいです。
それで、上司にデモを見せる。上司がモデルが失敗する細かい条件を見つけ出し「ダメだよ君ぃ、こんなものをTrueにしちゃうようじゃ」と言う。
これは不毛なやり方である。いつまで経ってもモデルにOKサインが出なくなる。
当方、高卒（出席と成績足りなくて春休み全日補習で卒業）でエクセルとアクセスを独学で勉強して
中小で事務員兼社内IT雑務担当くらいのポジションでやってるんだけど。
普通に名前聞く大学出てる2，3年目の子でもxlsxとxlsmとcsvの違いわかってなかったりして驚く
SUM以外の関数全く分かりません、数式のトレースも無理です、解像度よくわかりません、メールの設定できません、スクリーショット撮れませんとかざらにいるレベルで大学ってそんな感じでも卒業できるんだなぁってなってる。
いろんなアプリケーションのメンテ(バグ取りとか細かい機能追加とか)を何度か経験してきた。
主にテキストファイルとかCSVファイルとかExcelファイルとかを入出力するものばかりだったんだが、その大半がファイルの拡張子をグローバル変数化していた。
こんな感じ
const TxtFileExt = ".txt"; const CsvFileExt = ".csv"; const ExelFileExt = ".xlsx";
outFileName = 〇〇 + ×× + "ABCDEFG" + TxtFileExt;
みたいな指定をしなきゃならない。
あと、プログラム言語の標準的なメソッドのあらゆる引数も全部変数で定義されてて、そのまま渡すのは禁止、みたいな規約になってる。
たとえば引数が三種類(true、false(未指定時のデフォルト値)、任意の数値(ただし当該プログラムでは0、10、25以外指定不可))しかないやつはこんな感じ。
const 〇〇ParamTrue = true; const 〇〇ParamFalse = false; const 〇〇ParamIntMin = 0; const 〇〇ParamIntMid = 10; const 〇〇ParamIntMax = 25;
const charCodeSJIS = "Shift_JIS"; const charCodeUtf8 = "UTF-8";
以前関わった改修内容に「××の処理は開始時と終了時にそれぞれUTF-8(BOMなし)形式でログを出力する」みたいなのがあって、普通に文字コード指定する部分に「UTF-8」で直に書いたら、規約に従ってないからとコードレビューで指摘されて差し戻されたんだけど、そもそもこういう規約って何の意味があるの？
