リストの最後、最大値

リストの最後、の見慣れない求め方 *_, last = [1, 3, 2, 6, 25, 2] print(last) functools の reduce でリストから最大値を求める res = functools.reduce(lambda a, b: a if a > b else b, [1, 3, 2, 6, 25, 2])

Predicate を適用した Iterator の作成

java.util.function.Predicate を適用した java.util.Iterator の生成List に対して生成します。 static メソッドです。 public static <T> Iterator<T> filterate(List<T> list, Predicate<T> predicate){ return new Iterator<T>(){ int ix = -1; @Override public boolea</t></t></t></t></t>…

フィルタの方法、内包表記、filter、itertools.filterfalse

対象リスト l1 = [3, 1, 9, 13, 10, 8, 17, 2] 10 より大きいリストを求める。内包表記を使う l2 = [e for e in l1 if e > 10] filter を使う l2 = list(filter(lambda x:x > 10, l1)) itertools.filterfalse を使う import itertools l1 = [3, 1, 9, 13, 10…

itertools で、順列、組み合わせ

順列:Permutation import itertools po = itertools.permutations(['A', 'B', 'C'], 2) print(type(po)) plist = list(po) print(plist) for v in itertools.permutations(['A', 'B', 'C'], 2): print(v) <class 'itertools.permutations'> [('A', 'B'), ('A', 'C'), ('B', 'A'), ('B', 'C')</class>…

Java でデカルト積(直積)

Python でデカルト積(直積) - Oboe吹きプログラマの黙示録 に触発されて、Java 環境でのデカルト積を求めるものを作りました。 import java.util.ArrayList; import java.util.Arrays; import java.util.Iterator; import java.util.List; /** * デカルト…

Python でデカルト積(直積)

簡単なデカルト積を作るサンプル itertools をインポート import itertools product( 要素リスト, ,,, ) で生成する。 作成されるのは、イテラブル・オブジェクト list1 = ['A', 'B'] list2 = [1, 2, 3] products = itertools.product(list1, list2) print(p…

Oracle には、PostgreSQL の GENERATE_SERIES に相当する関数がない

SQL

表題の件、では代わりにストアド FUNCTION でも代替案があるのだろうが、 ストアド FUNCTION 定義の権限がない時、 WITH句で対応する方法がある。数値の例 WITH generate_series(n) AS ( SELECT 1 FROM dual UNION ALL SELECT n + 1 FROM generate_series WH…

Pandas CSV行番号、列番号でデータを取得する

DataFrame [] スライスで取得したい行を取得 取得した DataFrame の values で numpy.ndarray を取得して、 (values取得で多次元配列 ndarray は、2次元配列だから[0]で1行分を取得) tolist() でリストに変換例)注意:CSV先頭行はヘッダ行で、データ行…

Pandas を使って重複のあるCSVから重複行を取り除いたCSVを生成する

任意の列項目で重複があるCSV 先日のサンプル ⇒ Pandas を使ってcsv 任意の列で重複するキーの組み合わせを求める。 - Oboe吹きプログラマの黙示録 にあるようなCSVから、 重複行を取り除いたCSVを生成する。DataFrame に対して drop_duplicates(subset=[ 重…

pandas を使った重複有無の判定

先日書いたのは、CSVでどのような重複があるかを調査するものだった。 Pandas を使ってcsv 任意の列で重複するキーの組み合わせを求める。 - Oboe吹きプログラマの黙示録重複有無のだけを判定する方法をまとめた。先日の Pandas を使ってcsv 任意の列で重複…

Pandas を使ってcsv 任意の列で重複するキーの組み合わせを求める。

サンプルのCSV 品名 産地 単価 数量 キャベツ 群馬県 219 120 コシヒカリ 新潟県 3350 20 小松菜 茨城県 198 40 キャベツ 群馬県 209 80 りんご 長野県 224 100 小松菜 茨城県 188 90 キャベツ 神奈川県 210 70 キャベツ 群馬県 224 100 '品名'と'産地'が重…

DBeaver CSVエクスポート時にBOMを付与

DBeaver というツールを使って、テーブルやSQLクエリ結果を CSVにエクスポート出力する時に、UTF-8 文字コードで出力する時、 BOMを付与するには、以下のようにエクスポート実行画面で BOMを挿入にチェックをつける

groupingBy や toMap で作成したリスト

今更のことであるが。。。 List.of で作る List は、AbstractImmutableList だけど、 Java Stream の groupingBy や toMap で作成したキーに対するリストは、AbstractImmutableList ではない。 だから、 List<Item> list このすでに存在するAbstractImmutableList </item>…

ROW_NUMBER() でページング

SQL

実行計画を調査して、ヒント句を付けるなどの調整も検討が必要であるが、 ROW_NUMBER() でページングでをする場合のSQLは、以下のようになる。1ページ目として先頭1行目~10行目 SELECT * FROM (SELECT ROW_NUMBER() OVER (ORDER BY avrg DESC, point DE…

__iter__() の実装例、日付繰り返し

__iter__() イテレータの実装例日付の開始と終了から1日ずつの datetime.date を返すイテレータ class Datedayrange: import datetime def __init__(self, start_date: datetime.date, end_date: datetime.date): if start_date > end_date: raise ValueErr…

Windows PowerShell で tail

UTF-8で出力された巨大なログなどを tail PowerShell で実行する。Get-Content -Encoding UTF8 -Tail 行数 -Path ログファイルパスtail -f のように、読込みを継続したいのであれば、更に -Wait オプションを付加する

SQLバインド変数の上限

Oracle は、SQLバインド変数の上限を超えると、 ORA-01745: ホスト/バインド変数名が無効です。 が発生する Oracle のバインド変数の上限は、32768PostgreSQL は、32767MySQL はクエリの上限サイズで制限を見た方が良いみたい show variables like 'max_allo…

Unicodeエスケープされた文字列

\uXXXX という書式、Unicodeエスケープされた文字とASCII文字だけの文字列 を例にする。 \u3042\u3044\u3046\u3048\u304a_%abc123_\uff76\uff77\uff78\uff79\uff7a Python では、\uXXXX 書式文字列は、\をエスケープして文字列として持つことになる。 ustr =…

List の要素の最大値、最小値もリストインデックスを求める

Java の List 要素の置き換え(List の set メソッド実行)でも要件がない限り、 List のインデックスを求める要件などないであろう。Integer List の最大値のインデックスIntStream の reduce で求める Optional<Integer> res = IntStream.range(0, list.size()).box</integer>…

先頭に指定の文字列パターンを持たない判定の正規表現

否定先読みを使ってマッチさせない先頭文字列を指定する 書式 (?!パターン) 例)先頭文字列が A4 にマッチしない^(?!A4).*$ 例)先頭文字列が A4 または A5 にマッチしない^(?!A[45]).*$この否定先読みをSQLの REGEXP_LIKE で使用する時、 PostgreSQL と、My…

UTC時刻の取得と日本時間

datetime.timezone.utc でUTCタイムゾーン時刻を取得します datetime.timedelta で日本のタイムゾーン時刻に変換 from datetime import datetime, timezone, timedelta # UTCタイムゾーンの現在時刻を取得 dt = datetime.now(timezone.utc) # 日本標準時(JS…

Excel でCSV保存、TSV保存、

昔、Excel ではCSV保存する時、文字コードは SJIS でしか保存できなかった。 いつからであろう、UTF-8 で、BOM付きで保存できるよういなったのは、Excel2016? 改行コードは CR+LF である。でも、TSV は相変わらずSJIS でしか保存できない。 ちょっとプルダ…

DBeaver の null 入力

DBeaver は直接手入力のデータセットもできて、いろいろ便利で使いやすい。 null 値を直接手入力でセットする時、どうしたらいいか? 次のように、 セットしたいカラムを右クリック ⇒ 編集 ⇒ 「NULLに設定する」 で、NULL をセットして、 save ボタンを押せ…

Python でTeams のメッセージ送信

こんな方法あるんですね。 zenn.dev でも、廃止なんだ、、、 代用はあるみたい blog.devplatform.techmatrix.jp

lambda関数、map関数

Python の基礎のおさらいです。map関数 map object というイテレータを生成します。 書式:map(callable, iterable)map(lambda 引数: 戻り値, iterable(listやdictなど)) 例) m = map(lambda x: x*2, [1, 2, 3]) print(type(m)) <class 'map'>つまり、 for i in map(lamb</class>…

MySQL用の Excel から INSERTーSQL文を作る

Oralce用、PostgreSQL用を書いたので、MySQL用を用意しました。mkInsertMySQL.py # -*- coding: utf-8 -*- # TRUNCATE して INSERT する SQLも生成 import datetime import openpyxl import sys import os # MySQL用 INSERT 作成 class MakeInsertSQL(object…

PostgreSQL用の Excel から INSERTーSQL文を作る

Oralce 用を書いたので、PostgreSQL用を用意しました。mkInsertPostgreSQL.py # -*- coding: utf-8 -*- # TRUNCATE して INSERT する SQLも生成 import datetime import openpyxl import sys import os # PostgreSQL用 INSERT 作成 class MakeInsertSQL(obje…

【再興】Oracle複数行INSERT をExcelから、Python でSQL文を作る

oboe2uran.hatenablog.comこれを考慮して、去年作成したOracle用のINSERT-SQL 作成ツールを書き直す。Excel の日付書式、年月日のみは、DATE型、時分秒が付く時は TIMESTAMP に 対応するように作り直した。 mkInsertSQLforOracle3.py # -*- coding: utf-8 -*…

Openpyxl で読み込んだ日付のセル

Openpyxl で、Excel ファイルを読み込んだ時、 日付時刻のセルの値は、Excel の書式上(Excelでの表示上)で、 日付のみであろうと、時分秒を表示した日付時刻であろうと、 つまり、yyyy-mm-dd のExcel表示であろうと、yyyy-mm-dd HH:mm;ss の表示であろうと…

按分の比率を求めるSQL

SQL

以下のようなテーブルがあるとき、 CREATE TABLE worktables ( id uuid DEFAULT gen_random_uuid() NOT NULL, wname varchar(32) NOT NULL, ktype NUMERIC NOT NULL, point NUMERIC DEFAULT 0 NOT NULL, at_create date NOT NULL, CONSTRAINT worktables_pke…