ForHosting KIT · データ変換・整形

CSVの重複行を削除

CSVファイル内で、全ての項目が完全に一致する行を見つけて削除する機能です。同じデータが重ねて登録された顧客リストや注文データを整理したいときに使います。

● 安定提供中無料・ブラウザ内で実行

無料で実行 API仕様を見る

ご利用方法ウェブAPIメールアプリ近日Telegram 近日

完全一致とは

すべての列の内容が1文字も違わず一致する行を重複として扱います。全角と半角の違いや、スペースの有無など、わずかな表記の差がある行は重複として検出されません。

どの行が残るか

重複が見つかった場合は、最初に現れた行を残し、それ以降に現れた同じ内容の行を取り除きます。

表記ゆれには対応しません

「株式会社山田商事」と「山田商事(株)」のように、表記は違うが内容が同じとみなせる行は、この機能では検出できません。表記の違いを踏まえた重複の検出には、別の機能をご利用ください。

対応できる範囲

ファイルサイズは25MBまで対応しています。

活用例

複数回インポートした顧客リストを整理する

株式会社山田商事では、複数のシステムから取り込んだ際に重複した顧客リストを、この機能で完全一致の行だけ取り除いてから利用しています。

展示会で複数回登録された名刺データを整理する

伊藤さくらさんは、展示会で同じ相手の名刺を2回登録してしまったデータを、この機能で重複行として取り除いています。

同じ注文データが重なった履歴を整理する

合同会社みどりデザインでは、システム障害で二重に記録された注文履歴を、この機能で完全一致の重複を取り除いてから集計しています。

よくある質問

アップロードしたファイルはどこに送信されますか

送信されません。処理はブラウザ内で完結します。

ファイルサイズに制限はありますか

25MBまでです。

表記が少し違う行も重複として検出されますか

されません。この機能はすべての項目が完全に一致する行だけを重複として扱います。表記の違いを考慮した検出には、別の機能をご利用ください。

重複が見つかった場合、どの行が残りますか

最初に現れた行が残り、それ以降に現れた同じ内容の行が取り除かれます。

なぜ無料で使えるのですか

処理がブラウザ内で完結するため、無料で提供しています。会員登録も不要です。

日本語のサポートはありますか

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語のデータでも問題なくご利用いただけます。

自動化のための料金はいくらですか

1リクエスト$0.002（米ドル）です。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/data/dedupe-csv

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/data/dedupe-csv \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"text":"…"}'

const res = await fetch("https://api.kit.forhosting.com/data/dedupe-csv", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "text": "…"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/data/dedupe-csv",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "text": "…"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/data/dedupe-csv", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"text":"…"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"text":"…"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/data/dedupe-csv", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "text": "…"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "data.dedupe_csv",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.002

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

max_mb 25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。

KITの完全なドキュメントを見る →

無料で実行