Pang-alis ng Ulit sa CSV

Files at data

Alisin ang paulit-ulit na hanay, at pangalanan ang mukha lang na paulit-ulit.

CSV na walang ulit
email,name,phone,city [email protected],Juan Cruz,09175551234,Cebu [email protected],Ana Reyes,09281234567,Davao [email protected],Mark Santos,09171112222,Cebu
5 hanay ang pumasok · 3 natira · 2 naalis
Papasok na hanay5
Natira3
Naalis2
Salungatan1
Ihambing sa
Ano ang nagtugma
[email protected]hanay 2, 4 · natira 2
[email protected]hanay 3, 6 · natira 3salungatan
1 grupo ng mga hanay ang tumugma sa key column pero magkaiba ang mga hanay nito sa ibang bahagi, kaya hindi talaga sila doble — mga record sila tungkol sa iisang bagay, na magkaiba ang laman. Ang pagtatago sa una ay pagtatapon sa iba nang walang nakabasa. Nakalista sila sa ibaba ayon sa numero ng hanay; ayusin sila nang mano-mano bago ka umasa rito.
Inihambing ang mga hanay sa email lamang. Hindi pinansin ang lahat ng nasa labas ng mga column na iyon sa pagpapasya kung alin ang iisang hanay — iyan ang nagpapakinabang sa key, at iyan din ang paraan kung paano naitatapon ang hanay na may totoong datos.
Inihambing ang mga halaga pagkatapos ng pagputol sa mga dulo, hindi pagpansin sa laki ng titik. Pinapanatili ang orihinal na teksto sa output — ang paghahambing lang ang niluwagan.

Paano gamitin

Para saan ito

Alisin ang mga paulit-ulit na hanay sa isang listahan — mailing list, sign-up sheet, export ng mga customer — at makita kung aling mga hanay mismo ang itinuring na iisa.

Bago magsimula

Buksan ang spreadsheet, o ang .csv file sa text editor, at alamin kung aling column ang nagpapasya kung iisang tao ang dalawang hanay, gaya ng email. Ipe-paste mo ang mga hanay; walang ina-upload.

  1. Itakda kung paano babasahin ang mga hanay

    Sa Delimiter, piliin ang Tab kung kokopya ka mula sa Excel o Google Sheets, o Kuwit para sa karamihan ng .csv file. Iwanang naka-tsek ang Header ang unang hanay kung mga pangalan ng column ang nasa unang hanay.

  2. Piliin kung aling kopya ang maiiwan

    Sa Alin ang itatago, iniiwan ng Ang una ang pinakaunang hanay sa bawat set ng ulit, at ng Ang huli ang pinakahuli — kadalasan ang pinakabago, kung sa ibaba idinadagdag ang mga bagong hanay.

  3. Pagpasyahan kung gaano kahigpit

    Itinuturing ng Huwag pansinin ang laki ng titik na pareho ang malaki at maliit na titik, at hindi pinapansin ng Putulin ang dulo ang espasyo sa paligid ng halaga; parehong naka-tsek ang mga ito sa simula. I-tsek din ang Pagsamahin ang sunod-sunod na espasyo kung may dobleng espasyo sa ilang pangalan.

  4. I-paste ang mga hanay at piliin ang paghahambingan

    I-paste sa kahong CSV, kapalit ng halimbawa. Sa Ihambing sa, i-tsek ang column na nagpapasya kung magkapareho ang dalawang hanay, gaya ng email; kapag walang naka-tsek, kailangang magtugma ang mga hanay sa bawat column.

  5. Alisin ang doble at kopyahin

    Pindutin ang Alisin ang doble para makita ang resulta — nagbabago rin ito habang may binabago ka. Suriin ang listahan sa ilalim nito, saka pindutin ang Kopyahin.

Pagbasa ng resulta

  • CSV na walang ulit: ang mga hanay mo na inalisan ng mga ulit. Hindi binabago ang laman ng mga natirang hanay.
  • Papasok na hanay, Natira at Naalis: ilang hanay ang na-paste mo, ilan ang natira, at ilan ang inalis.
  • Ano ang nagtugma: ang bawat set ng ulit kasama ang mga numero ng hanay nito at ang hanay na natira. Binibilang ng Salungatan ang mga set na magkaiba sa labas ng piniling column, kaya baka hindi talaga sila ulit.

Kung may problema

  • Hindi nakita ang ulit na nakikita mo: nagpapaiba sa dalawang hanay ang espasyo sa dulo, malaking titik o dobleng espasyo. I-tsek ang katugmang kahon mula sa hakbang 3.
  • May set na may markang salungatan: pareho ang piniling column ng mga hanay nito pero magkaiba sa iba, gaya ng iisang email na may dalawang numero ng phone. Suriin muna ang mga hanay na iyon bago magtiwala sa resulta, dahil isa lang sa kanila ang maiiwan.
  • Sabi ng note, hindi kapareho ng bilang ng field ang ilang hanay: may halagang may separator sa loob nang walang quote sa paligid, kaya hindi kailanman tutugma sa iba ang hanay na iyon. Ayusin ito at i-paste ulit.

Ano ito

Hindi katotohanan ang “paulit-ulit” — desisyon ito. Ang Juan Cruz, juan cruz at Juan  Cruz  ay tatlong string, isang tao, at posibleng tatlong customer, depende sa pinanggalingan ng file.

Ang kagamitang naghahambing ng hilaw na teksto ay walang mahahanap sa tatlo. Ang naglilinis nang husto ay pinagsasama ang mga taong magkaiba talaga. Walang tamang sagot sa pangkalahatan, kaya naaabot dito ang dalawa at sinasabi kung alin ang nagbigay ng bilang.

Pero ang mas mahalagang bagay ay hindi ang bilang kundi ang salungatan.

Kapag nagtugma ang dalawang hanay sa key at nagkaiba sa labas nito — isang email, dalawang numero ng telepono — hindi iyon paulit-ulit. Dalawang talaan iyon tungkol sa iisang bagay, at ang pagtatago sa una ay pagpupunas ng barya na pinagmumukhang patakaran. Nakalista ang bawat ganoong pangkat ayon sa numero ng hanay, para tao ang pumili.

Walang tahimik na naaalis. Nakatala ang bawat naalis na hanay sa ilalim ng pangkat na pinagmulan nito.

Mga tanong

Umaakyat ba kahit saan ang spreadsheet ko?

Hindi. Walang upload at walang file picker — ipinapaste mo ang mga hanay at sa browser mo mismo nagaganap ang trabaho, sa sariling calculation engine ng site na ito. Walang ipinapadala, itinatala o itinatago.

Bakit hindi nito nahanap ang ulit na nakikita ko?

Halos laging dahil sa paraan ng paghahambing. Ang espasyo sa dulo, ang malaking titik o ang pangalawang espasyo sa loob ng pangalan ay gumagawang magkaibang teksto ang dalawang hanay, at sa karaniwang setting ay ang unang dalawa lamang ang hindi pinapansin. Ang tatlong switch ang nagpapasya nito, at nagbabago ang bilang kasama nila — at iyon ang totoong bersiyon, dahil walang setting na tama sa lahat ng file.

Ano ba talaga ang ginagawa ng pagpili ng key column?

Idinideklara nito na ang dalawang hanay na iisa ang email — o iisa ang id, o iisa ang pangalan at lungsod nang magkasama — ay iisang hanay, anuman ang pagkakaiba sa iba. Iyon ang makapangyarihang setting at ang mapanganib: hindi na tinitingnan ang lahat ng nasa labas ng key, kaya ang hanay na may taglay na numero ng telepono na wala sa iba ay maaaring maalis dahil nagtugma ito sa column na walang bumasa.

Ano ang salungatan?

Isang pangkat ng hanay na nagtugma sa key at nagkaiba sa ibang lugar. Hindi iyon paulit-ulit — dalawang talaan iyon tungkol sa iisang bagay na magkaiba ang taglay na halaga, at ang pagtatago sa una ay pagpupunas ng barya na pinagmumukhang patakaran. Nakalista sila ayon sa numero ng hanay para maayos mo sila nang manu-mano, at iyon ang isang trabahong sinasadyang hindi gagawin ng kagamitang ito para sa iyo.

Bakit nakalista ang bawat nagtugmang pangkat at hindi bilang lang?

Dahil ang pang-alis ng ulit na sumasagot lamang ng mas maliit na file ay walang ibinibigay na paraan para tingnan kung tama ang ginawa nito, at ang pagkabigong mahalaga sa iyo — ang hanay na dapat sana ay nanatili — ay walang iniiwang bakas. Nakalista ang bawat pangkat kasama ang numero ng hanay at kung alin ang natira, para masuri ang lumabas sa halip na pagkatiwalaan lamang.

Mahalaga ba kung una o huli ang itatago?

Kapag lang magkaiba ang mga hanay, at iyon mismo ang pagkakataong minamarkahan ito ng pahina bilang salungatan. Sa magkatulad na hanay, wala itong ipinagkaiba. Kapag mahalaga ito, ang huli ang karaniwang mas bagong talaan at ang una ang karaniwang orihinal — pero hindi masasabi ng file kung alin, kaya hindi nagkukunwaring alam ng kagamitan.

May nagbago ba sa mga hanay na natira?

Wala. Isinusulat pabalik ang mga halaga nang eksakto tulad ng pagkabasa, kasama ang espasyo at malaking titik na hindi pinansin ng paghahambing. Ibinabalik ang panipi kung saan ito hinihingi ng RFC 4180 at inaalis kung saan hindi, kaya ang field na may panipi nang walang dahilan ay babalik na walang panipi — pareho ang halagang mababasa sa lumabas alinman doon.

Bakit hindi kailanman nagiging ulit ang hanay na mali ang bilang ng field?

Dahil ang maikli o mahabang hanay ay inihahambing bilang kung ano ito, at iba ang bilang ng taglay nitong halaga kaysa sa bawat ibang hanay, kaya hindi ito kailanman makakatugma sa isa. Karaniwan iyong delimiter sa loob ng field na walang panipi, na nag-uusog sa lahat ng kasunod nito. Nakalista ang mga hanay na iyon para maayos mo muna ang panipi.

Ang komputasyon

Ilang ulit ang mahahanap sa iisang file
Hilaw na paghahambingpinakakaunti
+ putulin ang dulomas marami
+ huwag pansinin ang lakimas marami pa
+ pagsamahin ang espasyopinakamarami
Key column lamangiba nang tanong
Ang bawat hakbang pababa ay nakakahanap ng mas maraming ulit at nanganganib na pagsamahin ang magkaibang tao. Walang setting na tama sa lahat ng file.
Bakit hindi kuwit ang panghawak ng key

Kung pagdurugtungin ng kuwit ang key, ang ["a,b", "c"] at ["a", "b,c"] ay iisang key — dalawang magkaibang hanay na iuulat na magkaulit, at sa pang-alis ng ulit ay ibig sabihin noon ay bubura ng isa. Gumagamit dito ng karakter na hindi maaaring lumitaw sa loob ng field.

Ituloy pa

Mahalaga

Nothing you paste is transmitted or stored. Choosing key columns means everything outside them is ignored when deciding what counts as the same row, so a row holding real data can be dropped — read the conflicts before relying on the result. Walang ipinapadala sa mga server namin ang tina-type mo rito — sa browser mo tumatakbo nang buo ang pagkuwenta.