對大多數軟件開發者而言，術語數據庫通常是指RDBMS（關系數據庫管理系統）, 這些系統使用表格（類似於電子表格的網格），其中行表示記錄，列表示記錄的字段。表格及其中存放的數據是使用SQL （結構化査詢語言）編寫的語句來創建並操縱的。Python提供了用於操縱SQL數據庫的API（應用程序接口），通常與作為標準的SQLite 3數據庫壹起發布。
另壹種數據庫是DBM （數據庫管理器），其中存放任意數量的鍵-值項。Python 的標準庫提供了幾種DBM的接口，包括某些特定於UNIX平臺的。DBM的工作方式 與Python中的字典類似，區別在於DBM通常存放於磁盤上而不是內存中，並且其鍵與值總是bytes對象，並可能受到長度限制。本章第壹節中講解的shelve模塊提供了方便的DBM接口，允許我們使用字符串作為鍵，使用任意（picklable）對象作為值。
如果可用的 DBM 與 SQLite 數據庫不夠充分，Python Package Index, pypi.python.org/pypi中提供了大量數據庫相關的包，包括bsddb DBM ("Berkeley DB")，對象-關系映射器，比如SQLAlchemy （www.sqlalchemy.org）,以及流行的客戶端/服務器數據的接口，比如 DB2、Informix、Ingres、MySQL、ODBC 以及 PostgreSQL。
本章中，我們將實現某程序的兩個版本，該程序用於維護壹個DVD列表，並追蹤每個DVD的標題、發行年份、時間長度以及發行者。該程序的第壹版使用DBM （通過shelve模塊）存放其數據，第二版則使用SQLite數據庫。兩個程序都可以加載與保存簡單的XML格式，這使得從某個程序導出DVD數據並將其導入到其他程序成為可能。與DBM版相比，基於SQL的程序提供了更多壹些的功能，並且其數據設計也稍幹凈壹些。
12.1 DBM數據庫
shelve模塊為DBM提供了壹個wrapper,借助於此，我們在與DBM交互時，可以將其看做壹個字典，這裏是假定我們只使用字符串鍵與picklable值，實際處理時， shelve模塊會將鍵與值轉換為bytes對象(或者反過來)。
由於shelve模塊使用的是底層的DBM,因此，如果其他計算機上沒有同樣的DBM,那麽在某臺計算機上保存的DBM文件在其他機器上無法讀取是可能的。為解決這壹問題，常見的解決方案是對那些必須在機器之間可傳輸的文件提供XML導入與導出功能，這也是我們在本節的DVD程序dvds-dbm.py中所做的。
對鍵，我們使用DVD的標題；對值，則使用元組，其中存放發行者、發行年份以及時間。借助於shelve模塊，我們不需要進行任何數據轉換，並可以把DBM對象當做壹個字典進行處理。
程序在結構上類似於我們前面看到的那種菜單驅動型的程序，因此，這裏主要展示的是與DBM程序設計相關的那部分。下面給出的是程序main()函數中的壹部分， 忽略了其中菜單處理的部分代碼。
db = None
try:
db = shelve.open(filename, protocol=pickle.HIGHEST_PROTOCOL)
finally:
if db is not None:
db.dose()
這裏我們已打開(如果不存在就創建)指定的DBM文件，以便於對其進行讀寫操作。每壹項的值使用指定的pickle協議保存為壹個pickle,現有的項可以被讀取， 即便是使用更底層的協議保存的，因為Python可以計算出用於讀取pickle的正確協議。最後，DBM被關閉——其作用是清除DBM的內部緩存，並確保磁盤文件可以反映出已作的任何改變，此外，文件也需要關閉。
該程序提供了用於添加、編輯、列出、移除、導入、導出DVD數據的相應選項。除添加外，我們將忽略大部分用戶接口代碼，同樣是因為已經在其他上下文中進行了展示。
def add_dvd(db):
title = Console.get_string("Title", "title")
if not title:
return
director = Console.get_string("Director", "director")
if not director:
return
year = Console.get_integer("Year", "year",minimum=1896,
maximum=datetime,date.today().year)
duration = Console.get_integer("Duration (minutes)", "minutes“, minimum=0, maximum=60*48)
db[title] = (director, year, duration)
db.sync()
像程序菜單調用的所有函數壹樣，這壹函數也以DBM對象(db)作為其唯壹參數。該函數的大部分工作都是獲取DVD的詳細資料，在倒數第二行，我們將鍵-值項存儲在DBM文件中,DVD的標題作為鍵，發行者、年份以及時間(由shelve模塊pickled在壹起)作為值。
為與Python通常的壹致性同步，DBM提供了與字典壹樣的API，因此，除了 shelve.open() 函數(前面已展示)與shelve.Shelf.sync()方法(該方法用於清除shelve的內部緩存，並對磁盤上文件的數據與所做的改變進行同步——這裏就是添加壹個新項)，我們不需要學習任何新語法。
def edit_dvd(db):
old_title = find_dvd(db, "edit")
if old_title is None:
return
title = Console.get.string("Title", "title", old_title)
if not title:
return
director, year, duration = db[old_title]
...
db[title]= (director, year, duration)
if title != old_title:
del db[old_title]
db.sync()
為對某個DVD進行編輯，用戶必須首先選擇要操作的DVD,也就是獲取DVD 的標題，因為標題用作鍵，值則用於存放其他相關數據。由於必要的功能在其他場合 (比如移除DVD)也需要使用，因此我們將其實現在壹個單獨的find_dvd()函數中，稍後將査看該函數。如果找到了該DVD,我們就獲取用戶所做的改變，並使用現有值作為默認值，以便提高交互的速度。(對於這壹函數，我們忽略了大部分用戶接口代碼， 因為其與添加DVD時幾乎是相同的。)最後，我們保存數據，就像添加時所做的壹樣。如果標題未作改變，就重寫相關聯的值；如果標題已改變，就創建壹個新的鍵-值對， 並且需要刪除原始項。
def find_dvd(db, message):
message = "(Start of) title to " + message
while True:
matches =[]
start = Console.get_string(message, "title")
if not start:
return None
for title in db:
if title.lower().startswith(start.lower()):
matches.append(title)
if len(matches) == 0:
print("There are no dvds starting with", start)
continue
elif len(matches) == 1:
return matches[0]
elif len(matches) > DISPLAY_LIMIT:
print("Too many dvds start with {0}; try entering more of the title".format(start)
continue
else:
matches = sorted(matches, key=str.lower)
for i, match in enumerate(matches):
print("{0}: {1}".format(i+1, match))
which = Console.get_integer("Number (or 0 to cancel)",
"number", minimum=1, maximum=len(matches))
return matches[which - 1] if which != 0 else None
為盡可能快而容易地發現某個DVD,我們需要用戶只輸入其標題的壹個或頭幾個字符。在具備了標題的起始字符後，我們在DBM中叠代並創建壹個匹配列表。如果只有壹個匹配項，就返回該項；如果有幾個匹配項(但少於DISPLAY_LIMIT, 壹個在程序中其他地方設置的整數)，就以大小寫不敏感的順序展示所有這些匹配項，並為每壹項設置壹個編號，以便用戶可以只輸入編號就可以選擇某個標題。(Console.get_integer()函數可以接受0,即便最小值大於0,以便0可以用作壹個刪除值。通過使用參數allow_zero=False, 可以禁止這種行為。我們不能使用Enter鍵，也就是說，沒有什麽意味著取消，因為什麽也不輸入意味著接受默認值。)
def list_dvds(db):
start =”"
if len(db)> DISPLAY.LIMIT:
start = Console.get_string(“List those starting with [Enter=all]”， "start”)
print()
for title in sorted(db, key=str.lower):
if not start or title.Iower().startswith(start.lower()):
director, year, duration = db[title]
print("{title} ({year}) {duration} minute{0}, by "
"{director}".format(Util.s(duration),**locals()))
列出所有DVD (或者那些標題以某個子字符串引導)就是對DBM的所有項進行叠代。
Util.s()函數就是簡單的s = lambda x: "" if x == 1 else "s",因此，如果時間長度不是1分鐘，就返回"s"。
def remove_dvd(db):
title = find_dvd(db, "remove")
if title is None:
return
ans = Console.get_bool("Remove {0}?".format(title), "no")
if ans:
del db[title]
db.sync()
要移除壹個DVD,首先需要找到用戶要移除的DVD,並請求確認，獲取後從DBM中刪除該項即可。
到這裏，我們展示了如何使用shelve模塊打開(或創建)壹個DBM文件，以及如何向其中添加項、編輯項、對其項進行叠代以及移除某個項。
遺憾的是，在我們的數據設計中存在壹個瑕疵。發行者名稱是重復的，這很容易導致不壹致性，比如，發行者Danny DeVito可能被輸入為"Danny De Vito",用於 壹個電影；也可以輸入為“Danny deVito",用於另壹個。為解決這壹問題，可以使用兩個DBM文件，主DVD文件使用標題鍵與(年份，時間長度，發行者ID)值; 發行者文件使用發行者ID (整數)鍵與發行者名稱值。下壹節展示的SQL數據庫 版程序將避免這壹瑕疵，這是通過使用兩個表格實現的，壹個用於DVD,另壹個用於發行者。
12.2 SQL數據庫
大多數流行的SQL數據庫的接口在第三方模塊中是可用的，Python帶有sqlite3 模塊(以及SQLite 3數據庫)，因此，在Python中，可以直接開始數據庫程序設計。SQLite是壹個輕量級的SQL數據庫，缺少很多諸如PostgreSQL這種數據庫的功能， 但非常便於構造原型系統，並且在很多情況下也是夠用的。
為使後臺數據庫之間的切換盡可能容易，PEP 249 (Python Database API Specification v2.0)提供了稱為DB-API 2.0的API規範。數據庫接口應該遵循這壹規範，比如sqlite3模塊就遵循這壹規範，但不是所有第三方模塊都遵循。API規範中指定了兩種主要的對象，即連接對象與遊標對象。表12-1與表12-2中分別列出了這兩種對象必須支持的API。在sqlite3模塊中，除DB-API 2.0規範必需的之外，其連接對象與遊標對象都提供了很多附加的屬性與方法。
DVD程序的SQL版本為dvds.sql.py,該程序將發行者與DVD數據分開存儲，以 避免重復，並提供壹個新菜單，以供用戶列出發行者。該程序使用的兩個表格在圖12-1
def connect(filename):
create= not os.path.exists(filename)
db = sqlite3.connect(filename)
if create:
cursor = db.cursor()
cursor.execute("CREATE TABLE directors ("
"id INTEGER PRIMARY KEY AUTOINCREMENT UNIQUE NOT NULL, "
"name TEXT UNIQUE NOT NULL)")
cursor.execute("CREATE TABLE dvds ("
"id INTEGER PRIMARY KEY AUTOINCREMENT UNIQUE NOT NULL, "
"title TEXT NOT NULL, "
"year INTEGER NOT NULL,"
"duration INTEGER NOT NULL, "
"director_id INTEGER NOT NULL, ”
"FOREIGN KEY (director_id) REFERENCES directors)")
db.commit()
return db
sqlite3.connect()函數會返回壹個數據庫對象，並打開其指定的數據庫文件。如果該文件不存在，就創建壹個空的數據庫文件。鑒於此，在調用sqlite3.connect()之前，我們要註意數據庫是否是準備從頭開始創建，如果是，就必須創建該程序要使用的表格。所有査詢都是通過壹個數據庫遊標完成的，可以從數據庫對象的cursor()方法獲取。
註意，兩個表格都是使用壹個ID字段創建的，ID字段有壹個AUTOINCREMENT 約束——這意味著SQLite會自動為ID字段賦予唯壹性的數值，因此，在插入新記錄時，我們可以將這些字段留給SQLite處理。
SQLite支持有限的數據類型——實際上就是布爾型、數值型與字符串——但使用數據'‘適配器”可以對其進行擴展，或者是擴展到預定義的數據類型(比如那些用於日期與datetimes的類型)，或者是用於表示任意數據類型的自定義類型。DVD程序並不需要這壹功能，如果需要，sqlite3模塊的文檔提供了很多詳細解釋。我們使用的外部鍵語法可能與用於其他數據庫的語法不同，並且在任何情況下，只是記錄我們的意圖，因為SQLite不像很多其他數據庫那樣需要強制關系完整性，sqlite3另壹點與眾不同的地方在於其默認行為是支持隱式的事務處理，因此，沒有提供顯式的“開始事務” 方法。
def add_dvd(db):
title = Console.get_string("Title", "title")
if not title:
return
director = Console.get_string("Director", "director")
if not director:
return
year = Console.get_integer("Year", "year”, minimum=1896,
maximum=datetime.date.today().year)
duration = Console.get_integer("Duration (minutes)", "minutes",
minimum=0,maximum=60*48)
director_id = get_and_set_director(db, director)
cursor = db.cursor()
cursor.execute("INSERT INTO dvds ”
"(title, year, duration, director_id)"
"VALUES (?, ?, ?, ?)",
(title, year, duration, director_id))
db.commit()
這壹函數的開始代碼與dvds-dbm.py程序中的對應函數壹樣，但在完成數據的收集後，與原來的函數有很大的差別。用戶輸入的發行者可能在也可能不在directors表格中，因此，我們有壹個get_and_set_director()函數，在數據庫中尚無某個發行者時， 該函數就將其插入到其中，無論哪種情況都返回就緒的發行者ID,以便在需要的時候插入到dvds表。在所有數據都可用後，我們執行壹條SQL INSERT語句。我們不需要指定記錄ID,因為SQLite會自動為我們提供。
在査詢中，我們使用問號(？)作為占位符，每個?都由包含SQL語句的字符串後面的序列中的值替代。命名的占位符也可以使用，後面在編輯記錄時我們將看到。盡管避免使用占位符(而只是簡單地使用嵌入到其中的數據來格式化SQL字符串)也是可能的，我們建議總是使用占位符，並將數據項正確編碼與轉義的工作留給數據庫模塊來完成。使用占位符的另壹個好處是可以提高安全性，因為這可以防止任意的SQL 被惡意地插入到壹個査詢中。
def get_and_set_director(db, director):
director_id = get_director_id(db, director)
if directorjd is not None:
return director_id
cursor = db.cursor()
cursor.execute("lNSERT INTO directors (name) VALUES (?)”,(director,))
db.commit()
return get_director_id(db, director)
這壹函數返回給定發行者的ID,並在必要的時候插入新的發行者記錄。如果某個記錄被插入，我們首先嘗試使用get_director_id()函數取回其ID。
def get_director_id(db, director):
cursor = db.cursor()
cursor.execute("SELECT id FROM directors WHERE name=?",(director,))
fields = cursor.fetchone()
return fields[0] if fields is not None else None
get_director_id()函數返回給定發行者的ID,如果數據庫中沒有指定的發行者，就返回None。我們使用fetchone()方法，因為或者有壹個匹配的記錄，或者沒有。(我們知道，不會有重復的發行者，因為directors表格的名稱字段有壹個UNIQUE約束，在任何情況下，在添加壹個新的發行者之前，我們總是先檢査其是否存在。)這種取回方法總是返回壹個字段序列(如果沒有更多的記錄，就返回None)。即便如此，這裏我們只是請求返回壹個單獨的字段。
def edit_dvd(db):
title, identity = find_dvd(db, "edit")
if title is None:
return
title = Console.get_string("Title","title", title)
if not title:
return
cursor = db.cursor()
cursor.execute("SELECT dvds.year, dvds.duration, directors.name"
“FROM dvds, directors "
"WHERE dvds.director_id = directors.id AND "
"dvds.id=:id", dict(id=identity))
year, duration, director = cursor.fetchone()
director = Console.get_string("Director", "director", director)
if not director:
return
year = Console,get_integer("Year","year", year, 1896,datetime.date.today().year)
duration = Console.get_integer("Duration (minutes)", "minutes",
duration, minimum=0, maximum=60*48)
director_id = get_and_set_director(db, director)
cursor.execute("UPDATE dvds SET title=:title, year=:year,"
"duration=:duration, director_id=:directorjd "
"WHERE id=:identity", locals())
db.commit()
要編輯DVD記錄，我們必須首先找到用戶需要操縱的記錄。如果找到了某個記錄，我們就給用戶修改其標題的機會，之後取回該記錄的其他字段，以便將現有值作為默認值，將用戶的輸入工作最小化，用戶只需要按Enter鍵就可以接受默認值。這裏，我們使用了命名的占位符(形式為:name),並且必須使用映射來提供相應的值。對SELECT語句，我們使用壹個新創建的字典；對UPDATE語句，我們使用的是由 locals()返回的字典。
我們可以同時為這兩個語句都使用新字典，這種情況下，對UPDATE語句，我們可以傳遞 dict(title=title, year=year, duration=duration, director_id=director_id, id=identity))，而非 locals()。
在具備所有字段並且用戶已經輸入了需要做的改變之後，我們取回相應的發行者ID (如果必要就插入新的發行者記錄)，之後使用新數據對數據庫進行更新。我們采用了壹種簡化的方法，對記錄的所有字段進行更新，而不僅僅是那些做了修改的字段。
在使用DBM文件時，DVD標題被用作鍵，因此，如果標題進行了修改，我們就需要創建壹個新的鍵-值項，並刪除原始項。不過，這裏每個DVD記錄都有壹個唯壹性的ID,該ID是記錄初次插入時創建的，因此，我們只需要改變任何其他字段的值， 而不需要其他操作。
def find_dvd(db, message):
message = "(Start of) title to " + message
cursor = db.cursor()
while True: .
start = Console.get_stnng(message, "title")
if not start:
return (None, None)
cursor.execute("SELECT title, id FROM dvds "
"WHERE title LIKE ? ORDER BY title”，
(start +"%",))
records = cursor.fetchall()
if len(records) == 0:
print("There are no dvds starting with", start)
continue
elif len(records) == 1:
return records[0]
elif len(records) > DISPLAY_LIMIT:
print("Too many dvds ({0}) start with {1}; try entering "
"more of the title".format(len(records),start))
continue
else:
for i, record in enumerate(records):
print("{0}:{1}".format(i + 1, record[0]))
which = Console.get_integer("Number (or 0 to cancel)",
"number", minimum=1, maximum=len(records))
return records[which -1] if which != 0 else (None, None)
這壹函數的功能與dvdsdbm.py程序中的find_dvd()函數相同，並返回壹個二元組 (DVD標題，DVD ID)或(None, None),具體依賴於是否找到了某個記錄。這裏並不需要在所有數據上進行叠代，而是使用SQL通配符(%),因此只取回相關的記錄。
由於我們希望匹配的記錄數較小，因此我們壹次性將其都取回到序列的序列中。如果有不止壹個匹配的記錄，但數量上又少到可以顯示，我們就打印記錄，並將每條記錄附帶壹個數字編號，以便用戶可以選擇需要的記錄，其方式與在dvds-dbm.py程序中所做的類似：
def list_dvds(db):
cursor = db.cursor()
sql = ("SELECT dvds.title, dvds.year, dvds.duration, "
"directors.name FROM dvds, directors "
"WHERE dvds.director_id = directors.id")
start = None
if dvd_count(db) > DISPLAY_LIMIT:
start = Console.get_string("List those starting with [Enter=all]", "start")
sql += " AND dvds.title LIKE ?"
sql += ” ORDER BY dvds.title"
print()
if start is None:
cursor.execute(sql)
else:
cursor.execute(sql, (start +"%",))
for record in cursor:
print("{0[0]} ({0[1]}) {0[2]} minutes, by {0[3]}".format(record))
要列出每個DVD的詳細資料，我們執行壹個SELECT査詢。該査詢連接兩個表，如果記錄(由dvd_count()函數返回)數量超過了顯示限制值,就將第2個元素添加到WHERE 分支，之後執行該査詢，並在結果上進行叠代。每個記錄都是壹個序列，其字段是與 SELECT査詢相匹配的。
def dvd_count(db):
cursor = db.cursor()
cursor.execute("SELECT COUNT(*) FROM dvds")
return cursor.fetchone()[0]
我們將這幾行代碼放置在壹個單獨的函數中，因為我們在幾個不同的函數中都需要使用這幾行代碼。
我們忽略了 list_directors()函數的代碼，因為該函數在結構上與list_dvds()函數非常類似，只不過更簡單壹些，因為本函數只列出壹個字段(name)。
def remove_dvd(db):
title, identity = find_dvd(db, "remove")
if title is None:
return
ans = Console.get_bool("Remove {0}?".format(title), "no")
if ans:
cursor = db.cursor()
cursor.execute("DELETE FROM dvds WHERE id=?", (identity,))
db.commit()
在用戶需要刪除壹個記錄時，將調用本函數，並且本函數與dvds-dbm.py程序中 相應的函數是非常類似的。
到此，我們完全查閱了 dvds-sql.py程序，並且了解了如何創建數據庫表格、選取 記錄、在選定的記錄上進行叠代以及插入、更新與刪除記錄。使用execute()方法，我們可以執行底層數據庫所支持的任意SQL語句。
SQLite提供了比我們這裏使用的多得多的功能，包括自動提交模式（以及任意其他類型的事務控制），以及創建可以在SQL查詢內執行的函數的能力。提供壹個工廠函數並用於控制對每個取回的記錄返回什麽（比如，壹個字典或自定義類型，而不是字段序列）也是可能的。此外，通過傳遞“:memory:”作為文件名，創建內存中的SQLite 數據庫也是可能的。
以上內容部分摘自視頻課程05後端編程Python22 數據庫編程，更多實操示例請參照視頻講解。跟著張員外講編程，學習更輕松，不花錢還能學習真本領。