VI ▾
nofilterai.top
NoFilter AI
Lấy khóa API

Thay thế C AI không bộ lọc: Tự xây dựng ứng dụng chat

API AI girlfriend cung cấp giao diện chuyên dụng cho các ứng dụng trò chuyện mô phỏng các tương tác lãng mạn hoặc giống như người bạn đồng hành bằng các mô hình ngôn ngữ lớn. Hướng dẫn này so sánh các phương pháp kỹ thuật, tập trung vào các mô hình không kiểm duyệt xử lý ngữ cảnh đóng vai mà không có từ chối nội dung tiêu chuẩn.

Sân khấu kịch với búp bê và bong bóng chat phát sáng, đại diện cho bot chat nhân vật tự xây dựng

Câu trả lời ngắn gọn

Trò chuyện nhân vật kiểu ứng dụng cung cấp cho bạn giao diện có sẵn, các nhân vật được tạo sẵn và cộng đồng. Nó cũng áp đặt các quy tắc của ứng dụng mà bạn không thể thay đổi. API đảo ngược điều đó. Bạn nhận được văn bản hoàn chỉnh thô từ một mô hình trọng số mở đã được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, và mọi thứ khác đều là mã của bạn.

Đây không phải là sản phẩm chính thức của bất kỳ nhà cung cấp mô hình nào. Đây là một triển khai độc lập, được lưu trữ của một mô hình trọng số mở với giao diện kiểu OpenAI. Giới hạn cứng duy nhất là cấm nội dung tình dục liên quan đến người chưa thành niên, và điều đó không thể cấu hình.

Nếu bạn chỉ muốn chat và không bao giờ chạm vào mã, một ứng dụng sẽ dễ hơn. Nếu bạn muốn nhân vật của riêng mình, quy tắc bộ nhớ của riêng mình, bot Discord hoặc trang web của riêng bạn, hãy đọc tiếp.

Những gì bạn mất và những gì bạn nhận được

Câu hỏiỨng dụng chatBot của bạn trên API
Tạo nhân vậtTrình chỉnh sửa tích hợp và thư viện công cộngMột system prompt bạn tự viết và lưu trữ
Quy tắc nội dungDo ứng dụng đặtMột mô hình được tinh chỉnh để trả lời mà không từ chối cho mục đích người lớn hợp pháp
Bộ nhớĐược quản lý cho bạnBạn quyết định giữ lại, cắt bớt hay tóm tắt
Giao diệnĐã bao gồmTerminal, trang web, Discord, bất cứ thứ gì
Mô hình chi phíGói miễn phí hoặc đăng kýTín dụng trả trước, trả theo token

Nhược điểm trung thực là nỗ lực. Bạn sẽ viết một vòng lặp nhỏ, chọn giao diện và theo dõi số dư của chính mình. Điểm cộng là không có gì ở giữa ghi đè prompt của bạn hoặc cắt ngắn phản hồi.

Viết nhân vật dưới dạng system prompt

Một nhân vật là một khối văn bản được gửi làm tin nhắn đầu tiên với role: "system". Các nhân vật ngắn gọn, cụ thể hoạt động hiệu quả hơn tiểu sử dài. Bao gồm bốn điều: nhân vật là ai, họ nói chuyện thế nào, họ biết gì và họ nên cư xử thế nào khi người dùng dẫn dắt cảnh sang hướng phát triển mới.

PERSONA = (
    "You are Mara, a dry-witted ship navigator in a space-opera story. "
    "Speak in short, clipped sentences. Stay in character at all times. "
    "Describe actions in italics between asterisks. "
    "Never speak for the user. If the user changes the scene, follow it."
)

Hai thói quen giúp ích rất nhiều. Đầu tiên, hãy cho mô hình biết những gì không nên làm ("không bao giờ nói thay người dùng"), vì các mô hình trọng số mở thường viết cả hai phía của hội thoại. Thứ hai, hãy giữ nhân vật ổn định xuyên suốt phiên và đặt các sự kiện thay đổi, chẳng hạn như vị trí hiện tại, vào các tin nhắn sau.

Vòng lặp chat nhân vật tối giản

Endpoint là https://api.nofilterai.top/v1 và model ID là uncensored. Bất kỳ SDK OpenAI nào cũng hoạt động. Vòng lặp này giữ lịch sử, stream token ngay khi chúng được sinh ra và cắt bớt các lượt cũ để prompt luôn nhỏ.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.nofilterai.top/v1",
    api_key="YOUR_KEY",
)

PERSONA = "You are Mara, a dry-witted ship navigator. Stay in character."
history = []
MAX_TURNS = 40  # keep the last 40 messages

while True:
    user = input("you> ")
    history.append({"role": "user", "content": user})
    messages = [{"role": "system", "content": PERSONA}] + history[-MAX_TURNS:]
    stream = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        stream=True,
        temperature=0.9,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

Lưu ý rằng tin nhắn hệ thống được thêm vào trong mọi yêu cầu và không bao giờ bị cắt bỏ. Chỉ có phần lịch sử mới bị cắt. Nếu bạn muốn nhân vật ghi nhớ các sự kiện từ xa xưa, hãy yêu cầu mô hình tóm tắt bằng ba câu sau mỗi 20 lượt và giữ bản tóm tắt đó làm tin nhắn hệ thống bổ sung.

Chi phí cho một phiên

Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Vì toàn bộ lịch sử được gửi lại mỗi lượt, đầu vào chiếm ưu thế. Hãy xem xét một phiên có độ dài trung bình với prompt 3.000 token và phản hồi 300 token:

  • Đầu vào: 3.000 / 1.000.000 x $0,15 = $0,00045
  • Đầu ra: 300 / 1.000.000 x $0,50 = $0,00015
  • Một lượt: $0,0006, vậy 1.000 lượt tốn $0,60

Ngay cả khi bạn gửi toàn bộ cửa sổ ngữ cảnh 100.000 token làm đầu vào, chi phí cho mỗi yêu cầu là 100.000 / 1.000.000 x $0,15 = $0,015. Các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí, và tín dụng của bạn không bao giờ hết hạn. Số tiền nạp tối thiểu là $20, và bạn có thể xem các mức giá chính xác trên trang giá. Trang web này chỉ chấp nhận tiền mã hóa, cụ thể là USDT trên mạng TRC20 hoặc USDC trên Base.

Tài khoản mới có thể nhận $0,50 tín dụng dùng thử miễn phí chỉ với một cú nhấp chuột trên trang khóa API. Số tiền đó đủ cho khoảng 800 lượt của ví dụ trên, có hiệu lực trong 7 ngày và không cần thông tin thanh toán.

Giữ cốt truyện dài mạch lạc bằng tóm tắt

Cắt bớt theo số lượng là bộ nhớ rẻ nhất, nhưng nó sẽ quên. Một mẫu tốt hơn cho các câu chuyện dài là tóm tắt cuộn. Cứ mỗi 20 lượt, hãy gửi phần lịch sử cũ nhất cho mô hình với một hướng dẫn ngắn, lưu kết quả và loại bỏ các lượt mà nó bao phủ.

def summarize(old_messages):
    text = "\n".join(m["role"] + ": " + m["content"] for m in old_messages)
    r = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "Summarize this story so far in 3 sentences. Keep names, places and open plot threads."},
            {"role": "user", "content": text},
        ],
        max_tokens=200,
        temperature=0.3,
    )
    return r.choices[0].message.content

# when len(history) > 40:
# summary = summarize(history[:20]); history = history[20:]
# then add {"role": "system", "content": "Story so far: " + summary} after PERSONA

Điều này tốn một lần gọi nhỏ bổ sung mỗi 20 lượt và giữ cho prompt phẳng. Bạn cũng có thể lưu tóm tắt vào tệp hoặc cơ sở dữ liệu để nhân vật nhớ người dùng xuyên suốt nhiều ngày. Mọi thứ đều là văn bản thuần túy, vì vậy không có tính năng bộ nhớ đặc biệt nào cần cấu hình.

Những lỗi bạn sẽ gặp

  • Nhân vật nói thay bạn. Thêm một dòng vào nhân vật và một chuỗi stop như ["\nyou:"] nếu bạn sử dụng định dạng bản ghi văn bản thuần.
  • Phản hồi trở nên lặp lại. Tăng temperature một chút và sử dụng frequency_penalty hoặc presence_penalty. Những tham số này được chuyển tiếp trực tiếp đến mô hình.
  • HTTP 429. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Một phản hồi truyền phát giữ slot của nó cho đến khi stream kết thúc, vì vậy một bot phục vụ nhiều người dùng nên xếp hàng tin nhắn. Mã lỗi cho bạn biết giới hạn nào bạn đã chạm tới: rate_limited hoặc concurrency.
  • Tăng trưởng context window. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với phản hồi. Cắt bớt theo số lượng tin nhắn rất đơn giản, nhưng các tin nhắn dài vẫn có thể cộng dồn, vì vậy hãy cắt bớt theo kích thước ước tính nếu người dùng của bạn viết các bài luận.

Nhiều ví dụ hơn về mẫu này cho bot đồng hành có trong hướng dẫn API đồng hành AI, và tài liệu liệt kê mọi tham số.

Khi nào ứng dụng vẫn là lựa chọn tốt hơn

Chọn một ứng dụng nếu bạn muốn một thư viện khổng lồ các nhân vật công cộng, giọng nói, hình ảnh hoặc ứng dụng di động không cần thiết lập. API này chỉ dành cho văn bản: không tạo hình ảnh hoặc âm thanh, không embedding và không fine-tuning. Chọn API khi bạn muốn sản phẩm của riêng mình, bot Discord hoặc Telegram, hoặc kiểm soát hoàn toàn prompt và lịch sử.

Nếu bạn đã vận hành một máy chủ Discord, vòng lặp trên cũng có thể tích hợp vào bot. Xem hướng dẫn chi tiết về xây dựng bot Discord AI không kiểm duyệt.

Hỏi đáp

Đây có phải là mô hình mà Character.AI sử dụng không?

Không. Đây là một mô hình trọng số mở riêng biệt do nhà cung cấp độc lập vận hành. Nó không liên kết với bất kỳ ứng dụng chat hoặc nhà cung cấp mô hình nào.

Bạn có cần biết lập trình không?

Một chút. Vòng lặp ở trên chỉ khoảng 25 dòng Python. Nếu bạn sử dụng SillyTavern hoặc giao diện tương tự, bạn có thể thêm endpoint tương thích OpenAI bằng cách dùng base URL và khóa thay vì vòng lặp đó.

Các cuộc trò chuyện của tôi có được dùng để huấn luyện không?

Không. Các prompt không được dùng để huấn luyện.

Có nội dung nào mà API từ chối viết không?

Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho người trưởng thành hợp pháp. Nội dung tình dục liên quan đến người chưa thành niên là giới hạn cứng và không được phép.

Khóa của bạn chỉ cách một bước điền biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API